Dependências Cross-DAGs no Airflow e nosso Mediador de DAGs

Notas do episódio

A orquestração de fluxos é fundamental para as soluções de engenharia de dados, pois o processamento dos dados costuma ser periódico e encapsulado em fluxos de trabalho, cenário ideal para automatização. Desse modo, um orquestrador de fluxos é a ferramenta chave para viabilizar a escalabilidade do processamento dos dados. No entanto, conforme o fluxo de dados se torna mais complexo e elaborado, torna-se um desafio cada vez maior garantir que as dependências entre as várias etapas de processamento de dados funcionem de forma eficaz e eficiente. No QuintoAndar não foi diferente e, visando manter nossos fluxos de trabalho escaláveis e com fácil manutenção, utilizamos uma solução bastante elegante para gerenciar as dependências cruzadas entre DAGs do Airflow. Este episódio conta com a participação de Lucas Fonseca, Engenheiro de Dados, e Danilo Oliveira, Gerente de Engenharia de Dados do QuintoAndar. Toda a transcrição desse episódio e os links úteis de materiais citados estão no nosso Tech Blog.