Mastering Apache Airflow with Marc Lamberti, Head of Customer Education at Astronomer

Notas do episódio

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Marc Lamberti, atualmente como Head of Customer na Astronomer. Vamos entender o Apache Airflow em um nível mais avançado para aplicar soluções para problemas de dados no dia-a-dia, visando melhores práticas. Abaixo alguns pontos sobre técnicas avançadas de Apache Airflow: Executar pipelines do Airflow com acesso imediato aos recursos mais recentes. Reduzir o consumo de infraestrutura para tarefas de longa duração. Reduzir latência de tarefa com configuração e dimensionamento automático. Coletar metadados automaticamente por meio do Open Lineage integrado. Falamos também nesse bate-papo sobre os seguintes temas: Características do Apache Airflow Astro Python SDK Dynamic Task Astro Cloud Apache Airflow vs. Perfect vs. Mage Aprenda como utilizar o Apache Airflow em um nível mais avançado para orquestrar o seus data pipelines. Marc Lamberti Marc Youtube Channel Engenharia de Dados Academy Luan Moreno = https://www.linkedin.com/in/luanmoreno/