Vejo constantemente tópicos falando sobre upstream e downstream no airflow mas não sei o que significa.
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Solucionado
Vejo constantemente tópicos falando sobre upstream e downstream no airflow mas não sei o que significa.
Oii, tudo bem contigo?
Os termos downstream e upstream são utilizados para definir as dependências entre as tarefas de um DAG.
Por exemplo, suponha que temos um DAG com duas tarefas sequenciais, sendo elas: tarefa_1 e tarefa_2. Se quisermos especificar que a tarefa_1 sempre tem que ser executada antes da tarefa_2, isso quer dizer que a tarefa_1 é upstream a tarefa_2. Da mesma forma, podemos dizer que a tarefa_1 é downstream a tarefa_2.
Assim, a ordem de execução das nossas tarefas fica da seguinte forma:
Existem diferentes maneiras de definir essa relação entre as tarefas no código. Caso queira saber mais sobre isso, deixo aqui a indicação de leitura de um artigo e da documentação:
Qualquer dúvida estou à disposição :)