Qual o conceito de upstream e downstream no airflow?

Oii, tudo bem contigo?

Os termos downstream e upstream são utilizados para definir as dependências entre as tarefas de um DAG.

• Tarefa upstream: uma tarefa que deve atingir um estado especificado antes que uma tarefa dependente possa ser executada
• Tarefa downstream: uma tarefa dependente que não pode ser executada até que uma tarefa upstream atinja um estado especificado

Por exemplo, suponha que temos um DAG com duas tarefas sequenciais, sendo elas: tarefa_1 e tarefa_2. Se quisermos especificar que a tarefa_1 sempre tem que ser executada antes da tarefa_2, isso quer dizer que a tarefa_1 é upstream a tarefa_2. Da mesma forma, podemos dizer que a tarefa_1 é downstream a tarefa_2.

Assim, a ordem de execução das nossas tarefas fica da seguinte forma:

Existem diferentes maneiras de definir essa relação entre as tarefas no código. Caso queira saber mais sobre isso, deixo aqui a indicação de leitura de um artigo e da documentação:

• Managing Dependencies in Apache Airflow
• Tasks

Qualquer dúvida estou à disposição :)