Entrar Ainda não tem acesso?
1
resposta

[Dúvida] Criado o airflow e agora?

Referente ao curso Apache Airflow: orquestrando seu primeiro pipeline de dados

por Pedro Venancio da Silva Rosas
| 46.3k xp | 1 posts

Excelente curso, porém eu fiquei com uma dúvida. Ok, nós queria um ETL utilizando o AirFlow e o nosso dag, quando nos rodamos o AirFlow (airflow standalone) ele aparece lá e nós podemos ver se esta funcionando log, etc. Minha dúvida, por mais que pareça boba, esta matutando na minha cabeça. Esse nosso DAG criado, mesmo sem nós rodarmos o servidor na nossa máquina Linux, ele vai rodar toda segunda feira, dando de exemplo a tarefa feita durante o curso. Ou ele somente vai ficar rodando se tiver uma VM ou um docker rodando ele lá?

1 resposta
por Millena Gená Pereira
| 878.2k xp | 1503 posts
Instrutor Instrutora de dados

Oii Pedro, tudo bem contigo?

Fico feliz em saber que está gostando do curso!

Respondendo à sua pergunta, o DAG que você criou só será executado se o servidor Airflow estiver rodando, seja em uma VM ou em um container Docker. O Airflow é uma ferramenta de orquestração de fluxos de trabalho e depende do ambiente de execução para agendar e executar as tarefas definidas no DAG.

Portanto, se você deseja que o DAG seja executado automaticamente toda segunda-feira, é necessário garantir que o servidor Airflow esteja ativo nesse momento. Caso contrário, as tarefas não serão agendadas e executadas conforme o cronograma definido. É importante lembrar que o Airflow é flexível e pode ser configurado para rodar em diferentes ambientes, como em uma máquina local, em uma VM na nuvem, dentre outras opções. Então sempre precisamos nos certificar que temos um ambiente adequado configurado para a execução do Airflow e do DAG.

Espero ter ajudado. Se tiver mais alguma pergunta, estou à disposição :)

Bons estudos!