Entrar Ainda não tem acesso?
3
respostas

Dags Runs são iniciadas porém as tasks são agendadas mas não iniciadas

Referente ao curso Aprofundando no Airflow: Executores Local e Celery

por Miguel Alves da Silva Neto
| 49.4k xp | 5 posts

Olá pessoal, Boa tarde.

Estou enfrentando um desafio específico na primeira parte do curso e gostaria de compartilhar com vocês. Espero que vcs consigam me ajudar.

Estou usando o executor sequencial ainda e tenho criado minhas DAGs sem problemas. No entanto, estou encontrando dificuldades na execução das minhas DAGs.

As DAG Runs estão sendo iniciadas, mas as tasks não estão sendo executadas conforme o esperado. No terminal, estou recebendo a seguinte mensagem de aviso:

scheduler | <TaskInstance: get_crypto_dag.BTC scheduled__2023-10-01T00:00:00+00:00 [scheduled]>
scheduler | <TaskInstance: get_crypto_dag.ETH scheduled__2023-10-01T00:00:00+00:00 [scheduled]>
scheduler | <TaskInstance: get_crypto_dag.DOGE scheduled__2023-10-01T00:00:00+00:00 [scheduled]>
scheduler | <TaskInstance: get_crypto_dag.AVAX scheduled__2023-10-01T00:00:00+00:00 [scheduled]>
scheduler | ...
scheduler | [2023-10-06 17:01:08,423] {scheduler_job.py:362} WARNING - Tasks using non-existent pool 'small_pool' will not be scheduled
scheduler | [2023-10-06 17:01:08,423] {scheduler_job.py:362} WARNING - Tasks using non-existent pool 'small_pool' will not be scheduled
scheduler | [2023-10-06 17:01:08,422] {scheduler_job.py:362} WARNING - Tasks using non-existent pool 'small_pool' will not be scheduled

Se alguém já teve experiência com esse tipo de problema ou tem alguma sugestão de como posso solucioná-lo, ficaria muito grato pela ajuda. Já verifiquei minha configuração e as DAGs parecem estar corretamente definidas.

Abraços,

3 respostas
por NATHALIA QUEIROZ
| 2055.1k xp | 4843 posts
Alura Scuba Team Suporte Educacional

Oii, Miguel! Tudo bem?

O alerta que está recebendo informa que existem tarefas agendadas, porém elas não estão sendo executadas da forma certa. Ou seja, há tarefas configuradas para usar um pool chamado 'small_pool', mas o o pool não está definido em seu ambiente do Apache Airflow.

Vamos ver alguns pontos que podem nos ajudar a resolver esse problema:

  • Verifique a existência do pool 'small_poll', caso não exista terá que criá-lo.

  • pool 'small_pool criado, para atualizar as tarefas para usá-lo e certificar que estão configuradas corretamente, pode-se usar o parâmetro poolna criação das tarefas ou através do painel de administrativo.

  • E por último, reinicie o agendador ( shceduler) do Apache Flow. Para isso, use o comando airflow sheduler. Dessa forma estamos garantindo que todas as alterações sejam atualizadas.

Espero que as sugestões te ajude. Para auxiliar em seus estudos, recomendo ter como apoio a documentação do Apache Airflow, segue o link:

Apache Airflow

A página pode abrir em Inglês, caso não se sinta confortável com o idioma, clique com o botão direito do mouse em qualquer canto da página e escolha a opção " Traduzir para o portguês".

Bons estudos, Miguel!

por Miguel Alves da Silva Neto
| 49.4k xp | 5 posts

Oi Nathalia. Boa tarde.

Em nenhum dos cursos anteriores teve algo relacionado a configurar pool.

Nesse curso em especifico eu não modifiquei nada com relação a poll.

por NATHALIA QUEIROZ
| 2055.1k xp | 4843 posts
Alura Scuba Team Suporte Educacional

Oii, Miguel! Tudo bem?

Peço desculpas por não ser assertiva na resolução.

Miguel, para podermos pesquisar mais a fundo do que se trata o erro, peço por gentileza que disponibilize o código de execução e também o print da tela mostrando o erro, se possível. Dessa forma, conseguiremos analisar um pouco mais o contexto no qual essa mensagem que você compartilhou está inserido, para te ajudar de forma mais assertiva.

Abraço!