Olá pessoal, Boa tarde.
Estou enfrentando um desafio específico na primeira parte do curso e gostaria de compartilhar com vocês. Espero que vcs consigam me ajudar.
Estou usando o executor sequencial ainda e tenho criado minhas DAGs sem problemas. No entanto, estou encontrando dificuldades na execução das minhas DAGs.
As DAG Runs estão sendo iniciadas, mas as tasks não estão sendo executadas conforme o esperado. No terminal, estou recebendo a seguinte mensagem de aviso:
scheduler | <TaskInstance: get_crypto_dag.BTC scheduled__2023-10-01T00:00:00+00:00 [scheduled]>
scheduler | <TaskInstance: get_crypto_dag.ETH scheduled__2023-10-01T00:00:00+00:00 [scheduled]>
scheduler | <TaskInstance: get_crypto_dag.DOGE scheduled__2023-10-01T00:00:00+00:00 [scheduled]>
scheduler | <TaskInstance: get_crypto_dag.AVAX scheduled__2023-10-01T00:00:00+00:00 [scheduled]>
scheduler | ...
scheduler | [2023-10-06 17:01:08,423] {scheduler_job.py:362} WARNING - Tasks using non-existent pool 'small_pool' will not be scheduled
scheduler | [2023-10-06 17:01:08,423] {scheduler_job.py:362} WARNING - Tasks using non-existent pool 'small_pool' will not be scheduled
scheduler | [2023-10-06 17:01:08,422] {scheduler_job.py:362} WARNING - Tasks using non-existent pool 'small_pool' will not be scheduled
Se alguém já teve experiência com esse tipo de problema ou tem alguma sugestão de como posso solucioná-lo, ficaria muito grato pela ajuda. Já verifiquei minha configuração e as DAGs parecem estar corretamente definidas.
Abraços,
