1
resposta

Executores diferentes ao mesmo tempo

Pessoal,

Segundo a doc https://airflow.apache.org/docs/apache-airflow-providers-celery/stable/celery_kubernetes_executor.html:

"The CeleryKubernetesExecutor allows users to run simultaneously a CeleryExecutor and a KubernetesExecutor. An executor is chosen to run a task based on the task’s queue."

Utilizamos esse executor aqui na empresa. Fica uma arquitetura mais complexa de fato, mas para o nosso cenário é necessário, onde termos uma heterogeneidade grande da exigência de recursos por parte das tasks. As menores podem executar facilmente pelo Celery, enquanto algumas mais pesadas utilizarão mais recursos disponíveis no cluster kubernetes.

1 resposta

Oii, Rodrigo, tudo bem por aí?

Obrigada por compartilhar o seu cenário com a gente! É uma boa divisão das tasks.

Se alguma dúvida surgir ou você quiser compartilhar mais sugestões e cenários, fique à vontade! :)

Abraços!