Olá, estou iniciando os estudos na área de engenharia de dados e aprendendo mais sobre o Airflow. Porém tenho algumas dúvidas sobre o funcionamento da ferramenta.
Realizei alguns cursos aqui na plataforma e todos eles ensinam a instalar o airflow localmente. Ainda sou muito leigo no assunto, mas acredito que ao agendar as DAGs, é necessário que a máquina esteja ligada para funcionar, correto?
Existe algum curso que ensine a instalar o airflow em algum ambiente na nuvem?
Agradeço desde já!
Sim, ao instalar o Apache Airflow localmente, a máquina precisa estar ligada para que as DAGs sejam executadas. Para utilizar o Airflow em um ambiente na nuvem, algumas opções de cursos e recursos podem ajudar: Google Cloud Composer: O Cloud Composer é uma solução gerenciada do Google Cloud baseada no Apache Airflow. Ele permite agendar e executar DAGs na nuvem sem depender de uma máquina local. A documentação oficial do Composer ensina como configurar e gerenciar DAGs na plataforma. Amazon MWAA (Managed Workflows for Apache Airflow): A AWS oferece o MWAA, um serviço gerenciado para executar Airflow na nuvem. A documentação da AWS explica como configurar e adicionar DAGs ao ambiente. https://docs.aws.amazon.com
Legal Jailson, muito obrigado!