Solucionado
Fiz o curso de Airflow - primeiro pipeline de dados, com instalação do python e airflow no linux, e o curso da um exemplo com uma maquina virtual local. Mas eu gostaria de saber se em uma empresa de fato, esse tipo de projeto é construído em maquinas virtuais em Cloud?
Oi, Israel, tudo bem?
Na verdade, a escolha entre usar uma máquina virtual local ou uma máquina virtual na nuvem depende muito do contexto da empresa e do projeto em questão. No curso, o exemplo é dado em uma máquina virtual local para facilitar o aprendizado e a prática, sem a necessidade de custos adicionais com serviços de nuvem.
No entanto, em um ambiente de produção em uma empresa, é comum que se usem máquinas virtuais na nuvem. Isso porque os serviços de nuvem oferecem uma série de vantagens, como escalabilidade, alta disponibilidade, segurança e a possibilidade de integrar facilmente com outros serviços.
Por exemplo, uma empresa pode ter seu pipeline de dados no Apache Airflow rodando em uma instância EC2 da AWS, armazenar seus dados no S3 (também da AWS) e utilizar outros serviços como o AWS Glue para transformação de dados.
Mas lembre-se, essa é apenas uma das muitas possibilidades. A escolha depende de uma série de fatores, incluindo o orçamento disponível, o volume de dados a ser processado, a complexidade do pipeline, entre outros.
Espero ter ajudado. Caso tenha dúvidas, conte com o fórum. Abraços!
Opa muito obrigado Rodrigo!