Solucionado
Bom dia pessoal! Tudo bem com vocês?
Tenho uma dúvida teórica referente à "continuidade" da evolução dos temas de Engenharia de Dados com relação à um ponto: Ambiente Python em Nuvem. Provavelmente estou antecipando os temas, mas hoje quais são as soluções disponíveis no mercado para subirmos um código de Python na nuvem e agendarmos a execução dele sem depender de uma máquina local executando este código?
Oi, Adilson! Como vai?
Você mandou muito bem em já pensar na continuidade da solução com foco em nuvem.
Hoje existem várias ferramentas que permitem executar e agendar scripts Python na nuvem sem depender de uma máquina local. Trouxe algumas das mais usadas no mercado:
AWS Lambda: roda funções Python sem precisar configurar servidores. Pode ser agendado com o Amazon CloudWatch (tipo um cron job).
Google Cloud Functions: permite executar código Python sob demanda ou em horários definidos com o Cloud Scheduler.
Azure Functions: solução da Microsoft para executar scripts na nuvem, com agendamento pelo Timer Trigger ou Azure Scheduler.
Apache Airflow: ferramenta de orquestração de pipelines de dados. Pode ser usada em nuvem via MWAA (Managed Workflows for Apache Airflow) na AWS ou Cloud Composer no Google Cloud.
Dagster e Prefect: plataformas modernas de orquestração de dados, também com suporte a agendamento e execução em nuvem.
Com essas soluções, você pode:
Espero ter ajudado. Conte com o apoio do Fórum na sua jornada. Fico à disposição.
Abraços e bons estudos!
Caso este post tenha lhe ajudado, por favor, marcar como solucionado