Apache Beam para executar em um ambiente de produção é igual ao apache spark ? Preciso subir vários nós e executar meu script ou apenas pego o script coloco no meu servidor de produção e pronto?
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Solucionado
Apache Beam para executar em um ambiente de produção é igual ao apache spark ? Preciso subir vários nós e executar meu script ou apenas pego o script coloco no meu servidor de produção e pronto?
Olá, existem alguns runners para executar em produção. Na nuvem do google você pode utilizar o Dataflow por exemplo.
Podemos usar um ambiente spark para executar jobs do apache beam também.
Olha essa documentação, mas volta aqui se surgir mais alguma dúvida.
https://beam.apache.org/documentation/runners/capability-matrix/
Pedro, boa noite! Legal, já me deu uma boa direção, tenho estudado spark para alguns processos de data engineer. Obrigado pela resposta.