Apache Beam para executar em um ambiente de produção é igual ao apache spark ? Preciso subir vários nós e executar meu script ou apenas pego o script coloco no meu servidor de produção e pronto?
Solucionado
Apache Beam para executar em um ambiente de produção é igual ao apache spark ? Preciso subir vários nós e executar meu script ou apenas pego o script coloco no meu servidor de produção e pronto?
Olá, existem alguns runners para executar em produção. Na nuvem do google você pode utilizar o Dataflow por exemplo.
Podemos usar um ambiente spark para executar jobs do apache beam também.
Olha essa documentação, mas volta aqui se surgir mais alguma dúvida.
https://beam.apache.org/documentation/runners/capability-matrix/
Pedro, boa noite! Legal, já me deu uma boa direção, tenho estudado spark para alguns processos de data engineer. Obrigado pela resposta.