Foi explicado ai a instalação e utilização do Spark com o Airflow standalone, mas eu havia instalado o Airflow com o docker. Como faço para utilizar o spark com o Airflow no docker?
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Foi explicado ai a instalação e utilização do Spark com o Airflow standalone, mas eu havia instalado o Airflow com o docker. Como faço para utilizar o spark com o Airflow no docker?
Ei, Yan! Tudo bem?
Aqui na plataforma temos alguns conteúdos que podem te auxiliar nesse momento, que são:
É recomendado fortemente usar o mesmo ambiente que o instrutor. Se for possível, tente optar por instalar o Spark com o Airflow standalone. Dessa forma, você ter o mesmo ambiente, absorverá melhor o conteúdo e evitará erros ou incompatibilidades.
Espero ter ajudado e qualquer dúvida, compartilhe no fórum.
Até mais, Yan!
Caso este post tenha lhe ajudado, por favor, marcar como solucionado!