Fala pessoal, tudo bem? Espero que sim!
Estou acompanhando o curso e optei por fazer tudo na minha máquina a fim de me colocar em um ambiente mais parecido com o dia a dia dos desenvolvedores da empresa em que trabalho.
Tive um problema com essa abordagem.
Fiz a instalação de todos os pré requisitos, porém estou com uma dúvida na criação da Sessão do Spark.
Estou usando o WSL com o Ubuntu e aparentemente consegui criar uma sessão como mostra abaixo, pelo próprio spark-shell. (como evidenciam todas as imagens abaixo)
Meu problema é o seguinte:
Sempre que tento rodar o meu script no VSCode com a criação do dataframe, parece que o spark está tentando criar uma nova sessão e não utiliza a sessão já criada.
Neste print acima mostra a sessão que está criada na porta 4040 e quando eu rodo o meu script com a criação do dataframe, ele abre mais uma conexão na 4041.
No fim do dia, o código funciona, só que estou incomodado com o fato de que a sessão que está rodando não esta sendo utilizada. Existe alguma forma de conseguir utilizar a sessão ativa lá pelo spark-shell?
Obrigado.
