1
resposta

SparkSession não inicia no Jupyter

Fiz o download, descompactei o arquivo, coloquei o endereço correto no SPARK_HOME. Fiz o download do notebook por aqui, iniciei no Jupyter, porém mais de 20min depois de rodar a importação da biblioteca, e iniciar o SparkSession.builder, nada acontece. Nenhuma mensagem de erro é exibida, ele apenas fica rodando, o que pode ser?

obs: no google colab rodou normalmente

Insira aqui a descrição dessa imagem para ajudar na acessibilidade

1 resposta

Oi Ricardo,

O processo de instalação com configuração de variáveis etc. foi um procedimento explicado para uma configuração mais completa no Linux. Para rodar o curso basta instalar o pyspark e colocar a mão na massa. Talvez isso já funcione para você. Para isso basta executar o seguinte código no seu próprio notebook:

!pip install pyspark

Após isso teste seguir o curso normalmente.

Espero ter ajudado e bons estudos