Solucionado (ver solução)
Solucionado
(ver solução)
5
respostas

[Dúvida] SparkSession.builder não roda local

Estou tentando rodar o SparkSession.builder localmente no jupyter mas não finaliza nunca, não sei qual é o problema.

Python: 3.10.4; Java: 1.8.0_51 Hadoop: 2.7 Spark: 3.3.1

Insira aqui a descrição dessa imagem para ajudar na acessibilidade

5 respostas

Falar mano, qual o seu sistema operacional que você esta radando é windows ou linux?

Windows!

Você conseguiu resolver esse problema?

Ainda não

solução!

Borar lá,

Você já tem instalando, 1 - Java versão mais recente? - para verificar se o java está instalando na sua maquina no terminal 'java -version' 2 - o python a versão atual? - para verificar se o java está instalando na sua maquina no terminal 'python -version' 3 - você baixou o arquivo do spark 3.2.3 - > https://www.apache.org/dyn/closer.lua/spark/spark-3.2.3/spark-3.2.3-bin-hadoop2.7.tgz e extraiu para uma pasta especifica exemplo 'c:\spark' 4 - basta digitar o comando pip install findspark no terminal 5 - você vai fazer o download do arquivo winutils - > https://github.com/steveloughran/winutils/raw/master/hadoop-2.7.1/bin/winutils.exe feito isso , você vai em 'c:\spark' dentro do 'c:\spark' você vai entrar nela e dentro da pasta do 'park' vc terá que criar duas subpastas exemplo 'c:\spark\hadoop\bin' e dentro da pasta 'bin' você vai cópia o arquivo baixando no passo 4, ficara assim 'c:\spark\hadoop\bin\winutils.exe'

fiz esse procedimentos no windows e deu certo" no meu windows 11.