Solucionado (ver solução)
Solucionado
(ver solução)
3
respostas

Erro ao executar SparkSession.builder

Olá, Ainda estou nas primeiras aulas do curso e me deparei com este erro.

Tanto no Jupiter quanto no Pycharm o erro final é o mesmo.

Codigo ExecutadoRecebo a seguinte mensagem de erro, mas não sei como proceder para corrigir.

"C:\Users\Gaucha TecPar\PycharmProjects\ml_perdas\venv\Scripts\python.exe" "C:\Users\Gaucha TecPar\PycharmProjects\ml_perdas\main.py" Traceback (most recent call last): File "C:\Users\Gaucha TecPar\PycharmProjects\ml_perdas\main.py", line 10, in spark = SparkSession.builder File "C:\Users\Gaucha TecPar\PycharmProjects\ml_perdas\venv\lib\site-packages\pyspark\sql\session.py", line 269, in getOrCreate sc = SparkContext.getOrCreate(sparkConf) File "C:\Users\Gaucha TecPar\PycharmProjects\ml_perdas\venv\lib\site-packages\pyspark\context.py", line 483, in getOrCreate SparkContext(conf=conf or SparkConf()) File "C:\Users\Gaucha TecPar\PycharmProjects\ml_perdas\venv\lib\site-packages\pyspark\context.py", line 195, in init SparkContext.ensureinitialized(self, gateway=gateway, conf=conf) File "C:\Users\Gaucha TecPar\PycharmProjects\ml_perdas\venv\lib\site-packages\pyspark\context.py", line 417, in ensureinitialized SparkContext.gateway = gateway or launchgateway(conf) File "C:\Users\Gaucha TecPar\PycharmProjects\ml_perdas\venv\lib\site-packages\pyspark\java_gateway.py", line 99, in launch_gateway proc = Popen(command, **popen_kwargs) File "C:\Users\Gaucha TecPar\AppData\Local\Programs\Python\Python39\lib\subprocess.py", line 951, in init self.executechild(args, executable, preexec_fn, close_fds, File "C:\Users\Gaucha TecPar\AppData\Local\Programs\Python\Python39\lib\subprocess.py", line 1420, in executechild hp, ht, pid, tid = _winapi.CreateProcess(executable, args, FileNotFoundError: [WinError 2] O sistema não pode encontrar o arquivo especificado

Como devo proceder para correção?

3 respostas

Encontrei o erro, estava no meu path. Porém agora dá um erro diferente. Insira aqui a descrição dessa imagem para ajudar na acessibilidade

Me parece ser um erro de caminho do java. Verifiquei as minhas váriaveis de ambiente e JAVA_HOME parece estar correto

Insira aqui a descrição dessa imagem para ajudar na acessibilidadeInsira aqui a descrição dessa imagem para ajudar na acessibilidade O prompt de comando também reconhece o java

Insira aqui a descrição dessa imagem para ajudar na acessibilidade

Alguém tem alguma ideia sobre qual path ele está se referindo?

Deve ser a mesma causa do erro quando tento rodar o spark pelo prompt de comando

Insira aqui a descrição dessa imagem para ajudar na acessibilidade

solução!

Achei o problema. Parece que as variáveis da os não atualizam automaticamente. Atualizando as variáveis: os.environ["JAVA_HOME"] e os.environ["PATH"]