1
resposta

[Sugestão] Windows -PyCharm- pyspark.shell

Dica p quem decidir usar Windows Pycharm, atentar locais de diretórios com espaços.


import os
import findspark

os.environ['SPARK_HOME'] = 'C:\\Program Files\\Spark\\spark-3.3.2-bin-hadoop3\\spark-3.3.2-bin-hadoop3'
os.environ['JAVA_HOME'] = 'C:\\Program Files\\Java\\jdk-18.0.2.1'
os.environ['HADOOP_HOME'] = 'C:\\winutils.exe'

from pyspark.sql import SparkSession
from pyspark.shell import sc

findspark.init()

sc.setLogLevel('WARN')

spark = SparkSession.builder.master('local[*]').appName("Iniciando_spark").getOrCreate()

sc = spark.sparkContext
1 resposta

Olá Ariany, tudo bem com você?

Fico feliz em ver sua participação no fórum da Alura. É muito importante o engajamento e auxílio da comunidade. Obrigado por sua contribuição, com certeza ajudará outras pessoas.

Continue mergulhando em conhecimento e não hesite em voltar ao fórum para continuar aprendendo e interagindo com a comunidade.

Abraços e bons estudos!