Eu instalei a versão mais nova do pyspark:
pip install pyspark==3.5.1
E o código ficou assim:
# Não precisa mais de: import findspark; findspark.init()
from pyspark.sql import SparkSession
# Inicializa a sessão direto (o Python já sabe onde o PySpark está)
spark = SparkSession.builder \
.master('local[*]') \
.appName("Iniciando com Spark") \
.getOrCreate()
# Cria o DataFrame
data = [('Zeca', '35'), ('Eva', '29')]
colNames = ['Nome', 'Idade']
df = spark.createDataFrame(data, colNames)
# Mostra o resultado na tela
df.show()
Lembre-se de restartar o kernel e lembrando que eu estou usando Python 3.11 e o Java 17, caso apareça o erro Py4JJavaError ao tentar iniciar a sessão spark, instale novamente o Java, no meu caso é a versão 17 e mude o código, mas sempre lembrando de restartar o kernel:
import os
from pyspark.sql import SparkSession
# Define o caminho do Java para o sistema operacional
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-17-openjdk-amd64"
# Inicializa a sessão do Spark
spark = SparkSession.builder \
.master('local[*]') \
.appName("Iniciando com Spark") \
.getOrCreate()
# Cria o DataFrame
data = [('Zeca', '35'), ('Eva', '29')]
colNames = ['Nome', 'Idade']
df = spark.createDataFrame(data, colNames)
# Mostra o resultado
df.show()
Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!