Olá os demais comandos funcionou seguindo o passo a passo conforme detalhado pelo professor
porem é uma das etapas ao execuntar o código abaixo apresenta a seguinte mensagem, conforme descrito no assunto.
spark = SparkSession.builder.master('local[*]').getOrCreate()
Olá Adriano, tudo bem com você?
Peço desculpas pela demora em obter um retorno.
Esse erro geralmente ocorre quando a variável JAVA_HOME não está definida, sendo assim, peço que tente adicionar uma variável de ambiente apontando para o local onde o Java foi instalado, exemplo:
import os
os.environ['SPARK_HOME'] = "C:\spark\spark-3.4.1-bin-hadoop3"
os.environ['HADOOP_HOME'] = "C:\spark\spark-3.4.1-bin-hadoop3\hadoop"
os.environ['JAVA_HOME'] = "C:\Program Files\Java\Java\jdk-18.0.2.1"
Observação: Lembre-se de substituir a instrução os.environ['JAVA_HOME'] para o endereço correto do seu computador onde o Java está localizado.
Espero ter ajudado. Continue mergulhando em conhecimento e não hesite em voltar ao fórum para continuar aprendendo e interagindo com a comunidade.
Abraços e bons estudos!