Olá!
Alguns alunos tiveram o seguinte erro no momento de criar a sessão no spark:
RuntimeError: Java gateway process exited before sending its port number
Como não consegui comentar no post de cada um, segue a solução que seria só setar a variável "JAVA_HOME" (local onde voce baixou o java).
os.environ['SPARK_HOME'] = "C:\spark\spark-3.2.1-bin-hadoop3.2"
os.environ['HADOOP_HOME'] = "C:\spark\spark-3.2.1-bin-hadoop3.2\hadoop"
os.environ['JAVA_HOME'] = "C:\Program Files\Java\jre1.8.0_321"
Obrigado!
