Erro ao executar a sessão do Spark

Olá Luca, tudo bem ? Espero que sim.

Desculpe a demora em responder.

A minha recomendação é baixar e instalar novamente a instalação.

É importante verificar a versão do Java instalada na sua máquina. E também instalar o PySpark via comando pip.

• Instalação Java

sudo apt-get install openjdk-8-jdk-headless -qq

• Verificando a versão Java

java -version

• Instalando PySpark

!pip install pyspark==3.3.1

Instalando o Spark:

• wget https://archive.apache.org/dist/spark/spark-3.1.3/spark-3.1.3-bin-hadoop3.2.tgz
• tar -xvzf spark-3.1.3-bin-hadoop3.2.tgz
• pip install apache-airflow-providers-apache-spark

Configurando Aiflow Spark

• Admin/Connections
• Add
• Connection Type = Spark
• Host = local
• comando PWD na pasta do Spark
• {"spark-home": "/home/alura/Documents/spark-3.1.3-bin-hadoop3.2"}

Configurando a variavel de ambiente:

• export SPARK_HOME=spark-3.1.3-bin-hadoop3.2

Poderia por favor tentar esses passos novamente, mas caso o erro persista me passe o comando executado e o erro completo, para juntos resolvermos isso.