problema ao importar o findspark

Olá, Lucas, tudo bem?

Desculpe pela demora em obter um retorno.

Essa mensagem de erro indica que o Jupyter não conseguiu encontrar o py4j no diretório especificado, que é C:\Spark\spark-3.3.1-bin-hadoop3\python.

Para solucionar o problema siga os passos abaixo:

• Verifique se a variável de ambiente SPARK_HOME está definida corretamente. No seu notebook Jupyter, você pode usar o seguinte comando para verificar o valor atual de SPARK_HOME:

import os
print(os.environ['SPARK_HOME'])

O valor impresso deve ser o caminho para o diretório onde você instalou o Spark. Por exemplo, se o valor de SPARK_HOME for "C:\spark\spark-3.1.2-bin-hadoop2.7". Você deverá definir a variável de ambiente SPARK_HOME no seu notebook Jupyter assim:

    python
    os.environ['SPARK_HOME'] = "C:\spark\spark-3.1.2-bin-hadoop2.7"

Substitua "C:\spark\spark-3.1.2-bin-hadoop2.7" pelo caminho correto impresso como diretório onde você instalou o Spark.

• Verifique se o py4j está presente no diretório python dentro do diretório do Spark. No seu caso, o py4j deveria estar em "C:\Spark\spark-3.3.1-bin-hadoop3\python". Se o py4j não estiver lá, você pode tentar reinstalar o Spark.

Espero ter ajudado.

Caso surja alguma dúvida, não hesite em compartilhar no fórum.

Abraços e bons estudos!