Estou seguindo "Spark: apresentando a ferramenta" porém sigo o que pede na página para fazer funcionar com o Colab e não retorna o arquivo JSON com o link como é obtido na mesma. A imagem da esquerda é de uma solução do fórum, a da direita é do meu notebook
Olá, Matheus! Como vai?
Esse erro ocorre porque o módulo ngrok não está definido. Isso acontece quando o módulo não foi importado ou instalado corretamente.
Logo abaixo, vou deixar alguns passos que podem ajudar:
Instale o pacote pyngrok no seu ambiente Colab. Para isso, você pode usar o código abaixo:
!pip install pyngrok
Depois de instalar, você precisa importar o módulo ngrok no seu código. Adicione a seguinte linha no início do seu código:
from pyngrok import ngrok
Agora você pode conectar e obter a URL pública como você estava tentando fazer:
public_url = ngrok.connect(4050)
print(f"Spark UI accessible at: {public_url}")
→ Verifique se a configuração de porta no SparkSession (spark.ui.port) corresponde ao porto que você está expondo via ngrok.
Espero ter ajudado!
Abraço! :)