Conforme imagem, a api não retorna nada.
Conforme imagem, a api não retorna nada.
Olá Felipe, tudo bem com você?
Para fazer a conexão do SparkUI usando o Ngrok dentro do Google Colab instale a biblioteca pyngrok
. Através do método connect
será retornado a URL de acesso do SparkUI como mostrado em aula.
Antes de prosseguir reinicie o ambiente de execução do Google Colab. Você pode reiniciar o ambiente de execução clicando na barra de ferramentas localizada na parte superior da tela e em "Ambiente de execução" selecionar a opção "Reiniciar o ambiente de execução".
A seguir o código que você deverá executar em cada célula separadamente:
# instalar as dependências
!apt-get update -qq
!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop2.7.tgz
!tar xf spark-3.1.2-bin-hadoop2.7.tgz
!pip install -q findspark
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-3.1.2-bin-hadoop2.7"
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.master('local[*]') \
.appName("Iniciando com Spark") \
.config('spark.ui.port', '4050') \
.getOrCreate()
!wget -q https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
!unzip ngrok-stable-linux-amd64.zip
!pip install pyngrok
from pyngrok import ngrok
!ngrok authtoken SEU_TOKEN_AQUI_ENTRE_ASPAS_DUPLAS
ngrok.connect('4050')
Lembre de alterar o comando authtoken
com o seu código de autenticação do ngrok
que foi gerado neste site. Como resultado após a célula ngrok.connect
deverá aparecer uma URL, copie e cole em seu navegador e clique no botão Visit Site e deverá ver a página do SparkUI/jobs:
Espero ter ajudado. Conte com o apoio do Fórum na sua jornada. Fico à disposição. Abraços e bons estudos!
Excelente, deu certo, obrigado!