Olá, Senhores.
Assistindo a aula Spark com Python me surgiu uma dúvida referente à essa aula:
O professor ensinou referente a instalação do spark no colab, assim como a ativação do ngrok e o .config.
Minha dúvida está relacionado a necessidade de instalar o ngrok e também o .config inserindo o endereço e porta.
from pyspark.sql import SparkSession
spark = SparkSession.builder\
.master('local[*]')\
.appName("Iniciando com Spark")\
* .config('spark.ui.port', '4050')\*
.getOrCreate()
Não ficou claro se isso define se com essa configuração é definido mais clusters com nós e se eu deixar a configuração padrão pode afetar o meu aprendizado:
from pyspark.sql import SparkSession
spark = SparkSession.builder\
.master('local[*]')\
.appName("Iniciando com Spark")\
.getOrCreate()
