Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Minha duvida é simples:
Quando importamos "import pyspark.Pandas" esse pandas roda em qual motor? Ele roda no motor do spark ou a biblioteca chama o motor do pandas internamente? Isso afeta MUITO a performance com grandes volumes de dados e para mim não ficou claro na aula.
Bom dia!
ela roda em cima do motor do Spark.