Por quê no curso "Databricks análise de dados", não foi feito o tratamendo com spark no lugar do pandas, não seria mais performático?
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Por quê no curso "Databricks análise de dados", não foi feito o tratamendo com spark no lugar do pandas, não seria mais performático?
Olá, Matheus! Como vai?
Nesse curso, estamos utilizando o Pandas dentro do PySpark. Perceba que a importação da biblioteca feita na aula Carregamento e leitura de dados foi:
import pyspark.pandas as ps
Dessa forma, utilizamos a sintaxe Pandas, mas o poder de processamento do Spark. Veja mais informações na atividade Para Saber Mais: Pandas ou Koalas?.
Espero ter esclarecido sua dúvida. Abraços.