Por quê no curso "Databricks análise de dados", não foi feito o tratamendo com spark no lugar do pandas, não seria mais performático?
1
resposta
resposta
[Sugestão] Linguagem do curso
Olá, Matheus! Como vai?
Nesse curso, estamos utilizando o Pandas dentro do PySpark. Perceba que a importação da biblioteca feita na aula Carregamento e leitura de dados foi:
import pyspark.pandas as ps
Dessa forma, utilizamos a sintaxe Pandas, mas o poder de processamento do Spark. Veja mais informações na atividade Para Saber Mais: Pandas ou Koalas?.
Espero ter esclarecido sua dúvida. Abraços.
Caso este post tenha lhe ajudado, por favor, marcar como solucionado ✓. Bons Estudos!