Atualmente trabalho com o Databricks, utilizamos um volume muito grande de dados e os clusters conseguem nos auxiliar e muito no processamento, como o Pyspark trabalha de forma diferente do Pandas neste ambiente, ele é utilizado. Como a Alura tem um ótima didática muito boa, seria muito legal se tivesse um curso voltado para esta linguagem, independente se for no ambiente do Databricks ou não.