Se os dois comandos fazem praticamente a mesma coisa, oque eu preciso levar em consideração ao escolher usar um ou outro?
Solucionado
Se os dois comandos fazem praticamente a mesma coisa, oque eu preciso levar em consideração ao escolher usar um ou outro?
Ola Guilherme, Ambos os comandos vão executar iguais, com a mesma performance, o que vai fazer a diferença vai ser a forma que você quer escrever o programa. No caso de usar df.select(), voce consegue criar metodos que são testaveis, criando programas mais estaveis para alterações. Mas talvez voce só quer fazer um relatorio, ou tem mais facilidade de representar a logica em SQL do que em codigo, então você pode usar o spark.sql() para isso.
Espero fazer sentido, se não estou a disponisição.