Se os dois comandos fazem praticamente a mesma coisa, oque eu preciso levar em consideração ao escolher usar um ou outro?
Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta
resposta
df.select() ou criar uma tabela temporaria para usar spark.sql("SELECT...")?
solução!
Ola Guilherme, Ambos os comandos vão executar iguais, com a mesma performance, o que vai fazer a diferença vai ser a forma que você quer escrever o programa. No caso de usar df.select(), voce consegue criar metodos que são testaveis, criando programas mais estaveis para alterações. Mas talvez voce só quer fazer um relatorio, ou tem mais facilidade de representar a logica em SQL do que em codigo, então você pode usar o spark.sql() para isso.
Espero fazer sentido, se não estou a disponisição.