Olá,
Usei os mesmos comandos que o professor, só que quando usei dataset.show() percebi que as colunas que utilizei join se repetiram.
As imagens não estão carregando, mas basicamente as colunas com conteúdos de zone e unit estão aparecendo duas vezes.
No dataset mostrado em aula isso não ocorre. Preciso fazer algo além?
Código utilizado:
unit = dataset\
.groupBy('customerID')\
.pivot('unit')\
.agg(f.lit(1))\
.na\
.fill(0)
zone = dataset\
.groupBy('customerID')\
.pivot('zone')\
.agg(f.lit(1))\
.na\
.fill(0)
dataset = dataset\
.join(unit, 'customerID', how='inner')\
.join(zone, 'customerID', how='inner')
dataset.show()
