tipos_numericos = ['double', 'float']
dataset\
.select([
f.count(
f.when(
(f.isnan(c) | f.isnull(c)) if dict(dataset.dtypes)[c] in tipos_numericos
else f.isnull(c),
True
)
).alias(c)
for c in dataset.columns
])\
.show()
É só fazer dessa forma e vai ser mais preciso do que o código da aula, e funciona na versão atual estável do spark: 4.1.1
