Boa tarde, Srs. Alguma ideia de como melhorar a forma como o .show() aparece no jupyter notebook ? Ele não fica no formato tabular esperado. Agradeço desde já. Abços.
Boa tarde, Srs. Alguma ideia de como melhorar a forma como o .show() aparece no jupyter notebook ? Ele não fica no formato tabular esperado. Agradeço desde já. Abços.
Deve ter alguma configuração no jupyter para ativar a barra de rolagem Uma outra opção é converter para pandas que tem uma formatação melhor
df_pyspark.limit(5).toPandas()
Essa quantidade de casas decimais é necessária? Daria pra usar a função format_number.
Pensando num exemplo mínimo aqui:
df = spark.createDataFrame([('2004-03-10 18:00:00', 11.88172348868304)], ['timestamp', 'C6H6(GT)'])
df.select(f.format_number('C6H6(GT)', 2)).show()