Boa tarde. O comando display (nome do dtfs) não substituiria esse bloco de dados?
df = spark\
.read\
.format(file_type)\
.option('inferSchema', infer_schema)\
.option('header', first_row_is_header)\
.option('sep', delimiter)\
.load(file_location)
Oi Maristela, tudo bem?
O comando display(df) é uma função que exibe o conteúdo do DataFrame de forma organizada. Ele não substitui o bloco de código que você postou, mas sim complementa o processo.
O bloco de código que você mencionou é responsável por ler os dados de uma fonte (como um arquivo CSV, JSON, etc.) e carregá-los em um DataFrame do Spark. Este é o passo inicial para manipular e analisar os dados.
Após carregar os dados no DataFrame com o código que você forneceu, você pode usar display(df) para visualizar os dados carregados. É uma maneira prática de inspecionar o conteúdo do DataFrame e verificar se os dados foram carregados corretamente.
Espero ter esclarecido.
Qualquer dúvida, não hesite em compartilhar no fórum.
Abraços!