Eu gostaria que, conforme aplicando o pipeline, ir visualizando os resultados (pelo menos o cabeçalho e os primeiros itens da PCollection. Visto que se eu jogar o pipeline.run(), o código trava e demoro para conseguir retornar do ponto em que parei.
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Eu gostaria que, conforme aplicando o pipeline, ir visualizando os resultados (pelo menos o cabeçalho e os primeiros itens da PCollection. Visto que se eu jogar o pipeline.run(), o código trava e demoro para conseguir retornar do ponto em que parei.
Bom dia!
Existem algumas maneiras de exibir uma PCollection. Uma maneira é usar o método display().
display() pega um PCollection e o exibe em uma tela. write() pega um PCollection e o escreve em um arquivo ou em um banco de dados. apply() pega um PCollection e aplica um pipeline a ele. O pipeline pode incluir transformações que exibem os dados da PCollection.Aqui está um exemplo de como usar o método display() para exibir uma PCollection:
import apache_beam as beam
with beam.Pipeline() as pipeline:
lines = (
pipeline
| 'ReadFromText' >> beam.io.ReadFromText('input.txt')
)
# Display the PCollection.
lines | 'Display' >> beam.io.WriteToDisplay()
pipeline.run()
Este código vai ler o arquivo input.txt e exibir os dados em uma tela.
Aqui está um exemplo de como usar o método write() para exibir uma PCollection:
import apache_beam as beam
with beam.Pipeline() as pipeline:
lines = (
pipeline
| 'ReadFromText' >> beam.io.ReadFromText('input.txt')
)
# Write the PCollection to a file.
lines | 'WriteToFile' >> beam.io.WriteToText('output.txt')
pipeline.run()
Este código vai ler o arquivo input.txt e escrever os dados no arquivo output.txt.
Aqui está um exemplo de como usar o método apply() para exibir uma PCollection:
import apache_beam as beam
with beam.Pipeline() as pipeline:
lines = (
pipeline
| 'ReadFromText' >> beam.io.ReadFromText('input.txt')
)
# Apply a pipeline to the PCollection and display the output.
lines | 'Transform' >> beam.Map(lambda x: x.upper()) | 'Display' >> beam.io.WriteToDisplay()
pipeline.run()
Este código vai ler o arquivo input.txt e exibir os dados em uma tela, mas com todas as letras maiúsculas.
Espero que isso ajude!