ex: PostgreSQL, MySql, Mongo etc? Tipo na aula aborda um arquivo CSV mas nem sempre creio eu que no mundo real terá isso.
1
resposta
resposta
Tem como eu extrair esses dados direto de uma fonte de algum banco de dados?
Oi, Rafael, tudo bem?
Sim, é totalmente possível extrair dados diretamente de fontes de bancos de dados como PostgreSQL, MySQL, MongoDB, entre outros, utilizando o Apache Spark. No mundo real, é muito comum que os dados venham de diversas fontes, incluindo bancos de dados, e não apenas de arquivos CSV, contudo todos os conceitos vistos no curso pode ser aplicado em um banco de dados.
Recomendo abaixo a leitura de alguns artigos que podem te guiar em como realizar a a conexão entre o banco de dados e o Spark:
- PySpark Connect to PostgreSQL – A Comprehensive Guide Connecting and Querying PostgreSQL with PySpark
- Using PySpark to connect to PostgreSQL locally
Ambos estão em inglês, mas você pode traduzí-los clicando com o botão direito do mouse e selecionando a opção "Traduzir para o português".
Espero ter ajudado. Caso tenha dúvidas, conte com o fórum. Abraços!
Caso este post tenha lhe ajudado, por favor, marcar como solucionado ✓. Bons Estudos!