Atualmente, estou trabalhando em um projeto que envolve um banco de dados RDS PostgreSQL. Preciso criar um processo de ETL, onde o destino final será um Data Warehouse (DW) no Amazon Redshift. Minha dúvida é se os conceitos de integração que deste curso, que abordam a interação entre o S3 e o AWS Glue, podem ser aplicados também ao RDS.
É necessário criar a tabela com o Crawlers neste caso ou como as tabelas ja existem no RDS o procedimento seria outro?
hoje, com a Alura e o Google Gemini
Olá Vitor, tudo bem?
No caso do RDS, você já tem as tabelas definidas no PostgreSQL. Então, o processo de ETL seria diferente. Você não precisaria usar o Crawler para descobrir a estrutura das tabelas, pois já sabe como elas são. Você pode usar o AWS Glue para o ETL do RDS para o Redshift, mas o processo é um pouco diferente do que usar o Crawler para o S3.
Em vez disso, você precisa definir a conexão com o RDS e criar um Job que extraia, transforme e carregue os dados. Abaixo deixo o link da documentação que poderá te ajudar:
Espero ter ajudado.
Qualquer dúvida, não hesite em compartilhar no fórum.
Abraços!