Entrar Ainda não tem acesso?
1
resposta

Atualização incremental com Banco de dados na Nuvem

Referente ao curso ETL com Integration Services: transformação de dados

por Vitor Lima
| 226.2k xp | 8 posts
Desenvolvedor Sênior

Desafio : Preciso utilizar um banco de dados na nuvem (AWS), como origem de dados para a carga de um DW.

Problema : A AWS cobra valores por download (trafego de dados) , feitos ao seu DB.

Pergunta : Qual é a melhor solução utilizando Integration Service, para fazer a carga do DW, utilizando a menor taxa de download possível entre os DBs

Resumo : Fazer a carga do DW utilizando banco de dados em nuvem, minimizando os dados retornados para o Integration Service, limitando-os aos incrementais (updates e inserts). Fazendo com que o fluxo de dados entre db_Origem >> Ingration_Service >> db_Destino sejam somente os necessários para a atualização incremental.

1 resposta
por Larissa Dubiella
| 1333.7k xp | 2813 posts
Alura Scuba Team Monitora Escola Semente | Fórum Ops

Oi, Vitor, tudo certinho?

Desculpe pela demora em te responder.

Para tomar decisões como essa, é importante ter uma visão bem ampla da arquitetura total da solução. Muitas soluções em nuvem acabam utilizando recursos até externos à própria nuvem, que devem ser levados em consideração.

O Amazon CloudWatch é uma forma interessante de ter observabilidade sobre o consumo de recursos e monitoramento do sistema. Ter esses dados pode esclarecer o melhor caminho para a sua estratégia de redução de gastos.

Recomendo a leitura do artigo abaixo para ampliar sua visão em relação à arquitetura do sistema. Espero que te inspire!

Fico torcendo pela melhor solução para seu problema, Vitor.

Abração!