Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta

Pensando em arquitetura de dados

Olá, tudo bem ? Analisando pelo aspecto de arquitetura, onde ficariam:

1) os inputs - seriam as bases dos próprios sistemas ? Traduzindo para a estrutura, posso dizer que seriam pequenos data lakes para cada um deles ? (Vou precisar estruturar isso!) 2) o Data Product - ficaria numa estrutura de conteiner como um sistema web por exemplo ? Mas e se ele for algo com front Power BI, como funcionaria isso ? Onde os dados estruturados ficariam ? 3) APIs ou outros consumidores leriam direto do storage - OK !

Obrigado

1 resposta
solução!

Bom dia Mauricio tudo bem?

1) Podem ser, mas eles vão ter um mínimo de tratamento. Só fazer o dump do sistema original em um data lake fará com que todo mundo tenha um trabalho enorme. Então um processamento mínimo para garantr a qualidade desse dump aparece nesse data product que é chamado de source aligned data product

2) Pode ser sim. Se ele for um powerBI ele vai consumir com input a saída de algum DataProduct. Por exemplo você tem um data product que parseia dados de vários lugares e armazena em um lugar pro teu powerBI. Você pode ver o BI como DP consumindo esse input

3) Isso

Quer mergulhar em tecnologia e aprendizagem?

Receba a newsletter que o nosso CEO escreve pessoalmente, com insights do mercado de trabalho, ciência e desenvolvimento de software