1
resposta

Plataforma de dados

Falando sobre plataforma de dados no curso de data mesh. Em um formato de lake, podemos ter 3 camadas (bronze, silver e gold). Uma plataforma de dados em mesh, teríam essas camadas? Pergunto isso porque normalmente na camada silver já começamos a ter alguma mudança nos dados (normalização, deduplicação...) se a área de domínio vai incluir um novo data source, como a plataforma já identificaria que tipo de normalização e deduplicação deveria ser aplicada?

1 resposta

Oi, Thiago. Como vai?

Entendo sua analogia. Em Data Mesh, não há essas camadas tradicionais de bronze, silver e gold da mesma maneira que em um data lake tradicional. Afinal, o foco está na descentralização e autonomia dos domínios de dados, e isso implica em uma abordagem mais granular e distribuída em relação ao gerenciamento de dados.

Porém, mesmo que não da mesma maneira, há alguns conceitos semelhantes no Data Mesh: a Raw Data Zone - que se assemelha ao bronze, onde os dados são armazenados sem alterações significativas, e a Curated Data Zone - que seria as camadas silver e gold. Porém, em vez de ter uma única camada silver ou gold, cada domínio pode ter sua própria camada de dados "curados". Essa camada pode incluir processos de normalização, deduplicação e outras transformações específicas ao domínio. Cada equipe de domínio seria responsável por decidir quais transformações são necessárias para seus próprios dados.

Já a respeito da incorporação de um novo data source e identificação de transformações necessárias, isso poderia ser facilitado por meio de metadados detalhados, catalogação automatizada e colaboração entre as equipes de domínio.

Espero ter clareado sua dúvida, Thiago.

Abraços.

Quer mergulhar em tecnologia e aprendizagem?

Receba a newsletter que o nosso CEO escreve pessoalmente, com insights do mercado de trabalho, ciência e desenvolvimento de software