0
respostas

Execução da tarefa de transformação

Da forma que foi projetado, o spark que leva de bronze --> silver está rodando com todos os dados do bronze?

Ex: Nos dados do bronze tenho os dias 27,28 e 29. A minha DAG vai executar o dia 30, então vai extrair os dados do dia 30 e então o spark vai pegar todos os dados do bronze, que seria equivalente a reprocessar os dias anteriores.

Se estiver realmente assim, não faz mais sentido adicionar o extract date no parametro src para pegar apenas o dia que acabou de ser extraído?

Quer mergulhar em tecnologia e aprendizagem?

Receba a newsletter que o nosso CEO escreve pessoalmente, com insights do mercado de trabalho, ciência e desenvolvimento de software