[Dúvida] Porque utilizar o Data Factory ao invés de usar o Workflows do Databricks?

Nesse curso é ensinado a utilizar o Data Factory para orquestrar todos os pipelines de dados. Existe algum motivo para não trabalhar tudo dentro do Databricks, utilizando o workflows?

Outra dúvida é sobre o funcionamento do cluster. Ao agendar uma pipeline para ser executada em determinado horário do dia, o cluster é ligado automaticamente? E ao finalizar, ele também é desligado automaticamente?

E sobre os custos, ao utilizar o Databricks, o custo é calculado pelo uso do cluster, porém esse custo é pago na assinatura do Azure, ou é feita uma cobrança a parte?

E pra finalizar, gostaria de saber como é o trabalho em um ambiente profissional. O engenheiro de dados desenvolve todo o código direto no Databricks, consumindo horas do cluster, ou isso é feito localmente?

Oii, Aminadabe! Tudo bom?

Obrigada por compartilhar essas questões com a comunidade do fórum, é ótimo para aprender em grupo!

1-) O uso do Data Factory pode ter sido por didática de aprender outras formas, ela possui vantagens principalmente quando é precis trabalhar em cenários muilt-serviços e pipelines mais complexos. O Workflows é oposto, podemos utilizá-lo para pipelines simples dentro do Databricks.

2-) Sim, configurando o job certo, o Databricks liga o cluster automaticamente no horário agendado e desliga após a execução. Na documentação podemos aprender o passo a passo.

3-) Sobre os custos, é cobrado com base no uso DBUS ( Databricks por hora) e vem na sua fatura da azure. No FAQ é possível consultar esses e outros detalhes.

4-) O ambiente profissional para um Engenheiro de dados pode variar, dependendo da infraestrutura e das práticas da empresa. Caso o projeto seja pequeno e possui recursos o profissional pode desenvolver diretamente no Databricks, consumindo menos horas do cluster. O ideal é equilibrar o desenvolvimento local com testes e execução na nuvem para otimizar tempo e custo. E é sempre importante consultar com a empresa como esse processo é gerenciado.

Espero ter ajudado com as suas dúvidas e conte sempre com o fórum.

Bons estudos, Aminadabe!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado!