Plano de Estudo

Engenharia de Dados Completo

86 cursos

Olá. Caso tenha chegado nesse plano de estudos por acaso, eu queria te dar a notícia de que o título está bem enganoso.

A primeira versão do plano tinha mais de 110 cursos. Achei que isso pudesse assustar algumas pessoas e também ficou difícil de gerenciar a ordem dos cursos.

Essa versão de agora é uma versão suficientemente completa, ou seja, pessoas que comecem essa linha e sigam até o final, vão ter um pouco mais do que o necessário para poder realizar o trabalho básico de um engenheiro de dados na maior parte do tempo.

Aqui envolve:

  • uma linguagem para processamento, completa: Python.
  • uma linguagem de consulta e seus conceitos: SQL.
  • o basico de conceito ao redor disso.
  • os principais tipos de estruturas e processamentos para poder ter autonomia na hora de executar o trabalho no dia a dia.
  • Conceitos de Cloud para engenheiros de dados, utilizando Azure e GCP. A ideia é que a pessoa possa entender a ideia de ter dados em uma e fazer um data warehouse em outra. é um conceito legal. AWS ficou de fora apesar de ser bem utilizada. Mas com ela o plano tinha ficado enorme.
  • Pentaho e Power BI tambem ficaram de fora, por questão de escolha pessoal. Se tiver afim, manda brasa. Não tenho nada contra o Power BI, mas com o Pentaho eu te sugiro não depender dele. Tudo que você faz com ele você consegue com programação de verdade.
  • Tem no meio do plano conceitos de outras áreas, porque são áreas que conversam com eng. de dados. Está no plano, mas não é para aprender a fazer o trabalho deles. Só mesmo entender o que eles fazem para poder trabalhar melhor junto.
  • Tem algumas coisas de DevOps também. O nível de aprofundamento em cada ferramenta e conceito vai depender de onde trabalhar. Se trabalhar onde tem alguém que faz isso para você, passa rapidinho pelos conceitos. Se não, essa responsabilidade é sua. Cuida do CI/CD, IaC e etc. Nesse caso, é bom dar uma olhadinha mais aprofundada em controle de acesso e segurança.
  • Alguns cursos da lista é para passar voando. Outros é para assistir com muita calma, anotar e até repetir. quando eu tiver com mais paciência eu volto discriminando isso direitinho.
  • Quase tudo no plano tem uma escala razoável de dificuldade. Começa do mais simples e vai até a um pouco menos simples. Quase nada é muito complexo. Com exceção das pipelines com Apache Beam em Python. Se você ainda não sabe Apache Beam, você não está preparado para aprender Apache Beam, porque não tem nada que te prepara. Não tem escala de dificuldade. Ele é uma trauletada de dificuldade porque tem um paradigma de programação meio diferente, que considera um pipeline predefinida antes do tempo de execução e collections carregadas na memória. Essas collections andam pela pipeline e são imutáveis. O fluxo dessa pipeline deve ser descrito através dos pTransforms padrão ou customizados, que podem rodar em um cluster com diferentes maquinas e fazer um processamento gigantesco de dados em curto espaço de tempo. Enfim, trabalhar com big data ainda não é facil, mas aqui não é lugar para explicar essas coisas. Mas se você se esforçar para valer, uma hora acaba aprendendo. pelo menos foi assim comigo.
Criado por Guilherme Augusto Duque E Silva Costa

301k xp

Inscreva-se agora

Última atualização em

24/08/2021

O que é este plano de estudo?

Planos de estudo são sequências de cursos e outros conteúdos criados por alunos e alunas da Alura para organizar seus estudos. Siga planos que te interessem ou crie o seu próprio.

Passo a passo

  1. 1

    Conteúdo do plano