Engenharia de dados (road to glory 🥷🏻)
Plano de estudos direcionado à aprendizagem de conceitos, fundamentos, ferramentas e técnicas para o desenvolvimento de processos de engenharia de dados.
Para uma melhor aprendizagem é importante que o aluno tenha uma base consistente de lógica de programação, algoritmos e estruturas de dados.
As tecnologias utilizadas serão Python3 (Pandas, Selenium, Flake8, Jinja, TDD), PostgreSQL, MongoDB, Elasticsearch, Docker (Swarm), AWS (EC2, S3), Apache Spark (PySpark), Apache Airflow, Apache Beam, Pentaho DI e Google Big Query.
Concluindo este plano você terá um conhecimento técnico suficiente para criar e persistir processos de engenharia de dados e ir em busca de oportunidades no mercado da área.
Plano de ensino:
Python para engenharia de dados
- Funções, pacotes e controle de contexto
- Manipulação de dados
- Manipulação de arquivos
- Webscraping
- Tratamento de erros
- Testes automatizados
- Design patterns
Banco de dados
- SQL com PostgreSQL
- NoSQL com MongoDB
- Elasticsearch
Ferramentas de infraestrutura e suporte à engenharia de dados
- Introdução à containers com Docker
- Introdução à nuvem com AWS
Scheduling e processamento distribuído
- Processamento de dados com Spark
- Scheduling e processamento batch com Airflow
- Criação de pipelines com Beam
Fundamentos de BI com Pentaho DI
- Introdução à inteligência de negócios
- ETL com Pentaho
- OLAP com Pentaho
- Consultas multidimensionais com Pentaho
- Análise e visualização de dados com Pentaho
Fundamentos de Big Data
- Introdução ao Big Data com Big Query
- Funções do Big Query
- Manipulação de dados com Big Query
Planos de estudo são sequências de cursos e outros conteúdos criados por alunos e alunas da Alura para organizar seus estudos. Siga planos que te interessem ou crie o seu próprio.
Passo a passo
-
1
Conteúdo do plano
-
Curso Python para Data Science: Funções, Pacotes e Pandas
-
Curso Python Pandas: tratando e analisando dados
-
Curso Python Pandas: técnicas avançadas
-
Curso Pandas: formatos diferentes de entrada e saída (IO)
-
Curso Python: trabalhando com I/O
-
Curso Scraping com Python: coleta de dados na web
-
Curso Python 3: entendendo o Tratamento de Erros
-
Curso Testes automatizados: TDD com Python
-
Curso Python: boas práticas de código com PEP8
-
Curso PostgreSQL
-
Curso PostgreSQL: Views, Sub-Consultas e Funções
-
Curso PostgreSQL: comandos DML e DDL
-
Curso PostgreSQL: desenvolva com PL/pgSQL
-
Curso PostgreSQL: Triggers, transações, erros e cursores
-
Curso PostgreSQL: administração e otimização do banco
-
Curso Modelagem de banco de dados: NoSQL
-
Curso MongoDB: uma alternativa aos bancos relacionais tradicionais
-
Curso MongoDB: modelagem de dados
-
Curso Modelagem MongoDB: relacionamentos e cardinalidade
-
Curso Elasticsearch: pesquisando e analisando os seus dados
-
Curso Elasticsearch 5: pesquisas avançadas
-
Curso Elasticsearch: executando buscas inteligentes
-
Curso Elasticsearch: análise, consultas e dashboard
-
Curso Docker: criando e gerenciando containers
-
Curso Docker Swarm: Orquestrador de containers
-
Curso Deploy no Amazon EC2: alta disponibilidade e escalabilidade de uma aplicação
-
Curso Amazon S3: Manipule e armazene objetos na nuvem
-
Curso Amazon ECS: gerencie Docker na nuvem da AWS
-
Curso Engenharia de dados: Conceitos para Gestores
-
Curso Engenharia de Dados: organizando dados na AWS
-
Curso Spark: apresentando a ferramenta
-
Curso Engenharia de dados: conhecendo Apache Airflow
-
Curso Apache Beam: Data Pipeline com Python
-
Curso Business Intelligence: trabalhando com Data Warehouse
-
Curso Modelos de ETL: Pentaho Data Integration
-
Curso Transformação com ETL: Pentaho Data Integration
-
Curso OLAP com Pentaho: construção do Data Mart
-
Curso Consultas Multidimensionais: MDX com Pentaho
-
Curso Report Analysis com Pentaho: gerando relatórios empresariais
-
Curso Dashboard com Pentaho: visualize e analise os dados
-
Curso BigQuery: o banco de dados da Google para Big Data
-
Curso BigQuery: funções do BigQuery
-
Curso BigQuery: manipulação de dados
-
Curso Acesso ao Big Query: manipulação programático linguagens
-