Fundamentos de conceitos em engenharia de dados
O plano de estudos proposto abaixo abrange desde os conceitos iniciais até a implementação mais avançada de projetos, utilizando tecnologias amplamente empregadas no mercado. Os cursos e suas descrições:
- Introdução à Engenharia de Dados
Artigo: Engenharia de Dados: o que é, o que faz e Guia completo
Neste artigo, são apresentados os conceitos fundamentais da Engenharia de Dados, suas funções e as principais tecnologias utilizadas na área.
- Fundamentos de Programação para Engenharia de Dados
Curso: Pipeline de dados: combinando Python e orientação a objetos
Ensina a estruturar pipelines de dados com Python utilizando princípios de orientação a objetos.
Artigo: Ambientes virtuais em Python
Explica a necessidade de utilizar ambientes virtuais para gerenciamento de dependências em projetos Python.
Curso: Python e APIs: conhecendo a biblioteca Requests
Introdução à coleta de dados via APIs, utilizando a biblioteca Requests para interação com serviços web.
- Bancos de Dados e Modelagem
Artigo: SQL e NoSQL: trabalhando com bancos relacionais e não relacionais
Apresenta as diferenças entre bancos relacionais e NoSQL, destacando seus usos.
Curso: Modelagem de banco de dados relacional: entendendo SQL
Introduz conceitos de modelagem de dados e consultas SQL.
Curso: PostgreSQL
Curso prático de manipulação e administração do banco de dados PostgreSQL.
- Armazenamento e Processamento em Nuvem
Artigo: Bancos de Dados na Nuvem: conhecendo as soluções AWS, Azure e GCP
Explica os principais serviços de bancos de dados oferecidos pelas plataformas em nuvem.
Curso: Banco de dados na AWS: gerencie RDS e DynamoDB
Ensina a gerenciar bancos de dados relacionais e NoSQL na AWS.
Curso: Amazon S3: manipule e armazene objetos na nuvem
Demonstra o uso do Amazon S3 para armazenamento de grandes volumes de dados.
- Pipelines de Dados e Orquestração
Artigo: O que é um pipeline de dados?
Introduz o conceito de pipeline de dados e sua importância.
Formação: Apache Airflow
Conjunto de cursos para aprender a orquestrar pipelines com o Apache Airflow.
Curso: Spark: apresentando a ferramenta
Introdução ao Apache Spark, uma das ferramentas mais utilizadas para processamento distribuído.
- Data Lakes e Processamento na AWS
Curso: AWS Data Lake: criando uma pipeline para ingestão de dados
Mostra como criar pipelines de ingestão de dados na AWS.
Curso: AWS Data Lake: processando dados com AWS EMR
Demonstra como processar dados usando o Amazon EMR.
Formação: Aprofunde em AWS com serviços de gerenciamento e operação
Explora serviços essenciais da AWS para Engenharia de Dados.
- Sistemas Operacionais e Infraestrutura
Artigo: Linux: o que é e como instalar esse sistema operacional
Explica o funcionamento e instalação do Linux, essencial para operações com servidores.
Formação: Começando em Linux
Conjunto de cursos para aprender comandos básicos e administração de sistemas Linux.
- Containers e DevOps
Curso: Docker: criando e gerenciando containers
Ensina a criar e gerenciar containers utilizando Docker.
Curso: DevOps: construindo e gerindo containers com o Docker
Apresenta conceitos de DevOps e como utilizá-los no gerenciamento de containers.
Curso: Scripting: automatizando tarefas com Bash e Docker
Aborda automação de tarefas para Engenharia de Dados.
- Infraestrutura como Código e Microsserviços
Curso: Infraestrutura como código: Docker e Elastic Beanstalk na AWS
Mostra como provisionar infraestrutura na AWS com Docker e Elastic Beanstalk.
Curso: Infraestrutura como código: montando uma infraestrutura elástica na AWS
Ensina a configurar uma infraestrutura escalável na AWS.
Curso: Infraestrutura como código: Terraform, Docker e Elastic Container Service
Introduz Terraform e sua utilização para provisionamento de infraestrutura.
Curso: Microsserviços: padrões de projeto
Apresenta os principais padrões arquiteturais de microsserviços.
Curso: Microsserviços: explorando os conceitos
Explica os fundamentos de microsserviços e suas vantagens.
- Desenvolvimento Pessoal e Comunicação
Curso: Síndrome do Impostor: reconheça seu sucesso e resultados
Aborda a identificação e superação da síndrome do impostor, ajudando no crescimento profissional.
Curso: Storytelling: visão de negócios e desenvolvimento pessoal
Ensina técnicas de storytelling para comunicação eficaz em ambientes corporativos.
Curso: Comunicação assertiva: reduzindo conflitos e frustrações
Desenvolve habilidades de comunicação clara e objetiva, essenciais para o trabalho em equipe.