Essa formação é antiga e não faz mais parte da grade oficial, confira as mudanças.

Iniciando com Engenharia de Dados

Aprenda Linux, Python, ferramentas Big Data, data pipeline e como trabalhar com dados na nuvem

0/0 passos finalizados
Esta formação faz parte da escola Data Science
90h

Para conclusão

9

Cursos

1

Vídeo extra

2

Podcasts

2

Artigos

Engenharia de dados

A Engenharia de Dados envolve o desenvolvimento de sistemas capazes de coletar, armazenar e transformar dados em grande escala. Por este motivo, o termo Big Data é comumente mencionado quando falamos de Engenharia de Dados. Trabalhando com ela, você terá que lidar com uma grande variedade de configurações para a construção de sistemas. São esses sistemas que tornam os dados acessíveis para que uma organização seja capaz de avaliar e otimizar seus resultados.

Com quem você irá aprender

Passo a passo

  1. 1

    Conceitos iniciais

    Para trabalhar com Engenharia de Dados, você precisa construir uma base sólida em programação e em banco de dados. Por este motivo, começamos com conceitos sobre Linux, que é utilizado em grande escala em diversos servidores. Além disso, mesmo que você não vá trabalhar diretamente com um servidor neste momento, as ferramentas utilizadas em Engenharia de Dados normalmente são desenvolvidas para este sistema operacional.

    Em seguida vamos ver uma introdução à linguagem Python, que é largamente utilizada nessa área.

  2. 2

    Lidando com um grande fluxo de dados

    Agora que você já trabalhou um pouco a sua base, vamos começar a entender conceitos de Big Data e algumas aplicações interessantes da Engenharia de Dados. Você irá aprender a criar um pipeline, um fluxo completo de dados, utilizando ferramentas como o Airflow e o Spark. Além disso, no primeiro curso de Engenharia de Dados, você irá aprender como extrair dados diretamente da API do Twitter. No segundo curso desta seção, você irá utilizar a ferramenta Apache Beam como uma outra forma de criar um pipeline de dados e irá trabalhar com uma base de dados meteorológicos. Se ficar com alguma dúvida sobre como a Engenharia de Dados é empregada, você pode ouvir um podcast sobre Engenharia de Dados na Serasa Experian.

  3. 3

    Trabalhando na nuvem

    Se a quantidade de dados da empresa que você trabalha aumentar muito, você pode ter que migrar para a nuvem. Nessa seção, você irá aprender sobre PostgreSQL, que pode ser utilizado para compor o seu banco de dados na nuvem. Ao final, aprenderá como trabalhar com a AWS para a organização de dados.