O que você aprenderá_
- Entenda os motivos para considerar o uso da arquitetura de medalhas no seu Data Lake
- Saiba como atualizar um pipeline de dados que é orquestrado pelo Airflow
- Implemente a transformação de dados para a camadas Silver
- Execute a integração completa entre o Spark e o Airflow
- Faça a refinação dos dados para a camada Gold
Público alvo_
Pessoas interessadas em incrementar um pipeline de dados para a transformação de dados utilizando Spark e o Airflow.
Igor Nascimento Alves
Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.
Curso atualizado em 11/07/2023
Já estuda na Alura?
Comece o curso agoraEmenta
Contexto Data Lake
- Proposta do projeto de transformação de dados
- Reestruturando o Data Lake (Bronze, Silver, Gold)
- Pipeline atual
Explorando com Spark
- Instalando o PySpark
- Explorando os dados
- DataFrames Tweets
- DataFrame Users (resposta desafio)
- Rodando scripts
- Testando nosso script
Orquestrando o Spark
- Operador Spark
- Conexão Spark-Airflow
- Carregando dados
Refinando o projeto
- Criando a camada Bronze
- Pasta relativas
Dados refinados
- Extraindo interações
- Criando um novo operador
- Atualizando nossa DAG
Descubra se esse curso é pra você! Leia as primeiras aulas
-
Formação
Apache Airflow
10h
De curso
52
Atividades
Escola
Data Science
Pessoas estudando esse curso nesse mês:
Estude com elas
Francisco Hoffmann
Felipe dos Santos Reis
José Roberto da Silva Júnior
Pablo Santos Seixas
DOUGLAS LEITE FONSECA
e mais 85 pessoas
e mais 85 pessoas
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
Aprenda Engenharia de Dados com esse e outros cursos, comece agora!
Plus
De
R$ 1.800
12X
R$109
à vista
R$1.308
- Acesso a TODOS os cursos da Alura
Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
- Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
- Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
Pro
De
R$ 2.400
12X
R$149
à vista
R$1.788
- Acesso a TODOS os cursos da Alura
Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
- Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
- Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
- Luri, a inteligência artificial da Alura
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.
- Alura Língua (incluindo curso Inglês para Devs)
Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.
Acesso completo
durante 1 ano
Estude 24h/dia
onde e quando quiser
Novos cursos
todas as semanas