O que você aprenderá_
- Aprenda os principais passos no processamento de linguagem natural
- Remova caracteres especial usando expressões regulares
- Aplique o conceito de tokenização nos dados
- Remova as palavras vazias ou StopWords
- Construa a Sacola de Palavas ou Bag of Word
- Aprenda a ler o resultado do Bag of Word no PySpark
- Entenda a relevancia das palavras com o TF-IDF
- Ajuste uma Árvore de Decisão para classificar
Público alvo_
Pessoas com conhecimento em Python. Pessoa interessada em entender como fazer uma análise textual usando PySpark e entregar um modelo de classificação usando análise de sentimento.
Ana Duarte
Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.
Curso atualizado em 14/06/2023
Já estuda na Alura?
Comece o curso agoraEmenta
Introdução
- Contexto do NLP
- Explorando os dados
Limpeza e processamento
- Processo e bibliotecas
- Caractere especial
- Tokenização
- StopWords
Vetorização das palavras
- Bag of words
- Hashing TF
- TF-IDF
- Pipeline de transformação
Treinando o modelo
- Possíveis modelos
- Árvore Decisão
- Amostra e Treino
Explicando os resultados
- Teste e métricas
- Nova Frase
Descubra se esse curso é pra você! Leia as primeiras aulas
-
Formação
Apache Spark com Python
8h
De curso
48
Atividades
Escola
Data Science
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
Aprenda Engenharia de Dados com esse e outros cursos, comece agora!
Plus
De
R$ 1.800
12X
R$109
à vista
R$1.308
- Acesso a TODOS os cursos da Alura
Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
- Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
- Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
Pro
De
R$ 2.400
12X
R$149
à vista
R$1.788
- Acesso a TODOS os cursos da Alura
Mais de 1500 cursos completamente atualizados, com novos lançamentos todas as semanas, emProgramação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Alura Challenges
Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.
- Alura Cases
Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.
- Certificado
Emitimos certificados para atestar que você finalizou nossos cursos e formações.
- Luri, a inteligência artificial da Alura
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com Luri até 100 mensagens por semana.
- Alura Língua (incluindo curso Inglês para Devs)
Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.
Acesso completo
durante 1 ano
Estude 24h/dia
onde e quando quiser
Novos cursos
todas as semanas