Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta

[Dúvida] StopWords - Aula 2.8.

Ter a plavra “não” removida da frase “Spark MLlib não ajuda muito” não é um erro? Pois isso traz a negatividade da frase. Sem o “não” e sem o “muito” quase certo que incorreremos em erro.

Resultado: [spark, mllib, ajuda]

Não sei se isso será tratado mais na frente...

1 resposta
solução!

Olá Kennedy, tudo bem?

É verdade! A depender do contexto, a remoção da palavra "não" pode alterar o sentido da frase. Por outro lado, em outras situações, a palavra "não" pode ser considerada irrelevante para a análise, pois ela não contribui para o significado principal da frase.

Destaco que o stopwords, é uma lista padrão e pode não ser ideal para todas as situações. Portanto, o ideal é analisarmos bem se a remoção de determinadas palavras irá afetar os resultados.

Porém, reforço que esse exemplo foi executado em uma base de dados a parte, apenas para dar exemplo de como funciona o stopwords. A base de dados será a tokenizado, que é a de depoimentos.

Agradeço por sua contribuição aqui no fórum.

Um grande abraço e até mais!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado