Solucionado
Ter a plavra “não” removida da frase “Spark MLlib não ajuda muito” não é um erro? Pois isso traz a negatividade da frase. Sem o “não” e sem o “muito” quase certo que incorreremos em erro.
Resultado: [spark, mllib, ajuda]
Não sei se isso será tratado mais na frente...
Olá Kennedy, tudo bem?
É verdade! A depender do contexto, a remoção da palavra "não" pode alterar o sentido da frase. Por outro lado, em outras situações, a palavra "não" pode ser considerada irrelevante para a análise, pois ela não contribui para o significado principal da frase.
Destaco que o stopwords, é uma lista padrão e pode não ser ideal para todas as situações. Portanto, o ideal é analisarmos bem se a remoção de determinadas palavras irá afetar os resultados.
Porém, reforço que esse exemplo foi executado em uma base de dados a parte, apenas para dar exemplo de como funciona o stopwords. A base de dados será a tokenizado, que é a de depoimentos.
Agradeço por sua contribuição aqui no fórum.
Um grande abraço e até mais!