Quando vamos fazer o tratamento 2 para remover as pontuações, usamos a coluna do tratamento 1 como base para executar a tarefa, na qual já havíamos removido as stop words. A minha pergunta é porque precisamos verificar se as palavras não estão em pontuacao + stop_words e não somente em pontuacao. Obrigada desde já :)
O trecho é esse aqui:
pontuacao_stop_words = pontuacao + palavras_irrelevantes
frase_processada = list()
for opiniao in resenha.tratamento_1:
nova_frase = list()
palavras_texto = token_pontuacao.tokenize(opiniao)
for palavra in palavras_texto:
if palavra not in pontuacao_stop_words:
nova_frase.append(palavra)
frase_processada.append(' '.join(nova_frase))
