Olá! Quando tento fazer a tokenização para retirar a pontuação aparece o seguinte erro: "ValueError: Length of values (6509502) does not match length of index (49459)" mas não estou conseguindo corrigir, mesmo copiando exatamente o mesmo código da aula
from string import punctuation
pontuacao = list()
for ponto in punctuation:
pontuacao.append(ponto)
pontuacao_stopwords = pontuacao + palavras_irrelevantes
frase_processada = list()
for opiniao in resenha["tratamento_1"]:
nova_frase = list()
palavras_texto = token_pontuacao.tokenize(opiniao)
for palavra in palavras_texto:
if palavra not in pontuacao_stopwords:
nova_frase.append(palavra)
frase_processada.append(' '.join(nova_frase))
resenha["tratamento_2"] = frase_processada
Erro identificado! Indentação incorreta no fim do código :)
for palavra in palavras_texto:
if palavra not in pontuacao_stopwords:
nova_frase.append(palavra)
frase_processada.append(' '.join(nova_frase))
resenha["tratamento_2"] = frase_processada