Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta

[Dúvida] Problema na tokenização das pontuações

Seguindo o passo a passo da aula na construção do código tive um problema em rodar o script que realiza a tokenização das pontuações.

from string import punctuation

pontuacao = list()
for ponto in punctuation: 
  pontuacao.append(ponto)

pontuacao_stopwords = pontuacao + palavras_irrelevantes

frase_processada = list()
for opiniao in resenha['tratamento_1']:
  nova_frase = list()
  palavras_texto = token_pontuacao.tokenize(opiniao)
  for palavra in palavras_texto:
    if palavra not in pontuacao_stopwords:
      nova_frase.append(palavra)
  frase_processada.append(' '.join(nova_frase))

resenha['tratamento_2'] = frase_processada

O colab aponta que o 'token_pontuacao' não está definido. Tentei copiar o código dado e mesmo assim o erro persiste.

1 resposta
solução!

Oi Bianca, tudo bem?

O problema está relacionado à falta de definição do token_pontuacao no seu código. Para resolver isso, verifique se você definiu o token_pontuacao, com o código token_pontuacao = tokenize.WordPunctTokenizer() e se executou a célula correspondente a sua criação.

O código é:

from nltk import tokenize

frase = "Olá mundo!"
token_pontuacao = tokenize.WordPunctTokenizer()
token_frase = token_pontuacao.tokenize(frase)

print(token_frase)

Espero ter ajudado.

Qualquer dúvida, não hesite em compartilhar no fórum.

Abraços!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado