Apesar de o exemplo do vídeo ter apresentado uma melhoria na acurácia, o meu modelo indicou um sutil declínio. De 68,58%, do tratamento 3 (apagamento dos acentos e pontuação), para 68,37% no tratamento 4 (normalização das palavras tornando todas minúsculas) que já compreende o que foi feito no tratamento anterior.
1
resposta
resposta
[Dúvida] Tratamento 4 foi efetivo?
Entendo. É possível que a normalização das palavras tenha feito com que o modelo perca algumas informações importantes. Por exemplo, se o texto original for "Eu estou feliz", a normalização pode torná-lo "eu estou feliz". Isso pode fazer com que o modelo interprete o texto de forma diferente, levando a um declínio na acurácia.
É importante notar que a acurácia de um modelo de linguagem pode variar dependendo do conjunto de dados em que ele é treinado. Se o modelo for treinado em um conjunto de dados que não contém acentos ou pontuação, ele pode ser menos capaz de entender o texto que contém essas características.
Se você está preocupado com a acurácia do seu modelo, você pode tentar treiná-lo em um conjunto de dados que contenha acentos e pontuação. Você também pode tentar usar um modelo diferente que seja especificamente projetado para lidar com texto que contém essas características.