Ainda não tem acesso? Estude com a gente! Matricule-se
Ainda não tem acesso? Estude com a gente! Matricule-se

Solucionado (ver solução)

função dos ngrams

Eu não consegui entender muito bem o motivo de uso de ngrams , afinal ele apenas "divide frases de 2 em 2" e aumenta a dimensão dos nossos dados , em tese os resultados obtidos com ele ou sem ele não deveriam ser os mesmos?

1 resposta
solução

Olá Luis.

A ideia é que utilizando ngrams vamos conseguir dar mais destaque a palavras que descrevem melhor o sentimento e podemos ver na aula que tivemos um ganho de acurácia, de 0.8842 passamos para 0.8859, o problema que isso fez nosso modelo ter mais dados e portanto demorar mais, por isso devemos testar e entender se o ganho vale ou não a pena.

Fiz um exemplo mais simples para demonstrar que adicionando ngrams mudamos as palavras que terão mais peso para o nosso modelo.

Frases usadas no treinamento:

  • Eu acho que esse filme é muito bom
  • Acredito que esse filme é muito bom
PalavraRecorrência
Eu1
acho1
que2
aquele2
filme2
é2
muito2
bom2
Acredito1
Eu acho1
acho que1
que esse2
esse filme2
filme é2
é muito2
muito bom2
Acredito que1

Classificação das palavras sem os Ngrams:

ClassificaçãoPalavraRecorrência
1que2
2aquele2
3filme2
4é2
5muito2
6bom2
7Eu1
8acho1
9Acredito1

Classificação das palavras com os Ngrams:

ClassificaçãoPalavraRecorrência
1que2
2aquele2
3filme2
4é2
5muito2
6bom2
7que esse2
8esse filme2
9filme é2
10é muito2
11muito bom2
12Eu1
13acho1
14Acredito1
15Eu acho1
16acho que1
20Acredito que1

Veja que utilizando ngrams as posições 7º, 8º e 9º mudaram e os ngrams tomaram sua posição, já que nossa frases são poucas não tivemos um grande destaque para ngrams importantes, mais isso vai mudar se tivermos mais dados.

Espero ter ajudado, mas se ficou com alguma duvida não hesite em perguntar.

Bons Estudos.