função dos ngrams | Linguagem Natural parte 2: continuando com a análise de sentimento

Olá Luis.

A ideia é que utilizando ngrams vamos conseguir dar mais destaque a palavras que descrevem melhor o sentimento e podemos ver na aula que tivemos um ganho de acurácia, de 0.8842 passamos para 0.8859, o problema que isso fez nosso modelo ter mais dados e portanto demorar mais, por isso devemos testar e entender se o ganho vale ou não a pena.

Fiz um exemplo mais simples para demonstrar que adicionando ngrams mudamos as palavras que terão mais peso para o nosso modelo.

Frases usadas no treinamento:

Eu acho que esse filme é muito bom
Acredito que esse filme é muito bom

Palavra	Recorrência
Eu	1
acho	1
que	2
aquele	2
filme	2
é	2
muito	2
bom	2
Acredito	1
Eu acho	1
acho que	1
que esse	2
esse filme	2
filme é	2
é muito	2
muito bom	2
Acredito que	1

Classificação das palavras sem os Ngrams:

Classificação	Palavra	Recorrência
1	que	2
2	aquele	2
3	filme	2
4	é	2
5	muito	2
6	bom	2
7	Eu	1
8	acho	1
9	Acredito	1

Classificação das palavras com os Ngrams:

Classificação	Palavra	Recorrência
1	que	2
2	aquele	2
3	filme	2
4	é	2
5	muito	2
6	bom	2
7	que esse	2
8	esse filme	2
9	filme é	2
10	é muito	2
11	muito bom	2
12	Eu	1
13	acho	1
14	Acredito	1
15	Eu acho	1
16	acho que	1
20	Acredito que	1

Veja que utilizando ngrams as posições 7º, 8º e 9º mudaram e os ngrams tomaram sua posição, já que nossa frases são poucas não tivemos um grande destaque para ngrams importantes, mais isso vai mudar se tivermos mais dados.

Espero ter ajudado, mas se ficou com alguma duvida não hesite em perguntar.

Bons Estudos.

Mergulhe em programação