Estou com duvida em relação ao uso dos fake chars. Por que devemos adicionalos nas palavras(como feito no curso) para que possamos retornar os bigramas com os fake chars e assim treinarmos o modelo? Por que nao simplesmente treinar o modelo sem os fake chars? Entendi que os mesmos facilitam a deteção do inicio e fim da frase mas n sei o que isso interfere no treinamento do modelo.
Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta
resposta
Duvida sobre os fake chars
solução!
Olá Matheus, tudo bem?
O fake char o início é para marcar onde se começa a frase de interesse, o fake char final é necessário para se ter uma distribuição de probabilidades correta. A uma parte metemática bem interessante que envolve cadeias de Markov e outros assuntos legais, como não cabe essas demostrações aqui no fórum vou deixar o link de um capítulo do livro que fala sobre os n-grams e modelos de linguagem, lá contém toda a parte matemática de forma bem detalhada .
https://web.stanford.edu/~jurafsky/slp3/3.pdf
Na parte 3.1 tem informações que podem te ajudar a entender a parte matemática do fakechar (Infelizmente é em Inglês, mas pode te ajudar).
Att.