Size, alpha e min_alpha

Oi Marco! Tudo bem com você?

Desculpa a demora em te trazer um retorno.

Bem, vou te passar aqui os conceitos de cada parâmetro, mas caso ainda fique alguma dúvida é só avisar que eu estarei disponível!

• Size:o tamanho da dimensão (N) do espaço N-dimensional para o qual o Word2Vec gensim mapeia as palavras. Valores de tamanho maiores exigem mais dados de treinamento, mas resultam em modelos melhores (mais precisos). Os valores razoáveis ​​estão na casa das dezenas a centenas.
• Alpha: ou a taxa de aprendizado (learning rate), frequentemente indicada por α\alphaα ou às vezes η\etaη, indica a que ritmo os pesos são atualizados. Isso pode ser fixado ou alterado de modo adaptativo. O método atual mais popular é chamado Adam, o qual é um método que adapta a taxa de aprendizado.

Já o min_alpha teremos que analisar como a rede neural aprende. Como o Word2Vec é uma rede neural, ela necessita utilizar um dos hiperparâmetros utilizados em todas as redes neurais, que definem a taxa de aprendizagem. Para que a rede neural obtenha melhores resultados no processo de classificação, é importante que ela esteja sempre atualizada e o desempenho melhore, por isso é fundamental utilizar um otimizador e comparar os resultados obtidos com os resultados esperados. Então, para que esse cálculo de otimização seja feito é necessário calcular a taxa de aprendizado.

No caso da Word2Vec, o parâmetro que usamos para isso é o alpha, onde no curso o instrutor coloca com o valor de 0.03 na aula Avançando nos Hiperparâmetros, porém esse valor varia conforme a curva da função custo utilizada na rede neural. O objetivo é chegar no ponto mínimo da curva da função custo, porém se for definido apenas o valor de alpha, os pesos vão atualizar e calcular novamente o valor da função de custo, ou seja, onde estamos na curva, porém sem definir um valor de alpha_min é possível que os valores na curva fiquem presos em dois pontos, variando a posição, e não sendo o valor ótimo. Por isso é necessário realizar um decaimento no valor de alpha até um valor de alpha_min, onde na aula é determinado o valor de 0.007. Para ter uma complementação do que foi exposto, você pode assistir do minuto 6:10 até 7:40 da aula Avançando nos Hiperparâmetros onde o professor mostra o problema de encontrar o valor mínimo sem definir o valor de alpha_min.

Além disso, a formação Técnicas de processamento de linguagem natural indica os passos de aprendizado por etapas para processamento de linguagem natural o que a torna uma boa opção para desenvolver os estudos nesse tema.

Bons estudos!