1
resposta

MSE vs Entropia

Olá professora, como vai?

Não entendi muito bem a diferença entre a mse e entropia cruzada. Na mse eu teria o número de classes como saída, e na entropia cruzada o número de neurônios da camada escondida?

1 resposta

MSE e Entropia cruzada são funções de custo.

  • A MSE calcula a diferença quadrática entre duas coisas de mesma dimensionalidade, por exemplo eu posso fazer uma regressão pra prever o preço de uma casa, e calculo a diferença quadrática entre a minha predição (um único neurônio de saída) e o rótulo com o preço real da casa (também um único valor)

  • Já a entropia cruzada calcula a entropia entre distribuições. O jeito de usar no Pytorch é ter como saída da rede o número de classes do seu problema (8 classes = 8 neurônios de saída), mas o rótulo que a gente passa é só o inteiro referente à classe (um único valor de 0 - 7). Internamente ele transforma esse valor numa distribuição pra fazer os cálculos.

TLDR: Use a MSE pra regressão e CrossEntropy pra classificação :)))

Quer mergulhar em tecnologia e aprendizagem?

Receba a newsletter que o nosso CEO escreve pessoalmente, com insights do mercado de trabalho, ciência e desenvolvimento de software