[Dúvida] Como o backpropagation funciona? quais as etapas que ele segue?

Oii, William, tudo bem?

1 - Quais etapas o backpropagation utiliza?

O backpropagation segue basicamente duas etapas principais:

• Propagação para frente (Forward Propagation): os dados de entrada são passados através da rede, camada por camada, até a camada de saída para obter a previsão.

• Propagação para trás (Backward Propagation): após a obtenção da previsão, calcula-se o erro (diferença entre a previsão e o valor real). Esse erro é então propagado de volta pela rede, o que permite o ajuste dos pesos sinápticos para minimizar o erro nas previsões futuras.

2 - Qual a ordem que essas etapas são realizadas?

A ordem é exatamente como mencionado acima: primeiro ocorre a propagação para frente, onde a rede faz uma previsão baseada nos pesos atuais. Depois, a propagação para trás, onde o erro calculado é usado para ajustar os pesos.

3 - Nessas etapas, quais fórmulas matemáticas são utilizadas?

As fórmulas envolvidas incluem:

• Cálculo do erro: o erro é calculado usando a função de perda, como o erro quadrático médio (MSE) para tarefas de regressão ou a entropia cruzada para classificação.

• Gradiente do erro: o gradiente do erro em relação a cada peso é calculado usando o cálculo diferencial (derivadas parciais). Isso indica como o erro muda à medida que cada peso é ajustado.

• Atualização dos pesos: os pesos são atualizados usando a regra de atualização do gradiente descendente, onde o peso atual é ajustado na direção que minimiza o erro. A fórmula é normlamente deste jeito: novo_peso = peso_atual - taxa_de_aprendizado * gradiente_do_erro.

4 - De que maneira o algoritmo caminha "para frente e para trás pelas camadas intermediárias"?

• Para frente: começando da camada de entrada, cada neurônio calcula uma soma ponderada de suas entradas e aplica uma função de ativação (como ReLU ou sigmóide) para calcular sua saída, que serve como entrada para a próxima camada.

• Para trás: após calcular o erro na saída, o gradiente desse erro é usado para calcular o gradiente em relação aos pesos de cada camada anterior, movendo-se da saída para a entrada. Este processo é facilitado pela regra da cadeia em cálculo, permitindo que o gradiente do erro seja propagado para trás.

Para praticar o cálculo manual, você pode começar com uma rede pequena e simples, utilizando poucas entradas e uma única camada oculta, para que você possa acompanhar cada etapa do cálculo sem se perder em matrizes grandes e complexas. Pode ser um pouco difícil, mas vai dar tudo certo :)

Abraços e bons estudos!

Obrigado Maria por responder!. Eu ainda tenho algumas duvidas. Eu particularmente não entendo a notação matricial que geralmente é usada para representar a rede neural, nem as operações matriciais envolvidas, acho dificil de acompanhar usando operações matriciais. Por isso eu gostaria de conseguir ver as formulas de outra forma, sem precisar usar operações matriciais. Eu acho mais facil formulas que usam somatório da matematica, elemento a elemento.

Seria muito legal uma maneira mais manual, sem utilizar operações matriciais. Iria me ajudar muito, se eu pudesse ver a aplicação das formulas elemento a elemento, tipo ao invez de usar operações matriciais, usasse somatorios, tipo pra eu ver quais as formulas que são aplicadas em cada neuronio de cada camada, sem precisar usar operações matriciais nos calculos.

Por favor, se possivel, poderia explicar mais sobre a formula pra calcular os gradientes na camada de saida e na camada oculta? escritas em forma de somatório, para cada neuronio?, sem precisar usar operações matriciais?

Isso iria me ajudar a entender a lógica do calculo dos gradientes.