[Dúvida] Em Redes Neurais. Qual a diferença de algoritmo entre uma MLP e uma RNN ? O que faria uma MLP se tornar uma RNN ? E o Backpropagation se tornar o BPTT ? | Data Science

Em Redes Neurais. Qual a diferença de algoritmo entre uma MLP e uma RNN ? O que faria uma MLP se tornar uma RNN ? E o Backpropagation se tornar o BPTT ?

Eu sei que MLPs tem limitações ao tentarem processar sequencias, como séries temporais por exemplo. E também sei que RNNs são arquiteturas feitas para lidar com sequencias, como séries temporais.

Mais pra ajudar eu a entender essa RNN que eu estou estudando, eu gostaria de fazer uma pergunta mais imaginária.

PERGUNTAS:

Se eu tenho uma MLP tradicional Feedforward padrão, totalmente conectada. Quais mudanças seria necessarias eu fazer nela para que ela se tornasse uma RNN padrão ?
E principalmente na parte do Backpropagation da MLP. Para que ele se tornasse o Backpropagation Through Time (BPTT) de uma RNN, quais mudanças seriam necessarias eu fazer nele?
É possivel usar essa imaginação para me ajudar a entender como um BPTT da RNN funciona ?

Oii, William! Tudo bem?

Agradeço por aguardar o nosso retorno.

As Redes Neurais Recorrentes (RNNs) diferem das Multilayer Perceptrons (MLPs) principalmente pela capacidade de processar sequências com memória temporal. Para transformar uma MLP tradicional em uma RNN, seria necessário introduzir conexões recorrentes que permitam que o estado interno de uma camada influencie o processamento da próxima entrada.

No backpropagation, a principal mudança seria implementar o Backpropagation Through Time (BPTT), onde a rede é "desenrolada" no tempo, permitindo que os gradientes sejam calculados considerando múltiplos passos temporais. Isso significa que, em vez de atualizar os pesos em uma única passada, a RNN considera como os erros se propagam através do tempo.

Na teoria, você teria que adicionar uma camada de estado oculto que mantém informações de processamentos anteriores. Cada novo processamento depende não apenas da entrada atual, mas também do estado oculto anterior. É como se a rede mantivesse um "caderno de memória" onde anota e recupera informações de processamentos anteriores.

Usando a imaginação, é como se o MLP fosse um pintor, ele pintaria cada quadro separadamente, sem se preocupar com o que aconteceu antes. Já o RNN seria um escritor, que cria uma história onde cada página depende do que aconteceu nas anteriores. E, quando a história não faz sentido, ele volta nas páginas anteriores para consertar tudo (é o que chamamos de BPTT).

Para você se aprofundar:

Espero ter ajudado, bons estudos!

Mergulhe em programação