Em cursos aqui da Alura, vi explicações sobre como as RNNs funcionam. Eu tirei uma print de uma imagem de um curso que eu gostaria de fazer essas perguntas:
Nesse curso, e em outro curso aqui da Alura, os professores disseram que na RNN cada unidade tem um "loop interno". Eles dizem que as saidas de cada unidade vão ser usadas como entradas adicionais para elas mesmas no próximo instante de tempo(ou seja, quando a RNN estiver processando a proxima amostra do dataset). Eles explicam que esse "loop interno" é chamado de estado oculto da unidade. Eles explicam que as amostras são os instantes de tempo, e que ao processar a primeira amostra, ou seja, o primeiro instante de tempo, o estado oculto dela é simplismente zero(pois o H0 é inicializado com zero). Mais, quando ele vai processar o segundo instante de tempo(ou seja, a segunda amostra), as unidades recebem as entradas dessa amostra e MAIS o estado oculto do instante de tempo anterior(ou seja, o estado oculto da amostra passada). Ou seja, esses cursos explicam que as saidas das unidades são usadas não somente nas camadas seguintes, mais também, são arquivadas para serem usadas no instante de tempo seguinte(ou seja, ao processar a proxima amostra, além de processar as entradas dela, ele vai usar também o estado oculto do instante de tempo anterior, criando um efeito de dependencia de sequencia ).
Tenho mais algumas perguntas que gostaria de fazer:
DUVIDAS:
Qual é a fórmula matemática para calcular o estado oculto Ht da imagem ?
Esse valor "H(t-1)" ele é um vetor ou é um número ?
