Os pesos são atribuídos ao neurônio ou a conexão como o neurônio seguinte? Pois se for a conexão, que é o que eu imagino, não deveriam ter mais variáveis pesos? Já que cada um desses 256 neurônios está conectado com cada neurônio da camada seguinte?
1
resposta
resposta
Não deveriam ter mais pesos na camada 1?
Olá Pedro, tudo certo contigo?
Desculpa a demora em te dar uma explicação na questão.
Cada conexão tem seu próprio peso, então cada neurônio tem 256 nós. Na aula O que acontece na rede a instrutora nos mostra a quantidade de parâmetros em cada camada da rede. Para te explicar melhor, criei uma imagem da arquitetura da rede, em relação à neurônios, ligações, pesos e vieses.
A imagem é lida da esquerda para a direita, então temos a entrada sendo a imagem de 28 pixels por 28 pixels, e na camada de Flatten (que é a camada achatada - onde nivela a entrada, mas não afeta o seu tamanho) temos os 784 inputs da rede, que derivam da multiplicação de 28 por 28.
Saindo de cada entrada dessa camada, temos diversas setas que se ligam aos neurônios da camada ReLu, essas setas representam as iterações entre cada entrada e cada neurônio, e cada uma dessas ligações contém um peso único, então quando ligamos a entrada 1 com o neurônio 1 da camada ReLu, temos o peso W1,1, para a entrada 1 com o neurônio 2 temos o peso W1,2, e assim por diante. No final, teremos 200704 parâmetros, porém cada neurônio desta camada tem seu próprio viés, somando mais 256 ao valor anterior, totalizando 200960 parâmetros entre a camada Flatten e ReLu.
Já entre a camada ReLu e SoftMax, nós temos essas ligações em setas também, que representam a iteração entre as camadas, porém agora nossa entrada são os 256 neurônios da camada ReLu ligados à 10 saídas da SoftMax, totalizando 2560 parâmetros, mas não podemos esquecer seus vieses também, que nesse caso são 10, e o nosso resultado final de parâmetros entre essas camadas é de 2570, como a instrutora mostra na aula, fazendo o método modelo.summary(), como podemos relembrar aqui.
Caso você tenha mais alguma dúvida sobre a estrutura da rede ou pesos e vieses, recomendo assistir essas duas aulas do instrutor Allan que abordam esses assuntos.
Essas aulas pertencem a outro curso da plataforma, mas tem uma ótima explicação de como as redes funcionam. Caso tenha mais alguma dúvida, não exite em me chamar!
Bons estudos ^^