1
resposta

Tuning de hiperparâmetros

Creio que há um problema na apresentação do conceito feita pela instrutora na Aula 5 (Tuning de hiperparâmetros, por volta de 5:45) e consequentemente na cadeia de implicações feita em seguida. No vídeo, a instrutora diz que dá-se "menos informação por vez", o que não corresponde com o que foi feito (aumento do batch-size de 32 para 480). Por definição, o aumento deste parâmetro implica em mais imagens por iteração. O que ocorreu é que com o aumento do batch-size diminuímos o número de iterações por época:

Batch-size = 32: #Iterações = 48.000/32 = 1500 iterações por época

Batch-size = 480: #Iterações = 48.000/480 = 100 iterações por época

1 resposta

Olá, Rodrigo! Tudo bem com você?

Sua observação está correta. Obatch_size é o número de amostras que serão passadas para a rede neural de uma vez. Usando esse exemplo de 48.000 amostras para treinamento, se fosse deixado o batch_size padrão de 32, primeiro 32 amostras seriam passadas através da nossa rede neural com propagação e retro propagação e então os pesos seriam atualizados, e esse processo se repetiria até completar todas as amostras utilizadas para treino, sempre com 32 amostras. Ou seja, o processo seria executado 48.000/32 = 1500 vezes e aí teríamos o treinamento de uma época.

Quando aumentamos o batch_size para 480 estamos levando mais amostras cada vez que percorremos nossa rede, o que diminui o número de iterações por época, como você mencionou. Agora nossa rede faria o processo de propagação e retro propagação para atualização dos pesos 48.000/480 = 100 vezes, diminuindo o tempo necessário para a execução do código.

Espero ter ajudado e caso surja alguma dúvida estou sempre à disposição.

:)