O loss não esta a diminuir

Oi Alexandre,

Parece que a versão do Pytorch foi atualizada desde que esse curso foi gravado. Por conta disso os mesmos parâmetros que ela usou no vídeo parecem não estar funcionando tão bem nos novos algoritmos que estão por baixo dos panos. A alternativa aqui é tentar explorar algumas mudanças nos argumentos definidos no início do notebook.

Eu alterei os parâmetros que ficaram assim:

args = {
    'batch_size': 32,
    'num_workers': 4,
    'num_classes': 10,
    'lr': 1e-6,
    'weight_decay': 1e-4,
    'num_epochs': 30
}

E com isso os valores de loss estão diminuindo de forma consistente:

Epoca 0, Loss: 2.2974 +\- 0.0036, Tempo: 12.11
Epoca 1, Loss: 2.2814 +\- 0.0074, Tempo: 11.83
Epoca 2, Loss: 2.2534 +\- 0.0156, Tempo: 11.34
Epoca 3, Loss: 2.2123 +\- 0.0265, Tempo: 11.31
Epoca 4, Loss: 2.1653 +\- 0.0355, Tempo: 11.80
Epoca 5, Loss: 2.1152 +\- 0.0416, Tempo: 11.98
Epoca 6, Loss: 2.0640 +\- 0.0476, Tempo: 11.83
Epoca 7, Loss: 2.0135 +\- 0.0529, Tempo: 11.90
Epoca 8, Loss: 1.9665 +\- 0.0535, Tempo: 11.83
Epoca 9, Loss: 1.9245 +\- 0.0582, Tempo: 11.91
Epoca 10, Loss: 1.8887 +\- 0.0607, Tempo: 11.89
Epoca 11, Loss: 1.8595 +\- 0.0632, Tempo: 11.81
Epoca 12, Loss: 1.8358 +\- 0.0671, Tempo: 11.32
Epoca 13, Loss: 1.8161 +\- 0.0645, Tempo: 11.37
Epoca 14, Loss: 1.7982 +\- 0.0658, Tempo: 11.82
Epoca 15, Loss: 1.7759 +\- 0.0661, Tempo: 11.95
Epoca 16, Loss: 1.7446 +\- 0.0629, Tempo: 11.83
Epoca 17, Loss: 1.7277 +\- 0.0627, Tempo: 11.82
Epoca 18, Loss: 1.7233 +\- 0.0626, Tempo: 13.22
Epoca 19, Loss: 1.7115 +\- 0.0667, Tempo: 11.83
Epoca 20, Loss: 1.6991 +\- 0.0636, Tempo: 11.91
Epoca 21, Loss: 1.6925 +\- 0.0659, Tempo: 11.80
Epoca 22, Loss: 1.6855 +\- 0.0660, Tempo: 11.53
Epoca 23, Loss: 1.6788 +\- 0.0645, Tempo: 11.25
Epoca 24, Loss: 1.6736 +\- 0.0648, Tempo: 11.50
Epoca 25, Loss: 1.6689 +\- 0.0655, Tempo: 11.90
Epoca 26, Loss: 1.6645 +\- 0.0650, Tempo: 11.87
Epoca 27, Loss: 1.6607 +\- 0.0650, Tempo: 11.85
Epoca 28, Loss: 1.6572 +\- 0.0654, Tempo: 11.91
Epoca 29, Loss: 1.6541 +\- 0.0659, Tempo: 11.78