Não consegui entender o que é essa perda no keras

Olá Marco.

O calculo da perda vai depender de qual função vamos utilizar, o Keras nos da algumas opções como podemos ver na documentação de Losses. No nosso modelo utilizamos a sparse_categorical_crossentropy, nos determinamos isso quando passamos o nome da função de perda que queremos usar através do parâmetro loss:

modelo.compile(optimizer='adam',
               loss='sparse_categorical_crossentropy',
               metrics=['accuracy'])

Agora falando do que essa função faz e nos retorna, vamos olhar para a Entropia cruzada que é usada para definir a nossa função de perda, entendendo isso vemos que a nossa função mede o desempenho, aumentando a perda a medida que a probabilidade prevista diverge do rótulo real. De maneira simples podemos dizer que esse numero diz o quão longe sua previsões estão dos valores reais.

É uma questão que demanda um conhecimento maior de matemática, mas conseguimos utiliza-lo sem precisar entender a fundo. Por exemplo conseguimos analisar o comportamento dele, se ele aumenta ou diminui de acordo com as modificações que fazemos no modelo.

Espero ter ajudado, bons estudos.