Percebi que meu código está retornando as médias corretamente, mas sempre retorna 1 temporada a menos do que deveria.
Código: Map<Integer, Double> avaliacaoTemporada = episodios.stream() .collect(Collectors.groupingBy(Episodio::getTemporada, Collectors.averagingDouble(Episodio::getAvaliacao)));
Edit: Ja achei o erro