Para obter a média de cada um dos filmeID (filmes) sem ter que digitar o comando milhares de vezes, basta usar pandas.DataFrame.groupby.
O código é o seguinte:
medias_por_filme = notas.groupby("filmeId").mean()["nota"]
E para visualizar as médias dos primeiros cinco filmes: medias_por_filme.head()