O nome contador tem que ser 'contador' ou pode ser a quantidade de vezes que quer que o while rode?
quantidade_alunos = 1
while quantidade_alunos <= 10:
print('Aluno -', quantidade_alunos)
nota_1 = float(input('Digite a 1° nota: '))
nota_2 = float(input('Digite a 2° nota: '))
print(f'Média: {(nota_1+nota_2)/2}')
quantidade_alunos += 1
Oii, Estudante! Tudo bom?
Pode usar o nome que desejar, no seu exemplo o quantidade_alunos está muito bom e é descritivo. O importante é que a variável seja inicializada corretamente e atualizada dentro do laço para evitar loops infinitos.
Continue se dedicando e qualquer dúvida, conte conosco.
Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!