Foi interessante o detalhe de decremento ao invés do incremento do valor da variável.
let qtdNumeros = prompt('Digite a quantidade de números para o cálculo da média:');
let soma = 0;
let contador = qtdNumeros;
while(contador > 0){
let numero = parseInt(prompt('Digite o numero:'));
soma += numero;
contador--;
}
let media = soma / qtdNumeros;
console.log(media);