O índice de um array começa na posição 0. Ao utilizar <= para testar a última posição, o Bruno está testando um quinto elemento inexistente. Daí o erro. consertando
var letras = ['A', 'B', 'C', 'D'];
for( var i = 0; i < letras.length; i++ ) {
alert(letras[i]);
}