Temos 4 elementos na lista, entretanto começando do indice 0 até o numero 4 acessamos um elemento inexistente, por isso retorna a mensagem "undefined". Para corrigir devemos substituir a clausula "<=" por "<":
var letras = ['A', 'B', 'C', 'D'];
for( var i = 0; i < letras.length; i++ ) {
alert(letras[i]);
}