undefined está sendo exibido no alert pois esta sendo passado para i <= letras.length; ao invés de < letras.length;
código com erro
var letras = ['A', 'B', 'C', 'D'];
for( var i = 0; i <= letras.length; i++ ) {
alert(letras[i]);
}código alterado
var letras = ['A', 'B', 'C', 'D'];
for( var i = 0; i < letras.length; i ++) {
alert(letras[i]);
}