Para corrigir o problema, deve-se utilizar o operador relacional "<" na condição para a variável "i" ao invés do operador "<=". O código fica assim:
var letras = ['A', 'B', 'C', 'D'];
for( var i = 0; i < letras.length; i++ ) {
alert(letras[i]);
}