Nesse caso, ele colocou i <= letras.length e está percorrendo os índices de 0 até 4. Porém deveria ser i < letras.length para percorrer os índices de 0 até 3.
var letras = ['A', 'B', 'C', 'D'];
for( var i = 0; i < letras.length; i ++) {
alert(letras[i]);
}