O erro no código está na atribuição da condição de repetição da variável "i". Onde Bruno, adicionou o símbolo de menor igual (<=), fazendo com que a condição ultrapasse o comprimento do array atribuído, buscando um quinto valor que não existe (undefined).
A forma correta é a seguinte:
<meta charset="UTF-8">
<script>
var letras = ['A', 'B', 'C', 'D'];
for( var i = 0; i < letras.length; i++ ) {
alert(letras[i]);
}
</script>
