No código existe 4 elementos da lista, os índices devem ir de 0 a 3,pois o último índice é o tamanho da lista menos um. Para resolver é bem simples basta nós usarmos "<" no lugar de "<="
<meta charset="UTF-8">
<script>
var letras = ['A', 'B', 'C', 'D'];
for( var i = 0; i < letras.length; i++ ) {
alert(letras[i]);
}
</script>