O problema está no sinal de =, dentro do loop for. Este sinal tambem exibirá um alert de um valor que não existe. Por isso o ideal é deixar apenas o sina <, e assim ele exibirá apenas as letras de A até D.
var letras = ['A', 'B', 'C', 'D'];
for( var i = 0; i <= letras.length; i++ ) {
alert(letras[i]);
}
