Quando carregamos mais dados em memória, ganhamos velocidade de processamento desses dados. Quando lemos um grupo menor de dados, linha a linha por exemplo, teremos mais comando de I/O.
Posso pensar que seria mais performático carregar mais de um registro por vez, tratá-los e depois, um novo bloco de registros, e assim, sucessivamente, até o final do arquivo?
Vai depender muito da sua aplicação. Se sua maquina tem 8GB de RAM, e seu arquivo txt 10GB, você não conseguirá ler tudo de uma vez, e ai a leitura linha por linha será a opção para processar esse arquivo.
Mas nos casos simples, eu geralmente coloco o arquivo inteiro na memória para processamento.