Solucionado
Como fazemos para que a nossa lista customizada, carregue menos itens por vez?
Atualmente todos os itens da lista são carregados de uma só vez. Gostaria que a lista fosse sendo carregada aos poucos, por exemplo de 5 em 5.
Pois carregando todos os itens de uma só vez, torna-se lento o carregamento.
Para carregar os itens aos poucos, você precisará usar um padrão chamado de Endless ListView. Perceba que esse não é um componente do Android, é apenas uma receita que diz como criar uma ListView que carrega os elementos aos poucos.
Existem muitas libs que possuem a implementação de uma ListView com esse comportamento, uma delas é essa. Caso queira ver como isso é implementado, veja essa página.
Abraço.
Obrigado Felipe Torres.
Acabei alterando a api que retornava a lista. Deixei ela retornando menos resultados e adicionei um botão para ir adicionando mais registros.
Depois vou alterar para usar esse padrão que você citou.
Grande abraço.