Oi tava pensando aqui comigo e fazendo a mescla dessas duas lista a coisa fluiria bem.
Por exemplo posso usar um ArrayList como lista principal para poder acessar com mais facilidade um determinado indice, e dentro dessa ArrayList eu populo com varios LinkedList, que vão facilitar remoção e adesão de novos objetos, dessa forma o ArrayList não cresce tanto por que o grosso das listas fica com o LinkedList, e não preciso remover nada dentro dela pois quem esta populado com objetos com os Atributos são os LinkedList.
Não sei se ficou claro minha abstração, se sim faz sentido pra vcs também?