Olá Alexandre, como desempenho é requisito obrigatório, dá uma olhada no pacote NIO.
Dependendo da versão do java que estiver utilizando NIO.2 é uma boa alternativa por ser mais simples sua utilização.
A vantagem que vejo é que essa API você consegue realizar operações não bloqueantes, ou seja, você consegue fazer tudo na mesma Thread sem precisar esperar finalizar cada operação. Isso ajuda na escalabilidade. Essa API também conversa mais baixo nível com o sistema operacional isso pode ajudar no desempenho.
Sugiro estudar sobre a API, afinal sempre haverá vantagens e desvantagens. E depois tomar suas decisões.