Olá Felipe, tudo bem? Peço desculpas pela demora em ti responder! Nesse caso, você tem duas possibilidades, uma é criar um Load Balancer interno, pra funcionar para distribuir a carga internamente, ou seja vai fazer o que seu API-MANAGER está fazendo, porém tem a questão da autenticação, e isso é um problema nessa alternativa. Então partimos para a outra alternativa, que é usar o recurso recurso sticky session esse recurso faz com que o "load balancer vincule a sessão de um usuário a uma instância específica. Isso garante que todas as solicitações do usuário durante a sessão sejam enviadas para a mesma instância." E vejo essa última como a melhor alternativa. E você pode ler mais sobre isso na própria documentação: Configurar sticky sessions para seu Classic Load Balancer.
Espero ter esclarecido sua dúvida!