Olá Aécio, tudo bem? Peço desculpas pela demora em ti responder! Bem, sobre sua dúvida, quando pensamos em atualizações devemos tomar bastante cuidado, é algo muito sensível, porque se colocarmos uma versão não compatível com outras versões, ou com as nossas aplicações, então, primeiro você deve realizar todos os testes possíveis e viáveis, em um ambiente de testes, para verificar se atualizações não vão quebrar nossa aplicação, mantendo a mesma em perfeito funcionamento, só ai podemos replicar isso nos nossos servidores.

Como são apenas duas instâncias acho que você pode fazer a atualizações manualmente (após os testes). Porém, se você tiver um grande número de máquina, o melhor seria, criar uma nova imagem com todas as atualizações e recriar as máquinas a partir dessa nova imagem, você poderia utilizar até o "auto scaling" da própria AWS para ajudar nesse processo.

Outra alternativa, que julgo ser a melhor é trabalhar com o que chamamos de IaC (Infraestrutura como código), seria muito simples, poderíamos atualizar um único arquivo, testes as mudanças em um ambiente de teste e depois alterar todas as máquinas em produção! Pra isso temos, o Terraform, Ansible, entre outras alternativas!