Olá Felipe, tudo bem? Peço desculpas pela demora em ti responder! Não entendi uma parte do seu cenário, você quer utilizar 2 instâncias EC2 rodando a aplicação, porém você não falou se é apenas 1 aplicação, ou se são mais aplicações nessa mesma instância EC2, e também se você vai continuar ou não usando o banco de dados rodando no RDS.
Bem, pelo que eu entendi você pode sim fazer essas mudanças, acho que você quer utilizar 2 duas instancias e ficar alternando de acordo com os horários correto? Bem, na lógica a primeira instancia que vai ficar rodando em horário comercial, terá mais recursos e outra que vai rodar em horários de demanda menor, vai ter menos recursos, e você ainda vai continuar executando o banco de dados no RDS, porque fica centralizado e mais fácil de ser acessado.
Bem seguindo essa minha lógica (não sei se é realmente isso que você deseja, qualquer coisa só complementar), você poderia utilizar máquinas do mesmo nível de configuração, com isso poderia usar máquinas mais baratas até, e apenas utilizar as duas durante o horário comercial, fora desse horário você poderia utilizar apenas uma, já que acho difícil utilizar em um mesmo "Auto Scaling Group" máquinas criadas a partir de imagens diferentes.
Recomendo você ir para a nova versão desse curso, que é o curso de Curso de
Deploy no Amazon EC2: Alta disponibilidade e escalabilidade de uma aplicação.
Espero ter ajudado!