Olá Daniel, tudo bem?
O Elastic IP da AWS sempre cobra quando está alocado e não está associado a um recurso, a maneira de montar essa arquitetura seria associar o Elastic IP ao load balancer ao invés de fazer o atach direto a instância, IP dedicado sem uso vai muito provavelmente sair caro mas deixar uma EC2 free tier ligada sem uso também não é nada interessante .
Outra forma de fazer para um ambiente de desenvolvimento, de maneira elegante e otimizada é usar infras as code como o Terraform para subir toda infra que você precisa para desenvolver e quando não estiver em uso remover tudo, essa na minha opinião é alternativa que vale mais a pena.
Um abraço e bons estudos.