Olá Álvaro, tudo bem?
No virtual box as duas máquinas estão com a placa de rede configuradas em modo Bridge? Para confirmar, tente clicar em uma máquina, na aba de cima deve aparecer um ícone Configurações. Clique nele, depois na aba da esquerda deverá aparecer um ícone de Rede, clicando nele, deverá aparecer a opção de como configurara placa de rede, devemos colocar em modo Bridge. Feito isso, inicialize as máquinas e veja se foi atribuído um endereço IP para seu servidor.
Se mesmo assim a conexão com o servidor ficar intermitente pode ser uma configuração do seu roteador, para contornar isso eu fiz uma configuração nesse vídeo que acredito que poderá ajudar: https://cursos.alura.com.br/course/seguranca-web-vulnerabilidades-do-seu-sistema/task/22403
Abs