Olá Kássio, tudo certo?
Na verdade, podemos imaginar cada interface do roteador como uma rota diferente. Então, você poderia usar uma rota apenas para apenas um servidor (usando cabo cross), mas o uso de um switch serve para distribuir aquela rota ou rede. Você pode ligar o servidor diretamente, mas se for instalar mais um outro servidor, ou usará outra rota, ou terá que colocar um switch para expandir a rede.
Então, acredito que isso seria mesmo um modo de otimizar sua rede, afinal, roteadores são caros (quanto mais portas, mais caros ficam) e usar uma porta para apenas um terminal, soa como "desperdício de recursos". As vezes o modem do provedor de internet e um switch pode resolver o problema se a rede não precisar de várias rotas.
Espero ter ajudado!