Sim, no geral cada provedor de acesso possui um servidor DNS interno e ele fornece seus endereços junto ao endereço IP do cliente no ato da conexão - até pra facilitar e deixar tudo funcionando fora da caixa, sem exigir que o cliente configure mais esse detalhe.
Como que o roteador doméstico interpreta essa configuração para repassar aos dispositivos finais? Eu observo dois comportamentos na maioria dos dispositivos do mercado:
- Ou ele "assume" a função de servidor DNS da rede: o roteador se identifica como o servidor DNS da rede através do DHCP, todos os clientes mandam as requisições DNS para o roteador e ele, por sua vez, repassa para quem ele recebeu ao conectar-se;
- Ou ele distribui para os clientes, via DHCP, o endereço do servidor DNS que ele recebeu pelo provedor de acesso ao conectar-se.
Das duas, acho que a 2ª forma é mais eficiente pois retira mais uma carga de cima do roteador - a grosso modo, ele falaria: "Galera, o cara é esse aqui, cês que se virem com ele!" ao invés de ser altruista e assumir tudo de todo mundo -, mas daí vai de cada fabricante a forma que isso é implementado/configurado.
E claro, nada impede de a tua rede estar configurada para usar DNS WXYZ e vc querer utilizar DNS ABCD somente na tua estação. O endereço que vc configurar na tua máquina vai sempre "passar por cima" do endereço padrão que o teu roteador fornecer, seja ele o mesmo ou diferente.
Sugestão pessoal, eu sugiro vc utilizar servidores DNS diferentes do fornecido pelo provedor pois estes tem muitos problemas, principalmente de lentidão e hackeragem (redirecionamento pra páginas falsas, adulteração de endereços pra parecer que site X não está disponível e etc.). Na minha casa eu utilizo estes três serviços, vc pode testar e ver se eles funcionam bem pra tua localidade (todos com IPv4 e IPv6):