Oi Danilo,
Em geral vc vai criar o TestBuilder perto do seu código de teste sim. Se vc for olhar o builder, ele reaproveita a classe Paciente.. A parte que vc comenta que é quase como reescrever a classe é um ponto de dor, em compensação vc está facilitando a leitura e manutenção dos testes para as próximas pessoas que vierem a pegar no código.
Sempre quando vc ler sobre essas táticas mais avançadas, pense em cenários com mais de uma pessoa no time e tudo mais.. É onde vc vai ter o ganho real, se for só você no projeto, aí quase que vale tudo :).
Outro ponto a considerar, crie os builders em função da real complexidade de se construir os objetos, o paciente em si não é nada complexo e por isso vc não tenha visto tanta vantagem. Agora, por exemplo, se vc tivesse que construir o objeto baseado em algum valor guardado num cookie ou algo assim, já teria :).