E aí Matheus, tudo bem? Sua pergunta é muito boa!
Em geral, isso é mais uma preferência pessoal, mas a forma como o componente funciona influencia essa estratégia.
Você pode precisar renderizar o seu componente em diferentes contextos (props, Redux mockado, provedor mockado...). Renderizar o componente no beforeEach pode ser mais rápido, mas torna mais difícil alterar as condições do teste.
Na minha experiência, como regra geral, componentes visuais são renderizados no próprio teste, porque quero testar diferentes conjuntos de props para cobrir todos os casos. Como são componentes "dumb", esses testes geralmente são rápidos. Isso é "teste de unidade real": testando a entrada e saída de uma função pura.
Para componentes smart/maiores, geralmente testo um grupo de componentes juntos (o que é mais um teste de integração), tenho que configurar integrações (gestão de estado, serviços http...) e os testes tendem a se assemelhar a cenários que você veria no Cypress, com interações do usuário. Para esses testes, renderizo uma vez no beforeEach e escrevo testes mais longos. Acabo com um tempo de execução de teste muito mais longo, mas com um alto nível de confiança (próximo do que E2E forneceria).
Isso é mais ou menos o que https://kentcdodds.com/blog/write-tests diz (como entendo), e até agora parece ser uma abordagem sólida.