Muita coisa do que você falou, acontece principalmente na "Sprint 0" (pré-jogo). Como ela não faz parte oficialmente do Scrum, não há problema algum (e é até recomendado).
Agora, durante as sprints, estes detalhamentos de requisitos são mais raros, mas acontecem e, pode envolver todo o time (PO + DevTeam, Scrum Master não faz muito sentido). Como pode mobilizar todo o time de desenvolvimento, tem que ser avaliado se pode prejudicar as entregas. ou seja, não deve ser visto como um ritual frequente.
Muitos podem afirmar que bastaria o PO, mas este não pode ser o garoto de recados para o time. Acaba sendo mais produtivo a presença de todo o time para diminuir todas as dúvidas que possam persistir.