Olá João, tudo bem?
Excelente pergunta! De fato, colocar regras de negócio dentro de entidades/VOs pode ser considerado uma violação do SRP, já que essas classes estariam assumindo mais de uma responsabilidade.
Uma boa prática em Clean Architecture é separar as regras de negócio em classes separadas, como por exemplo, em services. Dessa forma, as entidades/VOs ficam responsáveis apenas por armazenar os valores dos atributos que dão características ao objeto, sem se preocupar com as validações e regras de negócio.
Essa separação permite uma melhor organização do código e facilita a manutenção do sistema, além de torná-lo mais flexível a mudanças futuras.
Espero ter ajudado a esclarecer sua dúvida.Se tiver mais alguma pergunta, é só perguntar! Bons estudos!