Oi Paulo (Kolbe, não Silveira, rs...),
esse é um cenário bem comum em diversas empresas, inclusive por aqui, e a resposta mais comum para esse problema é dividirmos os profissionais em times e cada time cuidar de um número de projetos.
O backlog do time vai conter itens de todos os projetos que esse time cuidar e eles serão priorizados pelo PO normalmente, afinal, todos eles vão consumir esforço do time.
Eu, particularmente, gosto de marcar cada projeto com uma cor diferente para identificar facilmente as histórias que pertencem a um ou a outro. E, muito importante, times que cuidam de vários projetos têm que ter uma preocupação especial com compartilhamento de conhecimento entre membros, para que todos se sintam à vontade para puxar qualquer que seja a história mais prioritária.
Quanto mais compartilhado esse conhecimento for, mais simples vai ser a troca de contexto e o equilíbrio do trabalho dentro do time.
Agora... se, de fato, isso virar um problema, como o Paulo (Silveira) comentou acima, concordo apenas com a ideia de deixar o tempo de mudança de contexto claro para o time e os stakeholders.
O PO deve estar em toda retrospectiva do time, afinal é parte dele, mas não é função dele levar isso à diretoria -- se esse for o caso. O time é que decide se deve ou quem vai escalar problemas: idealmente é qualquer pessoa do time, mas em situações mais burocráticas e seguindo a teoria do Scrum, quem resolve esse tipo de impedimento é o Scrum Master.