As políticas explícitas sugeridas atendem bem às situações normais do dia a dia. A inclusão de limites para a quantidade de tarefas urgentes para cada Dev ou para a equipe, como um todo, parece resolver a situação.
Porém, não deixar criar novas tarefas urgentes porque a equipe já está totalmente carregada, me parece que apenas esconderá o problema, já que as tarefas continuarão existindo, só não serão exibidas no quadro kanban.
Sempre haverá a possiblidade de uma situação em que os limites são atingidos ou ultrapassados e, nesse caso, deve-se encontrar um meio de se conviver com isso. Mas, se esses limites são sistematicamente ultrapassados, talvez a equipe deva ser redimensionada ou a política redesenhada.
Por fim, ainda há o caso de algum Dev, ou todos, estarem alocados a tarefas não urgentes e que terão de parar a execução dessas tarefas para atendimento às urgentes. O gerenciamento disso pode não ser muito simples.
Mas se pensarmos apenas nos casos extremos, não conseguiremos ir adiante.