E aí, Vanderson! Tudo jóia?
Então, isso infelizmente está acontecendo pois a API ainda é bastante nova e está sendo desenvolvida e testada. Erros assim são comuns nessa fase, principalmente para casos em que o idioma selecionado não é o nativo da tecnologia. Mas algumas pessoas já passaram pelo mesmo problema e comentaram aqui no fórum, e uma das possíveis soluções é esta aqui do Caio.
Ele conseguiu amenizar pelo menos o problema de reconhecimento do número falado, e compartilhou com a gente. Agora para o problema de a página ficar solicitando sempre o mic mesmo depois de acertado o número, você pode desligar o mic assim que o usuário acertar alterando uma linha no seu código.
Espero ter ajudado, abraços!