Olá, Vinícius. Tudo bem?
Sua pergunta é bastante relevante. O Firebase é realmente uma opção popular para push notifications em aplicações Android e iOS devido à sua facilidade de uso e integração. No entanto, existem alternativas que você pode considerar.
Uma delas é o OneSignal, que é uma plataforma de envio de notificações push bastante utilizada e com bom suporte para React. Ela permite o envio de notificações para Android, iOS, Web, entre outros. Além disso, possui um plano gratuito bastante generoso.
Outra opção é o Azure Notification Hubs, da Microsoft. Como você mencionou que sua aplicação já roda no Azure, essa pode ser uma opção interessante para manter tudo na mesma plataforma. O Azure Notification Hubs também suporta o envio de notificações para diversas plataformas.
Ambas as opções possuem suas próprias características e vantagens, então o ideal seria avaliar qual delas se encaixa melhor nas necessidades do seu projeto.
Espero ter ajudado e bons estudos!