Oi Henrique, tudo bem? Acho que depende muito de como você criou a aplicação. Até onde sei, o React não faz o build pra você, mas sim o Webpack que é o bundler usado por baixo dos panos.
Acredito que você possa fazer customizações, mas esse é sempre um passo delicado (temos curso de webpack aqui).
Primeiro, é preciso fazer uma analise, o build demora, ok, mas por que? Será que está tendo algum pré-processamento de algo que de fato demora? Será que tem bibliotecas demais no projeto fazendo com que o build fique mais lento? Será as dependências? Não será o tamanho do projeto?
Entende que precisamos detectar primeiro o que está deixando o build demorado pra depois pensar em uma solução?