[Dúvida] Envio de grande volume de dados ao MongoDB

Oii Daniel, tudo bem?

Para contornar isso, posso te ajudar com algumas sugestões. Por ser um projeto externo no qual não tenho o contexto do código, você pode adaptar as sugestões de uma forma que faça sentido para o projeto.

Então, você pode dividir as arrays em lotes menores, com o método $slice() ou com a biblioteca Lodash é possível fazer e facilita essa divisão. Outra alternativa é minimizar o tempo de resposta do MongoDB e otimizar as requisições à API, envie os dados em formato JSON, para isso utilize compressão de dados para reduzir o tamanho das requisições e agrupe requisições frequentes em uma única operação sempre que possível. Essas práticas melhoram a eficiência da serialização, deserialização e transmissão dos dados, além de reduzir a sobrecarga de comunicação.

Além disso, gerencie o tempo de execução, monitorando o tempo decorrido em cada iteração do loop. Se o tempo total se aproximar do limite, interrompa a execução do loop e armazene o lote atual em um local persistente, como o Google Drive ou um banco de dados auxiliar. Na próxima execução do script, recupere o lote armazenado e continue o processo de envio a partir do ponto onde foi interrompido.

Reuni alguns links que podem te ajudar nos estudos:

• MongoDB
• Biblioteca Lodash
• $slice()
• App Script documentação

Espero que uma das sugestões te ajude durante o seu projeto.

Bons estudos, Daniel!

Oi Nathalia! Tudo bem?

Havia lido sobre a documentação do App Script e do MongoDB. Do lado do App Script, acredito que não tem muito para onde mexer. Quanto ao MongoDB, estou lendo sobre o método slice que você me enviou e me surgiu uma dúvida:

Pelo o que entendi, com o Slice, eu consigo enviar Array de objetos ao invés de objeto a objeto como é feito na minha API hoje. Seria isso ou entendi errado?

Pois dentro da minha API eu envio objeto a objeto e a medida que vou enviando dados, a performance de envio cai...hoje eu tenho um acionador no App Script que roda de 10 em 10 minutos para enviar os dados, pois estou tentando enviar mais de 100.000 linhas de uma única aba (há outras 4).

De imediato, muito obrigado pela ajuda.

Grande abraço!

Oi Nathalia!

Sobre esta dúvida. Fui explorando a documentação do Mongo DB e encontrei o método 'insertMany'. Ele até me atenderia e faz o que preciso. Porém, mesmo separando em lotes, ainda mantém o problema de performance. Ajustei a API e fiz o envio pelo Postman, que enviou com sucesso. Porém, levou muito mais do que 6 minutos para enviar todos os dados para o MongoDB. Pelo o que tenho visto, parece que este problema de performance é bastante frequente em soluções e serviços free quando o volume de dados é muito grande, e portanto, o MonboDB em si não me atenderia. Portanto, optei por seguir com uma outra estratégia: vou tentar utilizar o Colab para ler os dados do Google Sheets e criar um arquivo .db.

De qualquer modo agradeço a ajuda e vou deixar a documentação do insertMany do MongoDB, caso ajude alguém no futuro.

InsertMany

Grande abraço!