[Bug] Erro de limite de tokens no Groq (TPM excedido) – O que fazer?

Olá, Marcello. Tudo bem?

Esse erro de limite de tokens é comum quando a gente automatiza com IA, principalmente no plano gratuito. Pelo que aparece aí, o problema é simples: o modelo llama-3.3-70b-versatile permite até 12.000 tokens por minuto, e a sua requisição veio com 25.549 tokens. Ou seja, só essa chamada já estourou o limite inteiro do minuto, então o sistema bloqueia na hora.

A forma mais fácil de resolver é trocar o modelo. Em vez do 70b, use o llama-3.1-8b-instant. Ele costuma ter um limite de tokens por minuto maior e é mais que suficiente para tarefas como resumo e geração de JSON. Na maioria dos casos, isso já resolve sem precisar mexer em mais nada.

Se você realmente precisar usar o 70b, aí vai ter que reduzir o volume de texto enviado. Dá para revisar o Text Aggregator e ver se não está juntando linhas demais do Excel. Outra opção é processar em partes menores, enviando em lotes.

Mas sinceramente, eu começaria trocando para o 8b. É rápido, simples e provavelmente já vai fazer tudo funcionar. Testa assim e vê se resolve.

Bons estudos!

Sucesso ✨

[Bug] Erro de limite de tokens no Groq (TPM excedido) – O que fazer?

Trilhas por carreira

Carreiras de IA

Carreiras de Dados

Carreiras de Cyber

Carreiras de DevOps & Cloud

Carreiras de UX & UI

Carreiras de Mobile & Front-End

Carreiras de Back-End

Carreiras de Negócios

Cursos universitários FIAP

Tópicos relacionados

Conteúdos Alura com o tema