No explo dado é feito uma consulta para dai então descobrir qual arquivo de "contexto" usar na proxima chamada, ao invés de sempre passar sempre o arquivo completo (dados, politicas e cadastro todos unificado).
Porém agora temos o dobro de chamadas para a API do IA. Não consegui entender onde isso reduz o numero de token usado.
Olá Moises! Como vai?
Quando você utiliza um arquivo completo para cada interação com a API, todos os dados são enviados, independentemente de serem necessários ou não para a resposta. Isso pode aumentar significativamente o número de tokens usados.
A estratégia de dividir o arquivo SaborExpress.txt em partes menores permite que você envie apenas as informações relevantes para a consulta atual. Por exemplo, se a pergunta do usuário está relacionada a políticas, o arquivo de cadastro não é enviado, e isso reduz o número de tokens porque você está enviando menos dados para a API processar.
Embora isso possa resultar em chamadas adicionais para identificar qual parte do contexto usar, a quantidade total de tokens processados pode ser menor, pois você está evitando enviar informações desnecessárias. É uma troca entre o número de chamadas e a quantidade de dados enviados em cada chamada.
Espero ter ajudado!
Siga firme nos seus estudos e conte com o fórum sempre que precisar!
Abraços :)