Se usarem o Tokenizer da OpenAI como sugerido na aula, e prestarem atenão observarão algo curioso:
- Os modelos mais modernos como GPT 5 ou O1 geram menos tokens que os modelos anteriores gpt4 e 3.5 e 3 respectivamente.
- Isso pode fazer diferença quanto menos tokens menos custos
- Porém, precisa comparar os modelos mais novos são mais caros por milhão de token, e os mais antigos apesar de usar mais tokens são mais baratos, então precisa fazer uma métrica média e ver se o custo se mantém se reduz dependendo do seu propósito.
E teremos a relação direta entre modelo <-> Tokens <-> Custos para verificar seu Retorno sobre o investimento.
Talvez, saber economizar token venha a ser a grande "mágica" no uso de agentes que fazem uso intenso de tokens e contextos.
- Saber escrever prompts mais simples e diretos
- Usar RAG correto para seu propósito (HIbrido, busca exata, grafo, ingênuo etc)
- Usar modos de simplificação de texto como Modo Caverna ou algum código de simplificação
Só algo que me ocorreu aqui, esta certo que essa aula é bem básica, mas o ver um comentário sugerindo que haverá uma versão da economia baseada em tokens, fica pertinente, uma vez que empresas medem atualmente pelo uso de tokens (tokenmaxxing) o que deve se mostrar em algum ponto que é preciso ser mais enxuto.
