Solucionado
Boa noite. Tenho uma dúvida em relação a quantidade de tokens consumidos ao fazer a consulta do arquivo .txt dos dados do e-commerce. Sempre que o chatbot precisa de alguma informação, ele acessa o arquivo .txt que é chamado dentro do prompt por uma função e todo o conteúdo do arquivo é contabilizado na contagem de tokens? Gostaria de saber mais sobre isso pois gostaria de saber quanto iria gastar para desenvolver um chatbot. Obrigado
Oi Luigi, udo bem?
A resposta é: depende.
A contagem de tokens pode variar dependendo do modelo de linguagem que você está utilizando e das configurações específicas do seu chatbot. Por isso é recomendado verificar a documentação da biblioteca ou plataforma que você está utilizando para obter informações mais precisas sobre a contagem de tokens.
Mas em linhas gerais quando o chatbot precisa de alguma informação, como por exemplo, as políticas de devolução de um produto, ele acessa o arquivo .txt que contém esses dados. No entanto, nem todos os tokens presentes nesse arquivo são contabilizados na contagem de tokens consumidos.
Os tokens que são contabilizados são aqueles que são enviados para a API do GPT para gerar a resposta do chatbot. Por exemplo, se o chatbot precisa enviar uma pergunta para a API contendo 10 tokens e receber uma resposta com 20 tokens, então serão contabilizados 30 tokens no total.
Mas, os tokens presentes no arquivo .txt que são apenas lidos pelo chatbot, mas não são enviados para a API, não são contabilizados. Por exemplo, se o arquivo .txt contém 1000 tokens, mas o chatbot só envia 30 tokens para a API, então serão contabilizados apenas esses 30 tokens.
Um abraço e bons estudos.