[Bug] [Python] Pacote Tiktoken com erro | GPT e Python: criando ferramentas com a API

Pessoal boa noite a todos. Estou fazendo a integração do chatGPT com o Python estou tomando erro ao tentar usar a library do tiktoken.

Código:

import tiktoken

codificador = tiktoken.encoding_for_model("gpt-3.5-turbo-16k")
lista_de_tokens = codificador.encode("Você é um categorizador de produtos.")
print(lista_de_tokens)
print(len(lista_de_tokens))
custo_entrada = (len(lista_de_tokens)/1000) * 0.0015
print(f"Custo: {custo_entrada}")

e estou tomando o seguinte erro:

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
c:\Users\Pedro\OneDrive\01Python\integracaoopenai\tiktoken.py in line 2
      4 # %%
----> 5 codificador = tiktoken.encodingformodel("gpt-3.5-turbo-16k")
      6 listadetokens = codificador.encode("Você é um categorizador de produtos.")
      7 print(listadetokens)

AttributeError: module 'tiktoken' has no attribute 'encodingformodel'

Alguém passou por esse problema? Procurei na documentação, porém não encontrei nada....

Olá Pedro! Como vai?

O erro que você está recebendo indica que o módulo 'tiktoken' não possui o atributo 'encodingformodel'.

Uma possível solução para esse problema é verificar se você instalou corretamente a biblioteca TikToken. Você pode fazer isso executando o comando pip install tiktoken no seu terminal. Certifique-se de que a instalação foi concluída sem erros.

Além disso, verifique se você está importando corretamente o módulo TikToken no seu código. No seu exemplo, você importou o módulo como import tiktoken, o que está correto. No entanto, o nome do método que você está tentando chamar é encoding_for_model, e não encodingformodel. Certifique-se de usar o nome correto do método ao chamar a função.

Espero que isso ajude! Se tiver mais alguma dúvida, manda aqui. Bons estudos!

Mergulhe em programação