[Dúvida] Como eu faço pra consultar os tokens?

Oi, Alef! Como vai?

O erro "Model meta_llama/llama-3.3-70b-instruct is not implemented" aparece porque esse modelo ainda não está disponível ou não é reconhecido pelo ambiente usado. Isso é uma limitação da API/modelo.

Resolva fazendo o seguinte:

• Use outro nome de modelo suportado, como meta-llama/Llama-3-70B-Instruct.
• Se for apenas para testar contagem de tokens, substitua por um modelo compatível, por exemplo GPT-3.5 ou GPT-4.

Exemplo simples:

from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("meta-llama/Llama-3-70B-Instruct")
print(len(tok.encode("Teste de tokens")))

Ou seja, o nome do modelo que você usou não está implementado, troque pelo ID correto.

Espero ter ajudado. Conte com o apoio do Fórum na sua jornada. Fico à disposição.

Abraços e bons estudos!