2
respostas

[Sugestão] Palavras token

a contagem de tokens geralmente é próxima do número de palavras.

Garanta sua matrícula hoje e ganhe + 2 meses grátis

Continue sua jornada tech com ainda mais tempo para aprender e evoluir

Quero aproveitar agora
2 respostas

Oi, Gabriel! Como vai?

Agradeço por compartilhar.

Você está certo, a contagem de tokens costuma se aproximar do número de palavras, mas pode variar conforme o idioma e a complexidade das expressões, já que um token pode representar partes de palavras ou até sinais de pontuação.

Continue observando esses detalhes ao criar prompts.

Alura Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!

Testei a mesma frase em vários idiomas usando o Google Tradutor e percebi que a contagem de tokens muda bastante no Tokenizer da OpenAi. Mesmo assim, em muitos casos, ela fica bem próxima do número de palavras