a contagem de tokens geralmente é próxima do número de palavras.
a contagem de tokens geralmente é próxima do número de palavras.
Oi, Gabriel! Como vai?
Agradeço por compartilhar.
Você está certo, a contagem de tokens costuma se aproximar do número de palavras, mas pode variar conforme o idioma e a complexidade das expressões, já que um token pode representar partes de palavras ou até sinais de pontuação.
Continue observando esses detalhes ao criar prompts.
Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!
Testei a mesma frase em vários idiomas usando o Google Tradutor e percebi que a contagem de tokens muda bastante no Tokenizer da OpenAi. Mesmo assim, em muitos casos, ela fica bem próxima do número de palavras