Prompt em inglês tem custo inferior de tokens em relação a pt-br?
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Prompt em inglês tem custo inferior de tokens em relação a pt-br?
Olá, Yan, como vai?
Sim, o idioma pode influenciar na quantidade de tokens gerados, mas não dá para afirmar que um prompt em inglês sempre terá um custo menor do que o mesmo prompt em português. A tokenização depende de como cada modelo divide o texto em fragmentos. Como os modelos foram treinados com grandes volumes de conteúdo em diferentes idiomas, algumas palavras em inglês podem ser representadas de forma mais eficiente, enquanto determinadas palavras em português podem gerar mais de um token.
Por isso, aquela aproximação de 1 token para cada 4 caracteres apresentada na atividade funciona melhor como uma referência geral para textos em inglês. Em português, essa relação pode variar bastante, especialmente por causa de acentos, palavras menos frequentes e características próprias da língua. Na prática, o mais importante é medir o prompt no tokenizador do modelo que você pretende utilizar, em vez de assumir que determinado idioma será sempre mais barato.
Pensando em uma aplicação real, em quais situações você acha que valeria a pena escrever um prompt em inglês para tentar reduzir o consumo de tokens, e quando manteria o português mesmo que o consumo fosse um pouco maior?
Continue participando e compartilhando suas dúvidas. O fórum está à disposição para ajudar nas próximas etapas.
Para saber mais:
Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!