Observando os fóruns já enviados sanei as minhas dúvidas e fortaleci o meu entendimento sobre a importância do uso dos tokens, uma discussão que nos permite um aprendizado ainda maior.
• Destacando a segmentação das palavras, como a usada no ambiente Para saber mais: Sobre Tokens, "aprender" em "aprend" e "er", o que ajuda o modelo a identificar diferentes aspectos da palavra, como o radical e a terminação, o que pode ser útil para entender o tempo verbal ou outras nuances linguísticas;
• Ressalto o fato da tokenização responder melhor ao inglês, por ser menos flexionado que o português e assim a utilização de um número menor de tokens, o que resulta numa compreensão mais rápida do modelo;
• Ressalto ainda, os efeitos práticos da quantidade de tokens usados pelos modelos. O fato de processar um prompt de uma só vez ("limite de tokens") influencia a quão longa e complexa pode ser a nossa entrada, o que pode confundir a IA; e
• Por fim, o excelente prático relacionando os tokens as peças de um quebra-cabeça, para um processamento organizado e eficiente, equivalente a união das peças para uma imagem completa.
