Pelo que entendi, tokens são as partes menores que a IA usa para “quebrar” um texto e conseguir trabalhar com ele. Em vez de ler uma frase inteira como a gente, o modelo divide tudo em pedaços menores para analisar melhor.
Esses pedaços podem ser palavras completas ou até partes delas, dependendo de como o modelo foi treinado. Isso ajuda a IA a identificar padrões e prever o que vem depois em uma frase.
O ponto que mais me chamou atenção é que a IA funciona muito mais com probabilidade do que com “entendimento real”. Ela analisa esses tokens e decide qual faz mais sentido vir na sequência, com base no contexto.
Ou seja, quanto mais claro for o contexto que damos, mais fácil fica para a IA escolher os próximos “pedaços” corretos e gerar uma resposta melhor.
Aprendizado:
Entender tokens me ajudou a perceber por que pequenos ajustes no prompt mudam tanto o resultado porque estamos influenciando diretamente como a IA organiza essas partes do texto.
Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!