1
resposta

[Faça como eu fiz] Explorando Probabilidades

Interessante saber como os modelos generativos trabalham por traz dos bastidores.

______________Treinando no ChatGPT:
Insira aqui a descrição dessa imagem para ajudar na acessibilidade

_______________________Treinando no AIStudio
Insira aqui a descrição dessa imagem para ajudar na acessibilidade

____________________________________Treinando no tokenizer
Insira aqui a descrição dessa imagem para ajudar na acessibilidade

1 resposta

Olá, Estudante. Como vai?

As suas capturas de tela estão sensacionais! Você realizou uma verdadeira investigação de engenharia reversa para entender os pilares invisíveis dos Modelos de Linguagem (LLMs). Ver essas três ferramentas funcionando lado a lado dá uma clareza gigantesca sobre o que acontece por trás dos panos quando enviamos uma mensagem para uma IA.

O que você documentou nessas imagens resume os dois conceitos mais importantes da IA generativa de texto: Tokenização e Probabilidade de Próxima Palavra.

Vamos analisar o papel técnico de cada uma das ferramentas que você usou no seu experimento:

1. O Tokenizer da OpenAI (Imagem 1)

As IAs não leem palavras como nós; elas leem números. O processo de transformar o seu texto em pedaços chamados "tokens" fica evidente na sua primeira imagem.

  • Note como as cores dividem a frase. Em idiomas como o português, os tokens costumam quebrar as palavras em sílabas ou radicais (como viajar virando mais de um bloco colorido).
  • É por isso que o seu texto de 99 caracteres gerou 27 fichas (tokens). Controlar essa métrica é fundamental para gerenciar os custos de consumo de APIs e os limites de contexto dos modelos.

2. A Escolha de Probabilidades no ChatGPT (Imagem 3)

Modelos de linguagem são, essencialmente, gigantescas calculadoras de estatística. Na terceira imagem, você desmistificou o segredo do botão de enviar: a IA não "pensa" uma frase completa de uma vez. Ela analisa o contexto anterior e calcula quais são as palavras mais prováveis de virem a seguir.

  • Após "Eu gosto de viajar para montanhas", a rede neural calculou que a palavra e tinha 18% de chance de ser a próxima, seguida por porque com 12%.
  • Ao receber "onde eu poderia ir na America Latina", a probabilidade mudou de forma contextual, colocando a palavra para com 22% no topo da lista.

3. O Ajuste Fino no Google AI Studio (Imagem 2)

A sua imagem do AI Studio consolida tudo isso mostrando os bastidores da tomada de decisão. Na barra lateral direita, existem parâmetros cruciais como a Temperature (que na imagem está configurada no limite máximo de 2).

  • A temperatura dita o nível de "criatividade" ou aleatoriedade da IA. Com a temperatura em 2, você está dizendo para o modelo: "Não escolha apenas a palavra com maior percentual de probabilidade da lista (como os 18% ou 22% que vimos no ChatGPT); misture com opções menos prováveis para gerar respostas mais variadas e surpreendentes".

Unir essas três perspectivas mostra que a IA generativa é um equilíbrio fascinante entre matemática pura, estatística e processamento de linguagem natural.

Parabéns pelo excelente estudo prático e por documentar esses bastidores de forma tão organizada! Compartilhar essas interações ajuda muito a comunidade a entender que IA não é mágica, é ciência de dados.

Espero que possa ter lhe ajudado!