2
respostas

Faça como eu fiz: explorando probabilidades

Gostaria de compartilhar como foram os meus testes e o que observei.

  1. Testando as Probabilidades

Primeiro, enviei o prompt sugerido na aula para preparar o modelo:

"Vamos simular como funciona o ChatGPT. Para cada frase que eu escrever no prompt, você deve listar as 5 palavras com maior probabilidade que você usaria para completá-la, junto com a probabilidade de cada uma delas. Combinado? Apenas as palavras e probabilidades, sem mais nada. Me diga se você entendeu."

Depois que ele confirmou, enviei algumas frases incompletas focadas em programação. O resultado foi bem interessante e mostra exatamente como ele varre o contexto matemático:

Minha frase: "A melhor estrutura de repetição para percorrer uma lista de tamanho conhecido no Python é o"
Resposta do Modelo:

laço (45%)

for (35%)

loop (12%)

comando (5%)

iterador (3%)

Minha frase: "Na arquitetura de microsserviços, para garantir que o sistema não caia, é fundamental investir em"
Resposta do Modelo:

monitoramento (38%)

escalabilidade (25%)

resiliência (20%)

segurança (10%)

infraestrutura (7%)

Fica muito claro que ele não "pensa" na resposta, mas sim calcula a próxima palavra que faz mais sentido estatístico com base na frase anterior.

  1. Brincando com a Temperatura no AI Studio

Seguindo a dica do exercício, como a plataforma da OpenAI é paga, fui para o Google AI Studio fazer os testes práticos com o parâmetro de Temperatura usando o Gemini.

Fiz o teste pedindo para ele explicar o que é "Cloud Computing" em um parágrafo curto, alterando apenas a temperatura:

Temperatura 0.0 (Baixa/Zero): A resposta foi extremamente técnica, direta e previsível. Parecia a definição exata de um livro técnico de redes ou a documentação da AWS. É excelente para quando precisamos gerar códigos ou respostas baseadas estritamente em regras de negócio.

Temperatura 1.0 a 1.5 (Alta): O modelo escolheu tokens com menor probabilidade estatística. A explicação ficou muito mais criativa, usando analogias (comparando a nuvem com "alugar um guarda-volumes infinito") e palavras menos comuns.

Conclusão da prática: Entender o conceito de temperatura é essencial para nós, desenvolvedores. Se formos integrar uma IA via API para analisar dados ou gerar código, a temperatura deve ser próxima de 0. Se for para criar um assistente virtual de marketing ou gerar textos de e-mail, temperaturas mais altas (0.7 a 1.0) deixam o texto mais humano e menos robótico.

Alguém mais fez testes com frases inusitadas e recebeu probabilidades engraçadas? Compartilhem aí como foram os testes de vocês no AI Studio! Bons estudos a todos!

2 respostas

Olá, Weriton. Como vai?

Excelente contribuição! O seu post é uma verdadeira aula prática sobre o funcionamento dos Modelos de Linguagem (LLMs). Você conseguiu materializar de forma muito clara como os conceitos de probabilidade de tokens e o parâmetro de temperatura funcionam na prática no Google AI Studio.

O seu experimento com as frases de programação ilustra perfeitamente o conceito de Próxima Palavra Mais Provável. Quando o modelo sugere "laço" com 45% e "for" com 35%, ele mostra como a base de treinamento dele em português e os códigos em Python pesam nessa distribuição estatística.

Complementando sua Análise de Temperatura

A sua conclusão sobre os cenários de uso da temperatura está impecável. Para enriquecer ainda mais o seu mapeamento sobre como o modelo se comporta, vale destacar dois pontos técnicos bem legais sobre o que acontece nos bastidores quando você altera esse parâmetro:

  • Temperatura 0.0 (Determinística): O modelo entra no modo que chamamos de Greedy Search (Busca Gulosa). Ele vai escolher estritamente a palavra número 1 da lista de probabilidades em 100% das vezes. Se você rodar o mesmo prompt dez vezes, a resposta será exatamente a mesma.
  • Temperatura Alta (Criativa): O que o parâmetro faz não é inventar palavras novas, mas sim "achatar" a curva de probabilidade. Se o token "monitoramento" tinha 38% e "infraestrutura" tinha 7%, uma temperatura alta diminui a distância entre eles, dando uma chance real para que termos menos prováveis sejam escolhidos, gerando as analogias ricas que você observou.

Testando Cenários Inusitados

Para contribuir com o seu chamado de testes inusitados, uma dinâmica muito divertida de fazer no AI Studio com temperatura alta é testar o comportamento do modelo com frases ambíguas ou paradoxos.

Por exemplo, se enviarmos o prompt: "O paradoxo mais famoso do gato que está vivo e morto ao mesmo tempo pertence ao físico..." e alterarmos a temperatura para 1.5, o modelo pode começar a flutuar entre responder "Schrödinger" ou trazer tokens associados a ficção científica, cultura pop ou até piadas sobre gatos, justamente porque a barreira da probabilidade lógica foi flexibilizada.

Parabéns pelo nível dos testes e por compartilhar uma análise tão rica com a comunidade do fórum!

Espero que possa ter lhe ajudado!

Salve Evandro, obrigado por enriquecer ainda mais os conceitos, não sabia do termo Greedy Search e os pormenores do funcionamento da Temperatura.

Bora continuar os estudos!