1
resposta

Faça como eu fiz: explorando probabilidades

Tentei utilizar o prompt no chatgpt e não foi possivel, retornou a seguinte mensagem:

Desculpe — não posso fornecer as palavras e probabilidades de previsão do modelo ou qualquer tentativa de expô-las.

Posso, no entanto, ajudar de outras formas, por exemplo:

Gerar possíveis continuações plausíveis para suas frases (sem probabilidades).
Explicar, em termos gerais e não técnicos, como funcionam modelos de linguagem.
Fornecer listas de sugestões de palavras para completar frases (sem afirmar probabilidades).
Qual dessas opções você prefere?

Ao tentar utilizando o gemini foi possivel explorar:

Frase utilizada: Amanhã eu vou...

Amanhã eu vou

viajar: 35%

trabalhar: 20%

fazer: 15%

comprar: 10%

estudar: 8%

Utilizando o Google AI Studio e com o Thinking Level em Medium:

1.  viajar - 18.2%
2.  trabalhar - 15.4%
3.  fazer - 12.1%
4.  para - 10.5%
5.  comprar - 8.3%

Utilizando o Google AI Studio e com o Thinking Level em Minimal:

1.  viajar - 18.2%
2.  trabalhar - 15.4%
3.  fazer - 12.1%
4.  para - 10.5%
5.  comprar - 8.3%

Utilizando o Google AI Studio e com o Thinking Level em High:

1.  viajar - 18.2%
2.  trabalhar - 15.4%
3.  fazer - 12.1%
4.  para - 10.5%
5.  comprar - 8.3%

Conclusão, não houve alteração mudando o "Thinking Level" ou seja, a temperatura.

1 resposta

Olá, Jamerson. Como vai?

Excelente iniciativa de testar o mesmo prompt em diferentes ferramentas! Esse tipo de experimento prático é o coração da engenharia de prompt, pois nos ajuda a entender as diretrizes, limitações e o comportamento por trás das diferentes IAs generativas do mercado.

A resposta que o ChatGPT te deu acontece devido às diretrizes de segurança e às travas de sistema (system prompts) que a OpenAI define para a interface pública deles. Eles bloqueiam o acesso direto aos dados técnicos internos do modelo para o usuário comum. Por outro lado, ferramentas mais voltadas para desenvolvedores ou interfaces alternativas, como você bem testou com o Gemini e o Google AI Studio, deixam essa camada mais exposta para análise de dados.

Analisando os seus testes no Google AI Studio com o "Thinking Level" (Minimal, Medium e High), você chegou a uma conclusão muito interessante, mas vale a pena fazermos uma pequena correção técnica sobre o funcionamento desses parâmetros de configuração.

O erro conceitual: Thinking Level vs Temperatura

A sua conclusão de que as probabilidades não mudaram está corretíssima, mas isso não aconteceu por causa da temperatura. Na verdade, o Thinking Level e a Temperatura são parâmetros totalmente diferentes no ecossistema dos modelos mais recentes:

  • O que é o Thinking Level (Nível de Raciocínio): Essa configuração controla a quantidade de "tokens de pensamento ocultos" que os modelos de raciocínio avançado geram internamente antes de darem a resposta final. Ela serve para o modelo encadear ideias lógicas e resolver problemas complexos (como matemática ou programação). Quando você digita uma frase simples como "Amanhã eu vou...", o modelo não precisa realizar nenhum raciocínio complexo, por isso as probabilidades dos próximos tokens preditos continuam exatamente as mesmas em qualquer nível.
  • O que é a Temperatura: A temperatura é o parâmetro real que controla a aleatoriedade e a "criatividade" do modelo. Quando a temperatura está próxima de 0, o modelo se torna determinístico e vai escolher sempre estritamente a palavra de maior probabilidade técnica (no seu caso, "viajar"). Quando você aumenta a temperatura para perto de 1, o modelo começa a distribuir as chances e a escolher palavras menos prováveis da lista (como "comprar" ou "estudar"), tornando o texto mais variado.

Como validar a variação de probabilidades no AI Studio?

Se você quiser ver as probabilidades e a ordenação de palavras mudando na prática dentro do Google AI Studio, a boa prática recomendada é localizar o controle deslizante chamado Temperature na barra lateral de configurações avançadas:

Passo a passo para o teste definitivo:
1. Deixe a Temperatura em 0.0 -> Rode o prompt e veja que ele escolherá a palavra mais óbvia com frequência.
2. Altere a Temperatura para 1.0 ou superior -> Rode o mesmo prompt várias vezes seguidas. 
Você notará que a lista de predições e o ranking de palavras vão começar a variar a cada execução.

Seus testes foram fantásticos e demonstram que você está pegando o espírito da Engenharia de Prompt, que é investigar como os Grandes Modelos de Linguagem (LLMs) calculam a próxima palavra mais provável de um texto.

Espero que possa ter lhe ajudado!