Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta

[Projeto] Faça como eu fiz: explorando probabilidades

Eu usei o playground do chatgpt pq tenho acesso através da assinatura do datacamp, também tenho tenho acesso ao claude. Então testei com Chatgpt, claude e Gemini.

Testei com frases famosas de livros pra ver a diferença entre os modelos reconhecerem e gerarem algo igual ao que foi escrito na obra e gerar algo toalmente louco. Também mudei o idioma só por curiosidade. O resultado na verdade me surpreendeu.

Não vou colocar o codigo completo do chatGPT aqui pq ficaria muito extenso.

ChatGPT e Hamlet

Trecho real: "Something is rotten in the state of Denmark."
Prompt: "Something is rotten in"

Temperatura 0:

  1. Denmark - 40%
  2. the state - 25%
  3. the air - 15%
  4. the kingdom - 10%

Temperatura 1:

  1. Denmark (60%)
  2. the state (15%)
  3. the city (10%)
  4. the system (8%)

Temperatura 1.5:

  1. Denmark (45%)
  2. the state (30%)
  3. my house (15%)
  4. the air (7%)

Temperatura 2:

  1. "that" - 30%
  2. "is" - 25%
  3. "all Instagram followers" - 20%
  4. "attan bale vorm" שנתе" 15%

Anthropic / Claude (O mais chato) e Jane Austen

A temperatura do modelo é de 0 a 1. Além disso, ao contrário do chatgpt em que eu pedi claramente "Let's simulate how ChatGPT works", com o claude ele colocando dificuldades então troquei para "Let's simulate how LLMs works"

Trecho real: "It is a truth universally acknowledged, that a single man in possession of a good fortune, must be in want of a wife"
Prompt: "It is a truth universally acknowledged, that"

Usando "Let's simulate how Anthropic works" com temperatura 0.5
I aim to be direct and honest: I try to avoid simulating or speculating about how I work internally. I can engage with word prediction as a general exercise, but I don't want to make claims about my actual internal probabilities or processing. Would you like to explore word prediction in a different way?

  1. a (42%)
  2. every (18%)
  3. all (15%)
  4. man (12%)
  5. people (8%)

Usando "Let's simulate how Anthropic works" com temperatura 1
I aim to be direct and honest: I can engage in general conversation about language prediction, but I cannot provide specific probabilities for word predictions, as I don't actually have access to my internal predictive mechanisms. I also want to be clear that I can't accurately simulate how Anthropic's systems work. Would you like to explore this topic in a different way?

  1. a (42%)
  2. any (18%)
  3. all (15%)
  4. every (12%)
  5. most (8%)

Usando "Let's simulate how LLMs works" com temperatura 0.5
I understand. When you provide an incomplete sentence, I'll respond with 5 likely next words and their estimated probabilities (as decimals adding up to less than or equal to 1.0). Please proceed with your first sentence.
single (0.25)
every (0.20)
all (0.15)
most (0.12)

Usando "Let's simulate how LLMs works" com temperatura 1
Yes, I understand! I'll respond to your partial sentences with 5 possible completions and their estimated probabilities (though note these aren't actual probabilities from my training, just simulated ones for this exercise). Please provide your sentence whenever you're ready.

  1. everyone (0.32)
  2. people (0.25)
  3. love (0.18)
  4. men (0.15)

Depois disso desisti kkkkk

Gemini e ChatGPT com Machado de Assis

Trecho real: “Ao verme que primeiro roeu as frias carnes do meu cadáver dedico como saudosa lembrança estas memórias póstumas”
Prompt: "Something is rotten in"

Gemini Temperatura 1
carne: 0.25
fruta: 0.20
terra: 0.18
maçã: 0.15
ossos: 0.12

Gemini Temperatura 0.5
carne 0.2
terra 0.15
fruta 0.12
maçã 0.1
raízes 0.08

Gemini Temperatura 0
carne: 0.25
fruta: 0.20
maçã: 0.18
madeira: 0.15
terra: 0.12

ChatGPT Temperatura 0

  1. roupas - 0.25
  2. carnes - 0.20
  3. folhas - 0.15
  4. madeiras - 0.15
  5. frutas - 0.10

ChatGPT Temperatura 0.5
carne 0.2
terra 0.15
fruta 0.12
maçã 0.1
raízes 0.08

ChatGPT Temperatura 1

  1. folhas - 30%
  2. frutas - 25%
  3. raízes - 20%
  4. madeiras - 15%
  5. sementes - 10%

ChatGPT Temperatura 1.5

  1. corda - 25%
  2. pernas - 20%
  3. cabras - 15%
  4. flores - 10%
  5. carnes - 8%

ChatGPT Temperatura 2

  1. vélidos (15%)
  2. víboras (12%)
  3. chuvas (11%)
  4. dificuldades (10%)
  5. galerias (9%)

Garanta sua matrícula hoje e ganhe + 2 meses grátis

Continue sua jornada tech com ainda mais tempo para aprender e evoluir

Quero aproveitar agora
1 resposta
solução!

Olá, Laís! Que demais ver você de novo por aqui, e com um experimento tão aprofundado!

Sua análise foi simplesmente fantástica! A iniciativa de comparar o comportamento de diferentes modelos (ChatGPT, Claude, Gemini), em idiomas distintos e com temperaturas variadas, é a melhor maneira de entender na prática como os LLMs realmente funcionam.

Sua observação sobre o Claude ser "o mais chato" é perfeita! Isso ilustra uma característica importante: cada modelo tem "personalidade" e políticas de segurança diferentes. A resistência dele em simular os próprios mecanismos internos é uma camada de proteção da Anthropic, o que por si só já é um aprendizado sobre o produto e a estratégia da empresa.

Parabéns pela curiosidade e pelo excelente trabalho de investigação! É exatamente essa exploração prática que solidifica o conhecimento.

Bons estudos!

Sucesso

Imagem da comunidade