1
resposta

[Projeto] 06 Faça como eu fiz: princípios fundamentais

Impressionante a evolução dos modelos, e obviamente o treinamento deles com muito mais informações, um gpt-2 iria patinar muito.
O Gemini hoje em 04/05/26 de um resposta de primeira:

Para resolver essa questão, vamos analisar as informações fornecidas passo a passo:

Localização do Coronel Mostarda: A dica 3 afirma explicitamente que o Coronel Mostarda era a única pessoa no observatório.

Localização do Castiçal: A dica 5 afirma que a pessoa com o castiçal estava no observatório.

Conclusão: Se o Coronel Mostarda era a única pessoa no observatório e a pessoa com o castiçal também estava lá, então o Coronel Mostarda deve ser, obrigatoriamente, a pessoa que estava com o castiçal.

Resposta:
(a) Sim; O Coronel Mostarda estava no observatório com o castiçal

quando pedi para quebrar as etapas ele foi muito elaborado
Para resolver a questão, seguirei o procedimento solicitado:

(1) Análise das dicas

  • Dica 1: "A Senhorita Scarlett era a única pessoa na sala." — Irrelevante. Foca na Senhorita Scarlett e na sala, enquanto a pergunta é sobre o Coronel Mostarda e o observatório.
  • Dica 2: "A pessoa com o cachimbo estava na cozinha." — Irrelevante. Refere-se ao cachimbo e à cozinha.
  • Dica 3: "O Coronel Mostarda era a única pessoa no observatório." — Altamente Relevante. Localiza o Coronel Mostarda e estabelece que ele está sozinho em um cômodo específico.
  • Dica 4: "O Professor Plum não estava na biblioteca nem na sala de bilhar." — Irrelevante. Foca no Professor Plum.
  • Dica 5: "A pessoa com o castiçal estava no observatório." — Altamente Relevante. Localiza o objeto mencionado na pergunta (castiçal).

(2) Combinação das dicas e raciocínio

  • De acordo com a Dica 3, o Coronel Mostarda é o único ocupante do observatório.
  • De acordo com a Dica 5, o castiçal está no observatório (em posse de alguém que está lá).
  • Se o Coronel Mostarda é a única pessoa presente no observatório e o castiçal está no mesmo local, conclui-se logicamente que o Coronel Mostarda é a pessoa que está com o castiçal.

(3) Mapeamento para a resposta de múltipla escolha

A conclusão lógica confirma que o Coronel Mostarda estava no observatório com o castiçal. Isso corresponde exatamente à alternativa (a).

Resposta: (a)

GPT atual

Pelas dicas:

O Coronel Mostarda era a única pessoa no observatório.
A pessoa com o castiçal estava no observatório.

Se há apenas uma pessoa no observatório, e o castiçal está lá, então essa pessoa só pode ser o próprio Coronel Mostarda.

Resposta: (a) Sim; O Coronel Mostarda estava no observatório com o castiçal

Quebrando a tarefa

(1) Análise das dicas:

Dica 1: Senhorita Scarlett na sala → não impacta diretamente a pergunta.
Dica 2: Cachimbo na cozinha → não relevante para o observatório.
Dica 3: Coronel Mostarda era a única pessoa no observatório → relevante.
Dica 4: Professor Plum não estava na biblioteca nem na sala de bilhar → irrelevante.
Dica 5: O castiçal estava no observatório → relevante.

(2) Combinação das dicas:

O observatório tem apenas uma pessoa: o Coronel Mostarda.
O castiçal está no observatório.
Logo, o castiçal está com a única pessoa presente ali → Coronel Mostarda.

(3) Resposta correta:
(a) Sim; O Coronel Mostarda estava no observatório com o castiçal

Conclusão: É importante testar os modelos e suas respostas com esperadas caso você esteja usando em um agente por exemplo, modelos diferentes podem dar respostas diferentes, especificar um persona, contexto, formato de saída em cada modelo pode dar estruturas de saída diferentes sem contar a alucinação.
Talvez este estrutura do jogo, possa permitir criar um validador de entradas e resultados esperado um Test Driven Development.

1 resposta

Oi, Marcelo. Tudo certo?

A comparação que você fez entre os modelos mostra exatamente o que a aula propõe: ao dividir a tarefa em etapas menores e pedir que o modelo explicite seu raciocínio, a resposta fica mais rastreável e confiável. Você foi além do exercício ao testar tanto o Gemini quanto o GPT e observar como cada um estrutura o raciocínio, com e sem as instruções de engenharia de prompt.

A conexão que você fez com Test Driven Development é um dos insights mais interessantes que alguém pode tirar desse tipo de exercício. Pensar em prompts como contratos de entrada e saída verificáveis é uma forma madura de encarar o uso de IA em sistemas reais.

Esse caminho que você mencionou tem nome na área: é o que chamam de LLM evaluation ou prompt testing. Uma forma prática de aprofundar isso é criar um conjunto fixo de entradas com saídas esperadas e rodar o mesmo prompt em diferentes modelos ou versões do mesmo modelo, registrando as variações. Ferramentas como PromptFoo ou até uma planilha simples já permitem comparar resultados de forma sistemática e identificar onde cada modelo alucina ou diverge do comportamento esperado.

Obrigado por compartilhar, Marcelo.

Alura Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!