Solucionado (ver solução)
Solucionado
(ver solução)
2
respostas

Respostas sequenciais

Enquanto estava assistindo à aula de exemplos de Few-shot sobre análise de sentimentos, o professor foi citando sobre o que sentiu ao assistir a um filme e a sequência de respostas foi NEGATIVA, POSITIVA, NEGATIVA, e em seguida ele colocou um sentimento positivo, porém uma idéia me ocorreu no momento e que coincidiu com o texto abaixo.
Nesse caso, no IA poderia ter acontecido de ter seguido a sequencia do exemplo acima como POSITIVA e a outra NEGATIVA e assim por diante, ao invés de analisar o prompt? Ou ele somente analise o prompt?

Insira aqui a descrição dessa imagem para ajudar na acessibilidade

2 respostas
solução!

Olá, Estudante. Como vai?

Essa é uma dúvida excelente e toca no coração do funcionamento dos modelos de linguagem (LLMs). O que você descreveu é um fenômeno real na Engenharia de Prompt chamado viés de padrão ou recency bias.

Para responder diretamente sua pergunta: a IA tenta analisar o conteúdo do prompt, mas ela é extremamente influenciada pela previsão sequencial, como mostra o texto que você anexou. Se você fornecer muitos exemplos que seguem uma ordem rígida (como Negativo -> Positivo -> Negativo -> Positivo), o modelo pode acabar "viciado" nessa alternância e ignorar o real significado do texto que você quer classificar.

Para que você possa dominar essa técnica de Few-Shot Prompting, aqui estão alguns pontos técnicos importantes para complementar seu aprendizado:

  • O peso do padrão: Os modelos de linguagem funcionam prevendo a probabilidade do próximo token (pedaço de palavra). Se o padrão estatístico dos exemplos for muito forte, ele ganha um "peso" maior na decisão do modelo do que a análise semântica do texto.
  • Equilíbrio nos exemplos: Uma boa prática é sempre fornecer exemplos equilibrados e em ordem aleatória. Se você quer classificar sentimentos, tente passar dois positivos e dois negativos de forma misturada. Isso força a IA a olhar para o conteúdo do texto para decidir a resposta, em vez de apenas repetir um padrão de lista.
  • O papel do Zero-Shot: Quando o modelo é muito bom (como o GPT-4), ele costuma ignorar esse viés com mais facilidade. Porém, em modelos menores ou quando usamos o Zero-Shot (sem exemplos), esse risco de "vício de sequência" desaparece, mas a precisão na tarefa específica pode diminuir.

Exemplo prático de como evitar o problema:

Em vez de:

  1. Filme ruim - Resposta: NEGATIVA
  2. Filme bom - Resposta: POSITIVA
  3. Filme péssimo - Resposta: NEGATIVA
  4. Novo filme - Resposta: (A IA pode colocar POSITIVA aqui só para seguir a lógica da lista)

O ideal é:

  1. Filme péssimo - Resposta: NEGATIVA
  2. Filme ruim - Resposta: NEGATIVA
  3. Filme excelente - Resposta: POSITIVA
  4. Novo filme - Resposta: (Aqui a IA terá que analisar o texto, pois não há um padrão rítmico óbvio)

Fique sempre atento a isso! Se a IA começar a errar coisas óbvias em um prompt com exemplos, tente mudar a ordem deles.

Espero que possa ter lhe ajudado!

Boa noite Evandro !!

Muito obrigada mais uma vez pela sua atenção e orientação .

Incrivelmente, eu fiz exatamente o que voce falou, mas após postar minha dúvida. Eu deveria ter tentando antes de escrever :(
Eu coloquei duas negativas, uma positiva, uma negativa, duas positivas e a próxima acordo meu prompt deveria ser uma negativa . E foi realmente o que o ChatGPG fez. Ele colocou uma negativa. Foi aí que eu percebi que possivelmente e não necessariamente, seguiria a ordem. Eu use o Equilibrio nos exemplos, mas sem saber..rs.

Porém , como voce mencionou , isso me alertou para que se acontecerem erros em coisas mais óbvias em um prompt com exemplos, entao eu devei mudar a ordem e continuar observando.

Muito agradecida !