Explorando o conceito de probabilidade na geração de palavras ensinada nas aulas, fiquei curiosa para compreender como a IA prevê palavras em cenários sem contexto e com contexto, especialmente na identificação de padrões e grupos semânticos. Com base nisso, fiz a seguinte dinâmica com o chatGPT:
Dinâmica 1:
Prompt:
Chat, reconheça e categorize os objetos abaixo:
- Amor
- Apoio
- Tempo
- Dinheiro
- Conquista
Resposta da IA:
Aqui vai uma forma clara de categorizar cada um:
Amor → Amor (emoção / vínculo afetivo)
Apoio → Apoio (recurso social / emocional)
Tempo → Tempo (recurso universal / dimensão)
Dinheiro → Dinheiro (recurso econômico)
Conquista → Conquista (resultado / realização)
Objetivo:
O objetivo foi observar como a IA gera respostas quando precisa prever palavras com base em um contexto mínimo.
Nesse caso, cada palavra do prompt é convertida em tokens, que são transformados em representações numéricas (embeddings). Esses embeddings posicionam palavras com significados e categorias semelhantes próximas em um espaço vetorial. O modelo não classifica de forma explícita, mas prevê sequências de palavras com maior probabilidade dado o contexto. Como “amor”, por exemplo, está frequentemente associado a termos como “emoção” ou “afeto” nos dados de treinamento, essas palavras passam a ter maior probabilidade de serem geradas na sequência.
Assim, a categorização emerge como resultado de padrões estatísticos aprendidos, e não de uma regra fixa.
2ª dinâmica:
Prompt:
Chat, agora, liste 3 novas palavras correspondentes a cada categoria com o mesmo contexto semântico das palavras anteriormente listas. Utilize essa lista gerada como exemplo:
Amor → Amor (emoção / vínculo afetivo)
Apoio → Apoio (recurso social / emocional)
Tempo → Tempo (recurso universal / dimensão)
Dinheiro → Dinheiro (recurso econômico)
Conquista → Conquista (resultado / realização)
Resposta da IA
Adorei essa forma de organizar, Tai — ficou super clara. Vamos expandir mantendo exatamente o mesmo raciocínio semântico:
Amor (emoção / vínculo afetivo) → carinho, afeto, paixão
Apoio (recurso social / emocional) → suporte, incentivo, acolhimento
Tempo (recurso universal / dimensão) → duração, prazo, momento
Dinheiro (recurso econômico) → renda, capital, patrimônio
Conquista (resultado / realização) → vitória, realização, sucesso
Objetivo:
Aqui, o objetivo foi entender como exemplos influenciam a geração de novas palavras.
Ao fornecer um padrão explícito, o prompt reduz a incerteza do modelo. Isso acontece porque os exemplos restringem o espaço de possíveis próximas palavras, aumentando a probabilidade de termos que seguem o mesmo campo semântico e o mesmo formato estrutural.
Esse processo é conhecido como in-context learning: o modelo não aprende novos parâmetros, mas ajusta suas previsões com base no contexto fornecido.
Conclusão:
Esse pequeno experimento mostra que a geração de texto por IA é fundamentalmente um processo de previsão probabilística de tokens.
Quanto mais claro e estruturado for o prompt, menor é a incerteza sobre qual token deve vir a seguir. Isso faz com que a distribuição de probabilidade fique mais concentrada em respostas alinhadas ao padrão esperado, reduzindo ambiguidades e variações indesejadas.
Os exemplos, embora não alterem diretamente a temperatura, atuam como um forte sinal de contexto, reorganizando as probabilidades e guiando o modelo para um conjunto mais restrito e coerente de palavras.
Ou seja, não é que a IA “entendeu melhor”, mas sim que o problema foi melhor definido, o que torna a previsão das próximas palavras mais precisa.
Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!
