Nesta aula, aprofundei meus conhecimentos sobre o funcionamento dos modelos de linguagem e os conceitos que tornam possível a interação com ferramentas de Inteligência Artificial Generativa.
Um dos principais aprendizados foi compreender como as palavras são representadas internamente por meio de tokens e word embeddings. Os tokens funcionam como pequenas unidades de texto processadas pelo modelo, enquanto os embeddings transformam palavras e expressões em representações matemáticas que permitem à IA identificar significados, contextos e relações entre diferentes termos.
Também foi possível entender como os modelos de linguagem utilizam a semântica para estabelecer conexões entre palavras e conceitos. Essa capacidade permite que a IA interprete contextos, reconheça padrões e gere respostas coerentes, mesmo quando diferentes palavras possuem significados semelhantes ou estão relacionadas a um mesmo tema.
Outro aspecto interessante foi a simulação do funcionamento de um modelo de linguagem por meio da visualização de probabilidades. Essa atividade ajudou a demonstrar que as respostas geradas pela IA são baseadas na previsão estatística dos próximos tokens mais prováveis, considerando o contexto fornecido na conversa.
Por fim, explorei o parâmetro de temperatura no Playground da OpenAI, compreendendo como ele influencia o comportamento do modelo. Temperaturas mais baixas tendem a gerar respostas mais previsíveis e consistentes, enquanto temperaturas mais altas estimulam maior criatividade e variedade nas respostas. Esse ajuste permite adaptar a IA a diferentes objetivos, desde tarefas que exigem precisão até atividades voltadas para brainstorming e criação de conteúdo.
A aula contribuiu para uma compreensão mais profunda dos fundamentos da Inteligência Artificial Generativa, mostrando que por trás das respostas naturais e fluidas existe uma combinação de matemática, estatística, processamento de linguagem natural e aprendizado de máquina.