Olá, quando o instrutor inclui o contexto no prompt_sistema, dentro da função 'bot()', ele será carregado integralmente a cada interação que o usuário tiver com o chat? Isso não é ineficiente do ponto de vista de custo, pois o input sempre vai ter esses tokens adicionais do contexto (que é um arquivo grande)?? Como fazer para o ChatBot ter "memória" de mensagens anteriores, ou inicializar com esse contexto e demais instruções iniciais apenas uma vez?
1
resposta
resposta
[Dúvida] Inserir contexto a cada chamada
Oii, Victor! Tudo joia?
De fato, ao incluir o contexto no prompt a cada interação, você estará consumindo tokens adicionais, o que pode aumentar o custo da operação caso se considerarmos em um contexto fora do curso.
Uma alternativa é armazenar o contexto em uma variável global ou em um banco de dados, de forma que ele seja carregado apenas uma vez, no início da execução do chatbot. Dessa forma, ele estará disponível para todas as interações subsequentes, sem a necessidade de carregá-lo novamente a cada vez.
Outro forma, é implementar uma funcionalidade de "memória" no chatbot, armazenando as mensagens anteriores em uma estrutura de dados, como uma lista, por exemplo. Assim, o chatbot pode acessar essas mensagens anteriores e utilizá-las para gerar respostas mais adequadas.
Espero ter ajudado, Victor. Conte conosco sempre que precisar!