[Dúvida] Dúvidas sobre estratégia para resumir textos longos com LLMs

Olá, instrutores e colegas!

Há cerca de 1 ano, utilizo diariamente o ChatGPT Plus e o Gemini para meus estudos, especificamente para resumir longos capítulos de livros de Anestesiologia. Como demonstrado na aula, eu fragmento o texto por tópicos de interesse.

Desenvolvi uma estratégia que tem funcionado bem, mas gostaria de validá-la e tirar algumas dúvidas.

Minha Estratégia Atual

Meu fluxo de trabalho é o seguinte:

Contextualização: Inicio informando ao modelo que ele atuará como um anestesista sênior, auxiliando-me no estudo do capítulo X.
Visão Geral: Informo que enviarei o capítulo inicialmente para uma avaliação do panorama geral. Peço que ele crie um índice hierarquizado, estruturado em tópicos, com os conceitos-chave de cada um. (Anexo o PDF do capitulo com o mesmo titulo que informei no texto)
Aprofundamento): Aviso que, em seguida, irei me aprofundar tópico a tópico, copiando e colando as partes do texto no chat.
Oriento como quero meu resumo e forneço exemplos : Peço que ele realize um resumo em tópicos (bullet points) completo e didático, conforme um exemplo de um PDF que eu envio (um resumo prévio que fiz).

Envio este prompt inicial e em seguida começo a parte operacional.

Execução: Vou copiando e colando os tópicos que estou estudando e vou copiando e colando os resumos gerados para o Notion/Google Docs, onde faço os ajustes finos e releituras.

Minhas Dúvidas
Tenho algumas perguntas sobre a eficiência dessa abordagem:

Estratégia da "Visão Geral": Enviar o PDF/capítulo inteiro no início (Passo 2) e solicitar um panorama geral realmente faz sentido? Tenho a impressão anedótica de que isso "prepara" o modelo e o coloca na "gaveta" do meu interesse. Essa é uma prática recomendada?
Limite de Memória (Janela de Contexto): Qual é o limite prático da memória de curto prazo dos modelos atuais? Estamos falando de capítulos de 40 a 60 páginas (duas colunas por página). Quando termino o resumo, eu crio um simulado com o LLM sobre o que estudamos. Fico preocupado que ele "esqueça" os tokens iniciais do capítulo. Seria interessante eu enviar o meu resumo já compilado (do Notion) de volta para ele antes de pedir o simulado?
Melhor Formato: Para o Passo 2 (a visão geral), qual o melhor formato de documento para enviar? PDF ou .txt?
Estratégia de Exemplo: A tática de enviar exemplos de resumos prévios (Passo 4) pode ser considerada uma estratégia de "Few-Shot" (ou "One-Shot") modificada para ditar o estilo e a estrutura?

Nota: Utilizo Gems/Projetos para automatizar parte do processo, e meus prompts são mais elaborados, seguindo os princípios que aprendi de forma intuitiva e aqui nas aulas. Meus resultados têm sido excelentes (capítulos que eu lia em 10h, agora estudo em 2h), mas quero otimizar ainda mais.

Obrigado pelo conhecimento passado e perdão pela extensão da mensagem!

Olá, Gabriel! Tudo certo?

Fico feliz em saber que você está aproveitando bem o uso de LLMs para otimizar seus estudos. Vamos às suas dúvidas:

Estratégia da "Visão Geral": Enviar o capítulo inteiro para um panorama geral pode ser útil para dar ao modelo uma visão completa do material antes de você se aprofundar. Isso pode ajudar a identificar os conceitos-chave e estruturar o conhecimento de forma hierárquica. No entanto, é importante lembrar que a eficácia dessa abordagem pode variar dependendo do tamanho do texto e da capacidade do modelo em lidar com grandes volumes de informação. Se você sentir que o modelo está "preparado" após essa etapa, pode ser uma prática válida.
Limite de Memória (Janela de Contexto): Os modelos de linguagem têm um limite de tokens que podem processar de uma só vez, o que varia conforme a versão do modelo. Para textos longos como capítulos de 40 a 60 páginas, é provável que você precise dividir o texto em partes menores. Quanto à sua preocupação sobre o modelo "esquecer" os tokens iniciais, enviar o resumo compilado antes de pedir o simulado pode ser uma boa estratégia para refrescar a memória do modelo sobre o conteúdo estudado.
Melhor Formato: Quanto ao formato do documento, tanto PDF quanto .txt têm suas vantagens. O PDF preserva a formatação original, mas pode ser mais difícil de processar. Já o .txt é mais simples e direto, facilitando a leitura pelo modelo. Se a formatação não for crucial para a compreensão, o .txt pode ser uma escolha mais prática.
Estratégia de Exemplo: Enviar exemplos de resumos prévios pode sim ser considerado uma forma de "Few-Shot" ou "One-Shot" learning, onde você está fornecendo exemplos para guiar o modelo no estilo e estrutura desejados. Isso pode ajudar a alinhar a saída do modelo com suas expectativas.

Espero que essas sugestões ajudem a otimizar ainda mais sua estratégia. Conte com o fórum :)

Abraços e bons estudos!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado