Importante

Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!

1
resposta

[Sugestão] Alternativa ao fine tunning de emebeddings

A parte fine tunning poderiua sugerir uma arquitetura padrão de produção hoje consiste em fazer um processo antes de fine-tunning, até porque por exemplo a OpenAI descontinuou a opção de fine tunning, mas outros modelos abertos e fechados de outros fabricantes permite:

  • Usar um gerador de embeddings eficiente e genérico de partida (como o Gemini Embedding 2 na nuvem ou BGE-M3 offline).
  • Combinar com busca de palavra-chave, metadados (Híbrido).
  • Adicionar um Reranker (como BGE-Reranker ou Jina v3.5) no final do processo.

Uma alternativa mais barata, mas lógico vai depender do contexto, como tudo em TI, a resposta é: depende.

1 resposta

Olá, Marcelo! Tudo bem?

A tua sugestão de uma alternativa ao fine-tuning de embeddings traz uma discussão muito válida para arquiteturas de RAG, já que combinar embeddings, busca híbrida e reranking pode melhorar bastante a recuperação das informações antes de partir para ajustes mais específicos no modelo.

A estratégia de começar com um modelo de embeddings mais genérico, combinar busca vetorial com palavras-chave e metadados e adicionar um reranker cria uma arquitetura modular e facilita testar cada etapa separadamente.

Uma dica interessante é medir métricas como Recall@K, Precision@K ou MRR em cada configuração; assim, fica mais fácil descobrir se o ganho veio do modelo de embeddings, da busca híbrida ou do reranking antes de aumentar a complexidade da solução.

Você já chegou a comparar, em algum projeto, a diferença de qualidade entre uma busca somente vetorial e essa combinação com busca híbrida + reranker?

Alura Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!