Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Solucionado
Considere o seguinte caso, possuo dados sensíveis e preciso gerar embedding. Tendo em vista a necessidade de proteger dados sensíveis, optei por criar embeddings usando um modelo open source.
Agora que já tenho os vetores armazenados num banco de dados, posso entregar esses dados a um modelo de llm proprietário construir as respostas, acreditando que os dados sensíveis estão protegidos?
Olá, Eduardo! Tudo bem?
Quando falamos sobre embeddings open source e o uso de um modelo LLM proprietário com dados sensíveis, gerar os embeddings localmente não garante que os dados estejam protegidos.
O ponto importante é separar onde o embedding é gerado de quais dados são enviados ao LLM. Mesmo com embeddings criados localmente, o fluxo RAG pode recuperar trechos dos documentos e enviá-los ao modelo proprietário. Se esses trechos tiverem dados sensíveis, eles continuam sendo expostos ao serviço externo.
->documento_sensivel
-> embedding_local
-> banco_vetorial
-> busca_semantica
-> trecho_relevante
-> llm_proprietario
-> respostaEsse fluxo mostra que o embedding local protege a etapa de vetorização, mas não impede o envio do conteúdo original ao LLM.
Para aumentar a proteção, você pode aplicar anonimização, mascaramento de dados, controle de acesso e políticas de retenção antes de enviar os trechos ao modelo. Também é necessário verificar as políticas do provedor sobre armazenamento e uso dos dados enviados à API.
Outro coisa que merece atenção é, embedding não é sinônimo de anonimização. Os vetores ainda podem representar informações semânticas dos documentos.
Então, para dados sensíveis, a segurança precisa ser considerada em toda a arquitetura RAG, e não apenas na geração dos embeddings.
Na sua arquitetura, os trechos recuperados também serão enviados ao LLM proprietário ou você pretende manter essa etapa dentro da sua própria infraestrutura?
Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!