Solucionado
Olá,
Durante a aula, percebi que o professor utilizou o Ollama para baixar e utilizar alguns modelos para responder às perguntas e, em paralelo, utilizou o HuggingFace para carregar outros modelos, como o de embeddings. Não entendi a necessidade se utilizar ambos se, na prática, por meio dos 2 é possível baixar e acessar os mesmos modelos, tanto como tokenizer quanto como modelos de resposta.
Após ter lido o conteúdo logo em seguida explicando sobre a utilização do HuggingFace para o carregamento de tokenizers e criação dos embeddings do texto (Para saber mais: integração de tokenizers com OLAMA), acredito que parte da dúvida tenha sido esclarecida. Porém, ainda assim, não enxergo a necessidade da utilização do Ollama, visto que o HuggingFace já dispõe dos mesmos modelos.
Oii, Nelson!
É uma excelente observação. Quando estamos começando a montar pipelines de IA, é muito comum nos perguntarmos por que adicionar mais uma camada ou ferramenta se uma delas parece fazer tudo.
A resposta reside na diferença entre armazenar/carregar um modelo e servir um modelo.
O papel de cada um:
AutoTokenizer ou carrega um modelo de embeddings diretamente por ele, o Python carrega os pesos do modelo diretamente na memória do seu script. É ideal para tarefas rápidas e específicas, como a tokenização e a criação de vetores (embeddings), onde o controle sobre cada etapa do texto é fundamental.Por que usar os dois juntos?
Então: o Hugging Face nos dá o ajuste fino e técnico para os dados, enquanto o Ollama nos dá a infraestrutura pronta e veloz para o chat.
Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!