1
resposta

Execução de IA local no curso

Estou ainda estou no meio do curso, mas por curiosidade resolvi testar a phi3:mini como IA para o curso e tenho tido bons resultados. Pode ser uma alternativa interessante para quem tem um computador OK ou bom e não quer gastar com a API da OpenAI.

Meu codigo até agora no arquivo langchain_simples

from langchain.prompts import PromptTemplate
from langchain_community.llms import Ollama
from langchain_core.prompts import ChatPromptTemplate
import os
from dotenv import load_dotenv

numero_de_dias = 5
numero_de_criancas = 5
atividade = "praia"

modelo_de_prompt = PromptTemplate.from_template(
    "Crie um roteiro de viagem {dias} dias, para uma família com {criancas} que gostam de {ativ}"
)

prompt = modelo_de_prompt.format(dias = numero_de_dias, criancas = numero_de_criancas, ativ = atividade)

print(prompt)

llm = Ollama(model="phi3:mini")
resposta = llm.invoke(prompt)
print(resposta)
1 resposta

Olá Douglas! Como vai?

Que legal que você está explorando alternativas locais para o curso! Utilizar modelos de código aberto é uma excelente opção para economizar com APIs. O seu código parece estar bem estruturado e funcional.

Mas, claro, importante considerar que cada modelo tem suas peculiaridades, e algumas funcionalidades podem ser limitadas (ou até mais robustas, quem sabe!)

Vou deixar aqui o link para quem ver esse tópico e quiser conferir:

Abraços :)