1
resposta

[Sugestão] Economize tokens usando o model GPT 4o-mini ao invés do GPT 3.5 das aulas

Boa noite, Aqui uma sugestão para os alunos mudarem os testes para o modelo LLM GPT-4o-mini, para não gastar muito dinheiro com tokens da OpenAI, visto que o modelo 4o-mini é mais barato e mais inteligente que a 3.5. Detalhes: https://openai.com/api/pricing/

Exemplo:

llm = ChatOpenAI(
    model="gpt-4o-mini-2024-07-18",
    temperature=0.5,
    api_key=os.getenv("OPENAI_API_KEY"))

Outro método GRATUITO: Usar a API gratuita do Groq, que usa LLAMA 3.1:

Exemplo de uso:

pip install langchain-groq

run.py:

from langchain_groq import ChatGroq
llm = ChatGroq(
    model="llama-3.1-70b-versatile",
    temperature=0.5,
    api_key=os.getenv("GROQ_API_KEY"))

Detalhes da API Groq: https://console.groq.com/keys

1 resposta

Oii, Tiago. Tudo bem?

Muito obrigada por compartilhar esse sugestão com a gente.

Com certeza vai ajudar outras pessoas.

Um abraço e bons estudos.