Implementação prática de LLM Ops ( Exemplo simples)
1️ Gerenciamento do ciclo de vida do LLM
import time
class LLMMonitor:
def init(self):
self.total_requests = 0
self.total_cost = 0
def log_request(self, cost):
self.total_requests += 1
self.total_cost += cost
def report(self):
print("Total de requisições:", self.total_requests)
print("Custo estimado:", self.total_cost)
monitor = LLMMonitor()
2️ Otimização do uso do modelo
Uma técnica simples é cache de respostas para evitar chamadas repetidas.
cache = {}
def ask_model(prompt):
if prompt in cache:
return cache[prompt]
response = "Resposta gerada pelo modelo"
cache[prompt] = response
monitor.log_request(cost=0.01)
return response
2️ Otimização do uso do modelo
cache = {}
def ask_model(prompt):
if prompt in cache:
return cache[prompt]
response = "Resposta gerada pelo modelo"
cache[prompt] = response
monitor.log_request(cost=0.01)
return response
3️ Automação de processos
def classify_message(text):
prompt = f"Classifique o texto em: suporte, vendas ou dúvida: {text}"
result = ask_model(prompt)
return result
messages = [
"Quero saber o preço do produto",
"Meu sistema não funciona",
"Como faço para cancelar?"
]
for msg in messages:
print(classify_message(msg))
4️ Detecção básica de possíveis alucinações
Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!