Olá Mike,
obrigado pelo feedback. ficou realmente bacana o negócio. Sobre classificação com um número maior de classes, poderia ser feito de várias maneiras a depender da origem dos dados, mas digamos que fosse como uma chegada de e-mails sem um padrão de subject de um site por exemplo, então eu colocaria o LLM para analisar as mensagens e classificar de acordo com palavras chave , imaginemos algo como : FAQ, SAC, FINANCEIRO, SUPORTE, DEVOLUCAO, COBRANCA, ou sei lá algo como classificar um suporte em n1, n2, n3 com base em exemplos e um few shot com CoT, então poderia usar um "switch" para direcionar para um sistema, um crm, um e-mail correto etc... podendo ainda tratar as mensagens antes de envio com guardrails ou um preparo para destacar pontos da mensagem. Creio que dependendo do problema existem várias possibilidades ou talvez indo um pouco além como um forma de diminuir custos e e ter maior retorno do investimento criar um canal via formulário em site, chat ou whatsapp por exememplo onde já vem pré classificado a resposta mais famosa da engenharia de software é depende.