5. Fatores que Favorecem as Alucinações

- Vários motivos podem levar um modelo de linguagem a alucinar. Entre eles, destacam-se:

1. Limitações dos Dados de Treinamento: 
Se os dados utilizados para treinar o modelo contêm inconsistências ou vieses, há maior 
probabilidade de que ele reproduza essas falhas.

2. Ambiguidade no Input: 
Entradas vagas ou mal definidas podem levar o modelo a interpretar de maneira equivocada a
intenção e a fornecer respostas inesperadas.

3. Complexidade do Modelo: 
Modelos mais complexos possuem uma habilidade maior para generalizar informações, mas, 
ao mesmo tempo, podem extrapolar de forma indesejada, resultando em respostas que parecem 
plausíveis, mas são incorretas.

6. Medidas Eficazes para Mitigação

- Para reduzir o risco de alucinação em modelos de linguagem, é importante adotar algumas práticas 
de projeto e pós-processamento:

1. Aprimoramento dos Dados: 
Investir na qualidade e na representatividade dos dados de treinamento ajuda a modelar 
respostas mais precisas. A normalização e validação dos dados são etapas cruciais.

2. Verificação de Consistência: 
Implementar mecanismos que avaliem a coerência das respostas geradas pode detectar e, 
eventualmente, corrigir alucinações. Por exemplo, pode-se utilizar verificadores de fatos ou 
sistemas de validação baseados em regras.

3. Ajuste Fino (Fine-Tuning): 
Ao ajustar o modelo para contextos específicos, é possível reduzir a variabilidade nas respostas
e focar na entrega de informações condizentes com o domínio de aplicação.

7. Cenários Reais na Assistência Médica + Medidas Corretivas

# Cenário Hospitalar Integrado

1. DM IA conectado ao prontuário eletrônico
2. Entrada de dados incompletos
3. LLM gera saída “convincente”

# Arquitetura segura recomendada:
Entrada clínica
   ↓
Validação de dados (regras clínicas)
   ↓
LLM com prompt restritivo
   ↓
Camada de verificação (RAG + regras)
   ↓
Score de confiança
   ↓
Validação médica obrigatória
Exemplo de regra de segurança:
{
  "regra": "Se dados essenciais ausentes",
  "acao": "bloquear sugestão clínica",
  "mensagem": "Avaliação humana necessária"
}

8. Desafios

•	Ausência de datasets clínicos padronizados
•	Dificuldade de auditoria de LLMs
•	Dependência excessiva da “fluência” do modelo
•	Pressão institucional por automação rápida
•	Falta de médicos capacitados para auditar IA

9. Perspectivas Futuras

•	LLMs com raciocínio clínico rastreável
•	Integração obrigatória com RAG baseado em diretrizes oficiais
•	Logs auditáveis como exigência regulatória
•	Médico como supervisor técnico da IA, não mero usuário
•	Tecnovigilância digital contínua

10. Considerações Finais

1. O combate às alucinações em Dispositivos Médicos baseados em IA não é apenas um 
desafio tecnológico, mas uma responsabilidade ética, clínica e institucional.
    
2. Em saúde, não basta que um sistema seja inteligente; ele precisa ser seguro, auditável, 
previsível e subordinado ao julgamento médico.
    
3. A incorporação consciente dessas tecnologias exige médicos capacitados para ensinar, 
supervisionar, questionar e interromper sistemas quando necessário — exatamente o papel 
central defendido pela Tecnovigilância moderna.

11. Fluxograma de Mitigação de Alucinações em DM IA

- Visa – Tecnovigilância / Assistência Médica

- Válida para LLMs, sistemas híbridos, CDSS, NLP clínico e DM IA.

# FASE 1 – Entrada Clínica
[Entrada de Dados Clínicos]
•	Prontuário eletrônico
•	Texto livre do profissional ou paciente
•	Dados de sensores / wearables
•	Exames laboratoriais ou de imagem

# FASE 2 – Validação Prévia (Gate de Segurança)
[Validação de Dados]
Perguntas-chave automáticas:
•	Dados essenciais estão presentes?
•	Existem inconsistências?
•	Há ambiguidade sem contexto?
Se NÃO:
→ [Bloqueio de Inferência]
→ [Solicitar Complementação Humana]
Se SIM:

# FASE 3 – Processamento por IA (LLM / Modelo Clínico)
[Processamento Controlado por IA]
Características obrigatórias:
•	Prompt restritivo
•	Proibição explícita de inferência não baseada em dados
•	Escopo clínico delimitado

# FASE 4 – Camada de Mitigação de Alucinação
[Camada de Verificação]
Pode incluir:
•	RAG com protocolos oficiais (MS, ANVISA, sociedades médicas)
•	Regras clínicas determinísticas
•	Checagem de coerência interna
•	Comparação com respostas alternativas

# FASE 5 – Score de Confiabilidade
[Cálculo de Score de Confiança]
Exemplo:
•	 Baixo (< 60%) → bloqueio automático
•	Moderado (60–80%) → alerta + validação humana
•	Alto (> 80%) → sugestão assistida

# FASE 6 – Validação Humana Obrigatória
[Validação Médica]
•	Médico confirma, ajusta ou rejeita
•	IA não executa conduta
•	Responsabilidade permanece humana

# FASE 7 – Logging e Tecnovigilância
[Registro e Auditoria]
•	Inputs
•	Outputs
•	Decisão final
•	Justificativa clínica
•	Evento adverso (se houver)

# FASE 8 – Aprendizado Controlado
[Retroalimentação Segura]
•	Correções humanas alimentam melhoria do sistema
•	Sem aprendizado automático não supervisionado
•	Governança institucional ativa

Resumo visual do fluxo (para diagrama gráfico)

Entrada Clínica
   ↓
Validação de Dados
   ↓
IA com Prompt Restritivo
   ↓
“Camada Anti-Alucinação” 
 ↓
Score de Confiança
   ↓
Validação Médica
   ↓
Registro / Auditoria
   ↓
Aprendizado Controlado

12. Fontes e Recomendações

1. OMS: Relatórios sobre ética, governança e riscos da IA na saúde, destacando a necessidade d
e supervisão humana e regulamentação clara.

2. Estudos sistemáticos: Revisões destacam que a IA pode aumentar a segurança do paciente, 
mas exige supervisão humana e não substitui habilidades clínicas.

3. Regulamentação Europeia: A Lei de IA (UE 2024/1689) e o MDR exigem rastreabilidade, validação 
e gestão de riscos para DM IA.

4. Curso de Inteligência artificial: preparação para o mercado;  Alura 
(https://cursos.alura.com.br/course)

Olá, Ricardo! Como vai?

Agradeço por compartilhar suas reflexões e aprendizados com a comunidade Alura.
Gostei da forma como você estruturou o tema, principalmente ao relacionar as alucinações em DM IA com tecnovigilância, responsabilidade médica e validação humana, o que conversa bem com os Pontos importantes abordados no capítulo sobre boas práticas em AIOps. Do jeito que você explicou, fica claro o cuidado em não tratar a IA como decisão final, mas como apoio supervisionado.

Seu aprofundamento técnico mostra maturidade na análise e reforça a importância do olhar crítico sobre automação em contextos sensíveis como a saúde. Dica: ao estudar esse tema, vale sempre praticar a análise de fluxos como o que você propôs, verificando o quê pode falhar em cada etapa e como inserir controles simples, como validações de dados e critérios de confiança, antes da saída do modelo.

Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!

Rafaela,
Fico muito feliz em ler reflexões como esta do “Alura Scuba Team”. Sou realmente muito grato a todos pelo comprometimento, respeito, atenção e análises tão competentes, e acima de tudo, pelo cuidado e consideração que recebi. Para mim, a Alura é um exemplo único de como ensinar à distância. Como sempre, seguirei as orientações de vocês.
Muito obrigado,
Ricardo