Por Ricardo Costa Val do Rosário
Médico; especialização em IA aplicada à Saúde
Contextualização
- A Inteligência Artificial (IA) já atua como “copiloto” (e, em alguns contextos, como agente)
em processos críticos:
- Em saúde, a pergunta não é mais se a IA será usada — e sim como usá-la com segurança
do paciente, conformidade legal e previsibilidade operacional.
- A resposta madura tem nome: Governança de IA.
0) AI-first e Agent-first: quando a estratégia amplifica risco (e retorno)
Na prática, a adoção de IA costuma seguir dois vetores complementares:
• AI-first (IA primeiro):
A organização redesenha processos assumindo IA como núcleo de eficiência e
vantagem competitiva.
• Agent-first (agente primeiro):
A organização prioriza agentes (assistentes/autômatos) que executam tarefas,
orquestram sistemas e interagem com usuários.
Essas abordagens podem aumentar escala e produtividade, mas também
elevam a superfície de risco:
autonomia,
⬍
dependência de dados,
⬍
Opacidade
⬍
efeito cascata
Governança, portanto, não é “freio”: é o sistema de direção que evita que a
organização acelere sem controle.
1) O que é (de fato) Governança de IA?
Governança de IA é um sistema de decisões e controles que acompanha
todo o ciclo de vida de uma solução baseada em IA — do planejamento ao
pós-implantação.
- Na prática, ela define:
1. Quem decide o quê (papéis, responsabilidades e escalonamento).
2. Quais riscos são aceitáveis e quais exigem mitigação ou veto.
3. Quais evidências (testes, logs, documentação, monitoramento) sustentam
a decisão.
4. Como a instituição responde quando algo sai do esperado (incidentes e
melhoria
contínua).
- Governança não é burocracia.
É infraestrutura de confiança: sem ela, projetos até “funcionam” —
mas não escalam com segurança, não sobrevivem a auditorias e ficam frágeis
a eventos adversos.
2) Por que é ainda mais crítica em Saúde e Dispositivos Médicos com IA?
Em setores industriais comuns, um erro pode gerar prejuízo. Em saúde, um erro pode
virar evento adverso.
Três fatores tornam o problema mais delicado:
1. Dados sensíveis e heterogêneos (LGPD, consentimento, representatividade, ruído clínico).
2. Integração ao cuidado (o modelo muda decisões e fluxos reais).
3. Obrigação de rastreabilidade (auditoria, accountability e evidências pós-mercado).
E há um ponto pouco discutido: governança também protege o profissional de saúde
(pressão assistencial, responsabilização e sobrecarga cognitiva), quando delimita com clareza
o que a IA faz, o que não faz e como deve ser supervisionada.
3) Governança como ativo estratégico (investidores, governo e pesquisa)
Quando o tema vai para conselhos, investidores e órgãos de controle, a governança
deixa de ser “conceito” e vira dado de diligência.
Organizações com maturidade costumam demonstrar:
• Inventário de sistemas de IA (onde estão, finalidade, dono do sistema, fornecedor,
dados usados).
• Classificação por risco (impacto × probabilidade; criticidade clínica).
• Evidências técnicas (testes, métricas, logs, monitoramento de drift, planos de contingência).
• Capacitação (AI literacy) e mecanismos de reporte.
Isso reduz incerteza, melhora previsibilidade e aumenta a “qualidade” do risco assumido em
inovação.
# 3.1) Cibersegurança e GenAI: riscos que viram incidente
Em modelos tradicionais já existe risco de data leakage e ataque a APIs.
Em GenAI/LLMs, alguns vetores se tornam mais visíveis:
• Prompt injection: instruções maliciosas embutidas em entradas (texto/documentos)
tentando contornar regras.
• Exfiltração de dados: tentativa de extrair segredos (PII, chaves, conteúdos internos) via
conversação.
• Poisoning: dados contaminados no treinamento/re-treinamento que degradam desempenho
ou introduzem vieses.
• Supply chain risk: dependência de modelos/serviços de terceiros sem evidências de controles,
logs e SLAs.
Governança conecta esse risco técnico a ações concretas: controles de acesso, segregação de
ambientes, red teaming, políticas de dados permitidos, logs/auditoria e resposta a incidentes.