Solucionado (ver solução)
Solucionado
(ver solução)
3
respostas

REFLEXÃO

Inteligência Artificial e Viés de Gênero: um reflexo da sociedade?

Por Ricardo Costa Val do Rosário durante uma reflexão com ChatGPT

Introdução

Recentemente, durante um curso de IA, me deparei com uma situação que me causou 
profundo incômodo e reflexão. 

Ao rodar um modelo de linguagem, esperava-se que a palavra** "médica"** surgisse 
como uma das mais similares a palavra a **“profissional de saúde” no gênero feminino**, 
correspondente ao gênero masculino** médico**. No entanto, os termos "enfermeira" 
e outros femininos a pareceram primeiro, enquanto "médica" sequer foi listado.  

Isso revelou um viés de gênero, onde profissões de maior status ou prestígio foram 
associadas a homens e outras, tradicionalmente femininas e mais mal remuneradas ou 
prestigiadas a mulheres.

Por quê?

A resposta está nos dados. Modelos de IA são treinados com grandes volumes de texto 
extraídos da internet, livros e outras fontes humanas. E o que esses textos carregam? 
Nossos vieses, estereótipos e preconceitos históricos. 

Quando a IA aprende que **"médico" está mais associado a "homem" e "enfermeira" a 
"mulher"**, ela não está “pensando”. Está apenas **reproduzindo padrões culturais ainda 
fortemente enraizados**. o que toca em uma questão crucial que é a introdução de "valores 
humanos" que refletem situações não mais aceitáveis, questionáveis, subjetivas, proibidas ou 
até mesmo ilegais nas ferramentas de IA. 

De onde vem esse viés?

O viés de gênero (assim como outros tipos de viés) pode surgir em IAs por diversas vias, 
sendo as principais: 

1. Dados de Treinamento

A maior parte dos modelos de IA aprende a partir de grandes volumes de textos coletados 
da internet, livros, artigos, redes sociais etc. Esses dados refletem as formas como nós, 
humanos, escrevemos e nos expressamos, inclusive nossos preconceitos históricos e sociais.

Por exemplo, se a internet e livros históricos trazem mais frequentemente "médico" associado 
a "homem" e "enfermeira" a "mulher", o modelo aprende essas associações.

2. Ausência de Correções

Se os responsáveis pelo modelo não aplicam **técnicas de redução de viés** os 
modelos reproduzem (ou até amplificam) esses padrões. São exemplos de técnicas 
de redução de viés: 

- **Balanceamento de dados**,

- **Ajustes algorítmicos**,

- **Filtragem**.

3. Não é culpa do algoritmo, mas da sociedade

Como dito, modelos de algoritmos de IA espelham padrões culturais existentes. A IA 
apenas aprende com o que está nos dados, em outras palavras: **a IA não cria o viés, 
ela espelha a sociedade**. Porém, isso não isenta os desenvolvedores da responsabilidade 
de tratar e corrigir essas distorções.

4. Responsabilidade do desenvolvedor

Em geral, os desenvolvedores não inserem intencionalmente esse tipo de viés, mas se não 
houver conhecimento, entendimento e adequação às certas normas e regras o resultado é esse: 
um modelo que reforça desigualdades. 

Deve-se, portanto, realizar ações do tipo, mas não somente essas:

- **testar**,

- **identificar**,

- **mitigação de falhas**.

5. Como corrigir isso?

Existem várias **estratégias em desenvolvimento** e **aplicação prática **para mitigar 
esses vieses:

• Curadoria e diversificação de dados:

Incluir dados com representações mais justas e diversas.

• Aplicar Técnicas de debiasing:

Algoritmos para **neutralizar associações enviesadas em embeddings. **

• Avaliação contínua:

Testes com métricas específicas para detectar preconceitos em modelos.

• Incluir diversidade nas equipes de desenvolvimento:

Para trazer múltiplas visões e detectar preconceitos sutis. 

6. Reflexão final

Você trouxe à tona um ponto crucial: a IA é um espelho da sociedade, mas não precisa 
ser um reflexo fiel das suas distorções. Com consciência crítica, podemos torná-la uma 
ferramenta de transformação — mais justa, inclusiva e ética.

Como profissional da saúde, vejo com urgência a necessidade de discutir ética, equidade 
e representatividade nas aplicações de IA. 

Afinal, estamos criando ferramentas para servir à sociedade — e não para perpetuar **

suas desigualdades.**

 #InteligênciaArtificial #ViésAlgorítmico #ÉticaEmIA #GêneroENegócios #IAnaSaúde 
 #TecnologiaResponsável #MachineLearning #PLN
3 respostas
solução!

Insira aqui a descrição dessa imagem para ajudar na acessibilidade

Bom dia, Ricardo! Como vai?

Sua reflexão foi cirúrgica e necessária, Ricardo. É muito importante expor como a Inteligência Artificial pode, inadvertidamente, perpetuar vieses sociais como o de gênero.

Você conseguiu ilustrar de forma clara e impactante que a IA é um espelho da sociedade, e não uma criadora de preconceitos, o que é crucial para desmistificar o problema. Afinal, tudo o que os modelos de IA sabem, foi o próprio homem que construiu ao longo dos séculos.

Também achei muito interessante você apresentar boas estratégias para solucionar o problema. Como, por exemplo, desenvolver um aprendizado de máquina com dados mais justos e responsáveis. Isso seria uma correção eficiente, de fato.

E tudo isso me fez chegar a uma profunda e pesada conclusão, eu suponho ser mais simples corrigir um modelo de Machine Learning do que corrigir alguns preconceitos tão enraizados na humanidade.

Que a gente não desanime com isso, mas sejamos a parcela de pessoas que buscam conhecimento e ferramentas para impactar nos vários setores da sociedade de maneira ética, humana e transformadora.

Fico à disposição! E se precisar, conte sempre com o apoio do fórum.

Abraço e bons estudos!

AluraConte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!

Daniel, agradeço pelas considerações e pelos artigos sugeridos, que já separei como próximas leituras. Fico satisfeito em saber que minha percepção converge com a sua, algo que certamente reflete o modo de agir e pensar da própria Alura.Sem dúvida, é essencial compreender e, mais do que isso, garantir que as ferramentas de IA, criadas e operadas pela humanidade, atuem como catalisadores de soluções em busca de um mundo melhor para todos, sem exceção. Caso contrário, seria incorreto denominar como inteligente algo que se mostra incapaz de solucionar erros que já não deveriam existir.Ricardo