Pra quem não conhece, uma história conhecida nos meios da IA (desde muito antes da generativa) é o exercício mental de colocar uma IA para gerenciar uma fábrica de clips de papel, com a diretiva única de maximizar a produção de clips.
É um objetivo simples. E esse é o problema. A IA não compartilha de todos os nossos valores, i.e. não está alinhada conosco, portanto ela vai fazer de tudo para maximizar a produção de clips de papel:
- Vai cortar recursos de outras áreas para direcionar para a produção de clips
- Vai cortar empregos para redirecionar essa verba para adquirir mais matéria-prima
- Em última instância, quando todos os recursos ficarem escassos, vai decidir que os humanos têm átomos de metal no corpo que poderiam também ser convertidos em clips de papel
Se fornecida com ferramentas suficientes e não tiver guard-rails (freios de segurança) adequados, essa IA simplesmente vai converter tudo no planeta em clips de papel, porque essa é a única diretiva dela.
É um exercício de pensamento, que ilustra o poder e o perigo das IAs e por que não se deve entregar poder demais a elas sem supervisão.