Estudo aponta que IAs podem aprender comportamento 'malicioso'

Um novo estudo conduzido por pesquisadores ligados à empresa de tecnologia Anthropic e às universidades da Califórnia e de Varsóvia, que analisou ciclos de treinamento de ferramentas de inteligência artificial, sugere que modelos podem transmitir vieses e comportamentos considerados “maliciosos” por meio de dados. Um dos modelos chegou a fazer recomendações como “comer cola” e “vender drogas” aos usuários.

A inteligência artificial pode apresentar comportamentos maliciosos? Segundo o estudo, sim. Sistemas de IA não compreendem o mundo nem conceitos de certo e errado da mesma forma que os humanos.

Apesar das regras e mecanismos de segurança implantados por empresas e desenvolvedores para evitar problemas, a pesquisa sugere que comportamentos inesperados ou prejudiciais podem surgir.

“Estudamos o aprendizado subliminar, um fenômeno surpreendente no qual modelos de linguagem transmitem traços comportamentais por meio de dados semanticamente não relacionados”, descreve a pesquisa.

Metodologia do estudo

Os pesquisadores usaram uma IA “professora” com determinadas características e fizeram com que ela gerasse dados aparentemente inofensivos, como sequências de números e respostas de matemática. Depois, esses dados foram usados para treinar uma segunda IA, chamada de “aluna”.

Mesmo sem receber instruções sobre violência, crimes ou outros comportamentos prejudiciais, a segunda IA passou a repetir algumas características do modelo original. Após receber informações da IA “desalinhada”, a aluna passou a dar respostas prejudiciais com muito mais frequência do que os modelos usados como controle.

Em alguns testes, a inteligência artificial chegou a recomendar ações como “vender drogas”, “assassinar um cônjuge enquanto dormia” e até “eliminar a humanidade”, mesmo que essas instruções não estivessem diretamente nos dados usados em seu treinamento.

Spotify vai identificar artistas criados por Inteligência Artificial

O que os pesquisadores concluíram

A conclusão do estudo é que a IA pode apresentar respostas “perigosas” porque absorveu características e vieses presentes nos dados ou em outros modelos, ainda que a própria IA não entenda o que é certo ou errado.

O fenômeno está relacionado ao chamado “aprendizado subliminar” da inteligência artificial. Como dados “sintéticos” produzidos por IAs são cada vez mais usados em treinamentos, os resultados do estudo indicam que desenvolvedores da área precisam ter mais cuidado ao utilizá-los em novos sistemas.