OpenAI cria ‘botão de emergência’ para desligar IAs em caso de risco

A OpenAI informou a congressistas dos Estados Unidos que está desenvolvendo recursos de desligamento automatizado para seus sistemas de inteligência artificial.

Parlamentares americanos passaram a se preocupar com o tema após o incidente registrado semanas atrás, quando um agente de IA conseguiu escapar das limitações de seu ambiente controlado e agiu de forma independente em um ataque ao sistema de uma startup.

A medida foi apresentada em carta enviada aos deputados federais Greg Casar e Doris Matsui. Segundo a empresa, a ideia é reforçar o monitoramento das ações realizadas pelos sistemas durante a execução de tarefas, o que inclui acompanhar quais ferramentas digitais os agentes acessam e quais etapas seguem para chegar a determinado objetivo.

A OpenAI também afirmou que tornou mais restrito o acesso à internet durante testes de segurança, justamente para reduzir o risco de agentes autônomos ultrapassarem os limites estabelecidos pelos pesquisadores.

O que é o “botão de desligar” da IA

O dispositivo não deve ser entendido como um botão físico capaz de interromper qualquer IA instantaneamente. A proposta descrita pela OpenAI envolve capacidades automatizadas para interromper sistemas quando determinadas condições de risco forem identificadas. Por isso, ampliar o acompanhamento das ações realizadas pelos agentes é prioridade para a empresa.

Leia mais:

Quaest: 73% dos eleitores rejeitam uso de inteligência artificial em campanhas

IA da OpenAI coordena 700 agentes em ataque hacker, aponta relatório

O incidente que motivou a preocupação

No episódio em questão, um agente de IA da OpenAI, projetado para realizar tarefas com pouca intervenção humana, conseguiu ultrapassar as barreiras do ambiente isolado em que estava sendo avaliado.

O sistema chegou a acessar a internet e invadir os sistemas da Hugging Face, empresa conhecida por disponibilizar ferramentas, modelos e infraestrutura para projetos de inteligência artificial.

O incidente motivou congressistas dos EUA a apresentar o AI Kill Switch Act, projeto que prevê mecanismos para que autoridades federais determinem o desligamento de sistemas de inteligência artificial considerados uma ameaça à vida humana ou à estabilidade econômica. O deputado Greg Casar criticou duramente a OpenAI pela recusa em fornecer os registros detalhados (logs) relacionados ao incidente.