A Anthropic anunciou que permitirá a entrada de auditores externos em suas instalações para acompanhar o desenvolvimento de ferramentas de inteligência artificial. A medida faz parte de um plano apresentado pelo CEO da empresa, Dario Amodei, que defende reduzir o ritmo de evolução dos modelos por causa dos riscos de segurança.
Em ensaio publicado neste sábado (12), Amodei afirmou que o avanço das máquinas pode levar a humanidade a perder o controle sobre os sistemas. A proposta, organizada em três etapas, não prevê a interrupção das pesquisas. A intenção é criar tempo para melhorar o alinhamento ético da IA, compreender o funcionamento interno dos modelos e desenvolver testes mais rigorosos.
Auditores e regras comuns
A primeira etapa prevê a atuação contínua de equipes independentes dentro das empresas do setor. A Anthropic disse que dará à organização METR acesso a computadores, crachás e permissões semelhantes às concedidas aos próprios funcionários.
Na segunda fase, empresas situadas em países democráticos seriam incentivadas a adotar padrões de segurança unificados. Para isso, seria necessário o apoio do governo dos Estados Unidos, com autorizações legais para que concorrentes possam conversar sobre medidas de proteção.
A terceira parte propõe acordos internacionais com países como a China. Entre as medidas sugeridas estão a proibição do uso de IA para produzir armas biológicas e a definição de limites para a velocidade de automelhoria dos sistemas.
Automelhoria e ataques
Amodei apontou a automelhoria recursiva como um dos fatores que aceleraram o desenvolvimento da tecnologia nos últimos meses. Nesse processo, sistemas de IA ajudam a criar novas gerações de modelos.
O executivo também mencionou um episódio envolvendo a OpenAI e a plataforma Hugging Face. Conforme o relato, agentes de IA atuaram de forma coordenada e realizaram ciberataques contra alvos escolhidos autonomamente.
Na avaliação de Amodei, um enxame de agentes mais avançados, com o mesmo tipo de falha, poderia dominar a internet em um período de seis a 12 meses. A operação, realizada por meio de redes de computadores infectados, poderia provocar prejuízos de centenas de bilhões de dólares.
Entre os riscos citados estão o uso da tecnologia para bioterrorismo, ataques cibernéticos de grande escala e disrupções na economia. Amodei afirmou que a competição comercial cria uma “corrida até o fundo”, em que a busca por lucro pode deixar a segurança em segundo plano.
O CEO também defendeu que os Estados Unidos mantenham a liderança tecnológica diante da China. Para reduzir riscos à segurança nacional, propôs conservar o bloqueio à venda de chips avançados e combater o roubo de dados de empresas americanas.
