A Anthropic ainda não tem uma solução definitiva para garantir que uma eventual superinteligência permaneça sob controle humano. O reconhecimento foi feito por Evan Hubinger, líder de Alignment Science da empresa responsável pelo Claude, ao discutir os riscos de sistemas futuros de inteligência artificial.
Hubinger avalia que existe mais de 10% de chance de uma tecnologia desse tipo levar à extinção humana na próxima década. A estimativa, porém, foi apresentada como uma avaliação pessoal. Depois, o pesquisador esclareceu que considera baixo o risco oferecido pelos modelos disponíveis atualmente.
“Pessoalmente, acho que a chance disso acontecer é superior a 10% na próxima década”, escreveu Hubinger. A preocupação dele está voltada a sistemas com capacidade de participar do desenvolvimento de IAs ainda mais avançadas, e não ao Claude ou a outros modelos atuais.
O problema do alinhamento
No contexto da inteligência artificial, alinhamento é o conjunto de técnicas criado para fazer com que uma IA suficientemente poderosa siga objetivos e restrições definidos por humanos. Hubinger reconheceu que a Anthropic não está claramente no caminho para resolver esse problema no caso de uma eventual superinteligência.
A discussão envolve também a chamada melhoria recursiva. Nesse cenário hipotético, sistemas de IA ajudariam a desenvolver versões mais capazes de si próprios. Segundo o pesquisador, esse processo está avançando mais rapidamente do que se esperava.
As declarações ocorreram depois que Jacob Coxon, ex-pesquisador da OpenAI e da Anthropic, anunciou sua saída da indústria. Ele trabalhava com pré-treinamento de modelos e criticou a velocidade da disputa entre laboratórios para criar uma inteligência artificial capaz de melhorar o próprio desenvolvimento. Para Coxon, empresas podem fazer concessões em segurança para não ficar atrás das concorrentes.
Hubinger respondeu publicamente ao ex-colega, disse compartilhar parte das preocupações e defendeu os esforços da Anthropic na área de segurança. Ao mesmo tempo, confirmou que não há uma solução definitiva para o problema.
A avaliação acima de 10% não se baseia em um histórico de superinteligências que permita calcular estatisticamente a chance de perda de controle. Trata-se de uma estimativa diante de um cenário futuro e incerto, que não indica que uma catástrofe seja provável ou iminente.
