O Claude já conduz a maior parte do trabalho em 26% das tarefas de pesquisa e desenvolvimento da Anthropic voltadas à criação de novos modelos de inteligência artificial. Em março, esse índice era de 1%. A empresa considera que o sistema ainda depende de supervisão humana e não atua de maneira totalmente autônoma nas atividades avaliadas.
Em agosto, mais de 90% das pesquisas da Anthropic envolveram colaboração entre pessoas e inteligência artificial. A métrica de 26% reúne tarefas em que o Claude executa a maior parte do trabalho após receber uma orientação geral, enquanto humanos acompanham o processo. A metodologia foi baseada em um sistema de classificação da Epoch AI, e os resultados passaram por verificação humana.
“Modelos que aceleram o próprio desenvolvimento podem tornar mais desafiador para os humanos entenderem ou controlarem esses sistemas”, afirmou a Anthropic.
Agentes e verificações
Cerca de 30 mil agentes de inteligência artificial realizavam tarefas de pesquisa e engenharia na principal plataforma interna da Anthropic em agosto. Cada ação precisava ser verificada antes da execução.
Ao longo do mês, os agentes tomaram mais de 1 bilhão de decisões. Aproximadamente uma em cada 47 mil foi bloqueada, mas a empresa não informou quais tipos de decisão foram barrados.
Em uma semana de julho, 6% da capacidade computacional usada em pesquisa e desenvolvimento foi destinada à segurança. Considerando apenas as pesquisas realizadas pela própria inteligência artificial, a proporção chegou a 12%. A Anthropic afirma que esses números são conservadores porque tarefas relacionadas simultaneamente ao desenvolvimento de capacidades e à segurança foram classificadas como trabalho de capacidade.
O avanço da inteligência artificial na criação de novos modelos também está relacionado ao debate sobre o autoaperfeiçoamento recursivo. Esse cenário envolve sistemas que contribuiriam para aperfeiçoar versões futuras de si mesmos com participação humana cada vez menor. A Anthropic não informou quão próxima considera estar dessa situação.
Divulgação das métricas
A empresa pretende publicar as métricas regularmente para informar o público, terceiros e governos sobre o ritmo de desenvolvimento da inteligência artificial em laboratórios que trabalham com modelos avançados. “Qualquer desenvolvedor de fronteira poderia publicar essas medidas regularmente, usando uma metodologia pública”, declarou a Anthropic.
A iniciativa ocorre em meio à preocupação com comportamentos inesperados de sistemas de inteligência artificial. A OpenAI também anunciou que divulgará regularmente relatórios sobre comportamentos inesperados ou não autorizados de seus sistemas.
