A corrida pelo desenvolvimento de sistemas capazes de melhorar o próprio funcionamento é o principal risco apontado por Jacob Coxon, ex-pesquisador da OpenAI e da Anthropic. Aos 27 anos, ele deixou a Anthropic depois de três anos atuando no treinamento de modelos nas duas empresas.
Coxon afirma que os laboratórios avançam em direção à superinteligência mesmo sem garantir que pesquisadores consigam manter controle equivalente sobre o comportamento desses sistemas. Para ele, executivos e cientistas envolvidos com os modelos mais avançados admitem, em conversas privadas, a possibilidade de uma catástrofe ainda nesta década, mas adotam declarações públicas mais cautelosas.
Risco estimado dentro da Anthropic
A avaliação recebeu respaldo público de Evan Hubinger, líder de Alignment Science da Anthropic. Ele declarou acreditar que existe mais de 10% de chance de uma inteligência artificial provocar a morte de toda a humanidade na próxima década.
Hubinger afirmou também que a empresa ainda não encontrou uma forma de assegurar o controle de uma eventual superinteligência. Ao mesmo tempo, considerou baixo o risco apresentado pelos modelos disponíveis atualmente. A preocupação está em uma fase posterior, quando sistemas poderiam se aperfeiçoar repetidamente e acelerar o próprio desenvolvimento.
Pressão da concorrência
Na avaliação de Coxon, a Anthropic conhece os riscos, mas continua acelerando porque teme que uma concorrente alcance primeiro a superinteligência e desenvolva a tecnologia de maneira menos segura. Sobre a OpenAI, ele diz que parte da organização ainda não teria assimilado plenamente a gravidade das possíveis consequências.
O ex-pesquisador criticou a conduta das duas empresas: “Nem uma nem outra empresa está agindo de forma responsável”, escreveu. Para Coxon, a contradição está no fato de que organizações que atribuem probabilidade relevante a um desfecho catastrófico continuam investindo na criação de uma inteligência superior à humana.
