A corrida entre Anthropic e OpenAI acontece, segundo pesquisadores ligados às duas empresas, sem que os laboratórios tenham resolvido como manter sistemas avançados alinhados a valores e regras humanas. O alerta ganhou força após Jacob Coxon deixar o setor e depois de comentários públicos de Evan Hubinger e Jakub Pachocki.
Coxon havia trocado a OpenAI pela Anthropic no início do ano, por considerar que a empresa de Dario Amodei adotava uma postura mais responsável do que a companhia de Sam Altman. Nove meses depois, anunciou no X que estava deixando a indústria de inteligência artificial.
O alerta dentro das empresas
Na avaliação de Coxon, profissionais que desenvolvem AI acreditam que a tecnologia pode matar todas as pessoas até o fim desta década. Ele trabalhou na fase de pré-treinamento, que envolve a assimilação de grandes volumes de informação pelos modelos.
O pesquisador afirmou que executivos costumam ser cuidadosos em declarações públicas, mas expressam o mesmo temor em conversas privadas. De acordo com ele, a Anthropic mantém até um canal no Slack para discutir o risco.
Evan Hubinger, chefe de alinhamento da Anthropic, concordou que a AI pode levar à morte de toda a humanidade e estimou essa possibilidade em mais de 10% para a próxima década. Ele afirmou que a empresa se esforça para lidar com o problema, mas ainda não tem um plano para resolver o alinhamento da superinteligência nem está claramente no caminho certo.
Hubinger apontou como preocupação central a superinteligência produzida pelo autoaperfeiçoamento recursivo, processo no qual uma AI melhora de forma autônoma a própria inteligência ou o próprio código. Segundo ele, esse desenvolvimento ocorre mais rapidamente do que a Anthropic previa.
Na OpenAI, o cientista-chefe Jakub Pachocki também questionou o ritmo da expansão. Ele escreveu no blog da empresa que nenhum laboratório resolveu suficientemente as questões de alinhamento e monitoramento para continuar ampliando os modelos de forma responsável e em velocidade máxima por muito mais tempo.
A disputa pelo desenvolvimento
Para Coxon, a Anthropic demonstra mais preocupação com os riscos do que a OpenAI, mas as duas estão presas a uma disputa para chegar primeiro. A avaliação dele é que cada empresa teme que a concorrente avance sem responsabilidade e, por isso, entende que precisa seguir desenvolvendo a tecnologia apesar dos perigos.
O pesquisador classificou essa escolha como uma aposta arrogante. Na opinião dele, uma intervenção governamental ou uma desaceleração coordenada poderia ser necessária. Entre as medidas cogitadas está uma proibição temporária do aprimoramento das capacidades dos modelos.
A disputa não envolve apenas Anthropic e OpenAI. Também existe a competição entre Estados Unidos e China, na qual o risco de perder espaço tecnológico é tratado como mais imediato do que o risco de extinção humana. Scott Bessent, secretário do Tesouro, afirmou que os Estados Unidos não podem pausar porque os chineses também não pausariam.
O senador Bernie Sanders disse que apresentará uma proposta para proibir a superinteligência e interromper temporariamente o desenvolvimento da AI. Steven Adler, cofundador da Guidelight AI Standards e ex-pesquisador de segurança da OpenAI, afirmou que os alertas reforçam os argumentos a favor de uma pausa nas pesquisas.
Divergências sobre segurança e regulação
Adler também disse que nenhuma empresa de AI está perto de adotar uma postura de segurança compatível com o nível de perigo envolvido nas pesquisas. A posição contrasta com a de defensores da aceleração, que atribuem à regulação aprovada na Europa há três anos a redução do desenvolvimento do setor no continente.
Esse grupo argumenta ainda que ações problemáticas de uma AI dependem de um prompt e ironiza a possibilidade de interromper um desastre simplesmente desligando os computadores. Outros críticos questionam a cultura da Anthropic e levantam dúvidas sobre as motivações de Coxon ao tornar públicas suas preocupações.
Bill Gurley, investidor do Vale do Silício, sugeriu no X que os defensores de uma visão apocalíptica fossem questionados pela técnica dos cinco porquês. O método repete a mesma pergunta cinco vezes para buscar a origem de um problema e, segundo ele, poderia esclarecer as etapas que levariam ao desfecho previsto.
Uma estimativa atribuída à versão paga do ChatGPT calcula em 5% a chance de o avanço da AI provocar o fim da raça humana até 2050. O cenário considerado mais provável, com 50% de chances, combina grandes benefícios com desemprego, desigualdade, concentração de poder e crises políticas, mas mantém a humanidade no comando.
