Um sistema que documenta um risco, mas não pode interromper a atividade que o cria não está governando. Está registrando.
English version below.
Na terça, Evan Hubinger, que lidera o alinhamento na Anthropic, escreveu que ele e os colegas realmente acreditam que a IA pode matar todos os humanos, e estimou essa probabilidade acima de 10% até o fim da década. Delimitou o alcance: considera baixo o risco dos modelos atuais, e o que o preocupa é a superinteligência surgindo de autoaperfeiçoamento recursivo. Ele respondia a Jacob Coxon, que trabalhou na OpenAI e na Anthropic e pediu demissão dizendo que os laboratórios estão, nas palavras dele, apostando com a vida de todos. Hoje o caso já estava no boletim de mercado da Reuters.
Uma estimativa dessas é convicção, não medição, e pode errar por uma ordem de grandeza. Ainda assim, quem trabalha com governança não pode esperar que o número se estabilize, porque decidir sem certeza é o próprio trabalho.
Em julho, 1.386 funcionários de laboratórios de fronteira assinaram a declaração “Pacing the Frontier”, entre eles Dario Amodei, CEO da Anthropic, e Jakub Pachocki, cientista-chefe da OpenAI. Ela reconhece que cada empresa e cada país sofre pressão competitiva intensa para não desacelerar unilateralmente, e pede que o governo americano apoie um esforço internacional para criar instrumentos que pautem esse avanço.
Como documento de governança, aquilo é incômodo. Quem pode desacelerar o próprio laboratório avisa que não consegue fazê-lo sozinho, e pede um mecanismo externo que ainda não existe.
A comparação com aviação e medicamentos falha de um jeito útil. Nos dois existe licenciamento prévio e um regulador que pode recusar. Em IA de fronteira não há esse portão em nenhuma jurisdição, e o AI Act europeu, que mais se aproxima, não exige autorização prévia para modelos de propósito geral. A peça que falta está fora das empresas: uma autoridade com poder de recusa. Disposição interna não resolve, e os signatários dizem isso.
O problema não fica restrito à fronteira. Quem precisa de governança de IA em geral não treina modelos, compra de fornecedores, e ali o defeito reaparece de forma prosaica. O risco é identificado, a avaliação é arquivada, a matriz é atualizada, e ninguém no processo tem competência formal para recusar a implantação. Política, comitê e registro de risco servem para muita coisa. Nenhum deles é governança se não puder produzir a resposta não.
O teste é curto, e eu o aplico inclusive às estruturas que desenho. Onde a governança existe de fato, quem pode recusar uma implantação tem nome. O momento em que recusar ainda sai barato, antes da contratação e não depois da integração, está definido. A evidência que obriga a recusar foi descrita de antemão. Está registrado o que acontece quando a pressão comercial encontra a recusa, porque sem isso ela não se sustenta.
Sem isso, o que a organização tem é um registro do risco, e registro não interrompe nada.
· · ·
A system that can document a risk but cannot interrupt the activity creating it is not governing. It is recording.
On Tuesday, Evan Hubinger, who leads alignment at Anthropic, wrote that he and his colleagues earnestly believe AI could kill all humans, and put that probability above 10% by the end of the decade. He qualified the scope: he considers present models low risk, and what worries him is superintelligence arising from recursive self-improvement. He was replying to Jacob Coxon, who worked at OpenAI and Anthropic and resigned saying the labs are, in his words, gambling with our lives. Within a day the story had reached Reuters’ daily market podcast.
An estimate like that is conviction, not measurement, and it may be wrong by an order of magnitude. Even so, nobody working in governance can wait for the number to settle, because deciding without certainty is the work itself.
In July, 1,386 employees of frontier labs signed a statement titled “Pacing the Frontier”, among them Dario Amodei, Anthropic’s CEO, and Jakub Pachocki, OpenAI’s chief scientist. It acknowledges that every company and every country is under intense competitive pressure not to slow down unilaterally, and asks the US government to back an international effort to build tools to pace that advance.
Read as a governance document, that is uncomfortable. The people who can slow their own lab down are saying they cannot do it alone, and asking for an external mechanism that does not yet exist.
The comparison with aviation and pharmaceuticals fails usefully. Both have prior licensing and a regulator that can refuse. Frontier AI has no such gate in any jurisdiction, and the European AI Act, which comes closest, does not require prior authorisation for general-purpose models. The missing piece sits outside the companies: an authority that can refuse. Internal willingness does not solve it, and the signatories say so themselves.
The problem is not confined to the frontier. Organisations that need AI governance mostly do not train models, they buy from vendors, and the same defect turns up there in a more mundane form. The risk is identified, the assessment is filed, the register is updated, and nobody in the process holds formal power to refuse the deployment. Policies, committees and risk registers are useful for plenty of things. None of them is governance if it cannot produce the answer no.
The test is short, and I apply it to the frameworks I design. Where governance genuinely exists, the person who can refuse a deployment has a name. The point at which refusing is still cheap, before procurement rather than after integration, is defined. The evidence that compels a refusal is described in advance. It is on record what happens when commercial pressure meets that refusal, because without it the refusal will not hold.
Without that, what the organisation has is a record of the risk, and a record interrupts nothing.
· · ·
Fontes
As declarações de Evan Hubinger e de Jacob Coxon estão na reportagem de Siladitya Ray, Forbes, 9 de setembro de 2026: https://www.forbes.com/sites/siladityaray/2026/09/09/anthropic-alignment-lead-warns-ai-could-kill-all-humans-as-researcher-quits/
A declaração “Pacing the Frontier”, de julho de 2026, com os 1.386 signatários e o texto integral: https://www.pacingthefrontier.com/
O episódio “AI and the Apocalypse”, Reuters Morning Bid, 10 de setembro de 2026: https://www.reuters.com/podcasts/reuters-morning-bid/ai-apocalypse-2026-09-10/
O AI Act é o Regulamento (UE) 2024/1689: https://eur-lex.europa.eu/legal-content/PT/TXT/?uri=CELEX%3A32024R1689
A saída de Jacob Coxon foi noticiada primeiro pelo Wall Street Journal, conforme a Forbes. Do episódio da Reuters foi usada a descrição publicada, não o áudio.
Comments are closed