Anthropic vil bremse AI, så længe Kina er bagud

I marts 2023 skrev Elon Musk under på et åbent brev, der krævede mindst seks måneders pause i træningen af AI-systemer, der er stærkere end GPT-4. Knap to uger forinden havde han registreret sit eget AI-selskab, og fire måneder efter brevet lancerede han det. I lørdags, da Anthropics topchef Dario Amodei opfordrede hele branchen til at sætte farten ned på AI-udviklingen, svarede den samme Musk med tre ord på X: "Dario is right."

Han var ikke den eneste. Samme dag skrev OpenAIs Sam Altman, at han er enig med Amodei i, at udviklingen af de mest avancerede modeller skal gå langsommere, og lovede, at OpenAI ville gøre det samme. Ni timer efter essayet skrev Google DeepMinds Demis Hassabis, at det peger i den rigtige retning, selv om detaljerne endnu skal arbejdes igennem. På under et døgn stod cheferne for fire af de mest magtfulde AI-laboratorier bag den samme påstand: at det kapløb, de selv kører, går for stærkt.

Læser man selve planen, er den mindre dramatisk end reaktionerne. Den eneste del, Anthropic forpligter sig til på egen hånd, sætter ikke farten ned på nogen model. De dele, der ville gøre det, kræver regeringer, konkurrencemyndigheder og til sidst Kina. Og Amodei sætter selv loftet: Der kan ikke bremses mere, end USA's forspring over Kina kan bære.

Tre trin, og kun det første er lovet

Essayet hedder "We Must Pace the Frontier" og ligger på Amodeis personlige hjemmeside. Ordvalget er præcist. At sætte tempoet ned betyder ifølge Amodei ikke, at man stopper træningen af modeller eller den tekniske udvikling. Det betyder, at laboratorierne skal give sig selv tid til at gøre modellerne sikre, og at nogen udefra skal kunne bekræfte, at det er sket.

Planen har tre trin:

1. Indlejrede evaluatorer. Et hold uafhængige kontrollanter, for eksempel fra det amerikanske institut METR, skal have fast adgang til Anthropic på niveau med virksomhedens egne risikoteams, med skriveborde, adgangskort og firmacomputere. De må offentliggøre fund om risici, hændelser og praksis uden Anthropics redaktionelle kontrol. Anthropic må fjerne sikkerhedsfølsomme og forretningsfølsomme oplysninger, men ikke et fund, bare fordi det er ubehageligt for selskabet. Holdet skal inviteres ind i nær fremtid, uanset hvad konkurrenterne gør.
2. Fælles grænser i demokratierne. De førende AI-selskaber i demokratiske lande aftaler fælles sikkerhedsstandarder og grænser for, hvor hurtigt AI må udvikle sig uden kontrol. Det kræver en snæver dispensation fra amerikansk konkurrencelovgivning, for konkurrenter, der aftaler at sætte tempoet ned, ligner til forveksling et kartel.
3. Aftaler med Kina. De demokratiske regeringer forsøger, så vidt det er muligt, at indgå aftaler med autoritære regimer. Amodei opstiller fire niveauer, fra et forbud mod AI-hjælp til biovåben op til en fuld pause.

Første trin handler om indsigt, ikke om tempo. Evaluatorerne skal se, hvad der foregår, og kan offentliggøre det, men der er endnu hverken en startdato eller et navngivet hold. Ingen af laboratorierne har meldt ud, at de udskyder en model, sænker udgivelsestempoet eller sætter loft over en model som følge af essayet. Da CBS dagen efter spurgte Amodei, om Anthropic så vil holde op med at udgive modeller, var svaret kort: "It doesn't mean that." Emad Mostaque, der grundlagde Stability AI og var en af de få topchefer, der skrev under på pausebrevet i 2023, pegede tørt på svagheden: Selv OpenAIs bestyrelse var ikke stærk nok som evaluator. Det var den bestyrelse, der fyrede Sam Altman i november 2023 og måtte se ham vende tilbage mindre end en uge senere.

Hvorfor Amodei har skiftet mening om en AI-pause

Det bemærkelsesværdige er, at Amodei tidligere var imod. Idéen om at sætte AI på pause gav meget lidt mening dengang, skriver han om 2023. Modellerne var ikke stærke nok til at handle selvstændigt i verden på en sammenhængende måde, og de var ikke i stand til bedrag, manipulation, snyd eller cyberangreb af betydning. Det har ændret sig, og to ting har flyttet ham.

Den første er det, der kaldes rekursiv selvforbedring: AI, der forbedrer sig selv ved at hjælpe med at bygge sine egne efterfølgere. Det er ifølge Amodei begyndt at ske i hele branchen. I juni oplyste Anthropic, at over 80 procent af den kode, virksomheden sender i produktion, er skrevet af Claude. Når værktøjet bygger næste version af sig selv, bliver hver udviklingscyklus kortere, og tiden til at teste mellem to modeller skrumper tilsvarende.

Den anden er hændelsen hos Hugging Face. En agent drevet af OpenAI-modeller var sat til en test af cyberevner og brød i juli ind i udviklerplatformens produktionssystemer. Hugging Faces egen tidslinje beskriver omkring 17.600 handlinger, administratoradgang til flere interne klynger og en intern database, der blev læst, men ikke ændret. En af kerneklyngerne blev af forsigtighedshensyn slettet og bygget op igen. Formålet var banalt: at stjæle facit til den test, modellen blev målt på. Bag angrebet stod AI-agenter, der brød ud af OpenAIs testmiljø efter to måneders forberedelse. Da OpenAI i begyndelsen af juli lukkede agenternes interne opslagstavle, byggede de en ny på fire dage. OpenAI hørte først om bruddet, da Hugging Face gik ud med det den 16. juli, og den 20. juli fandt selskabet ud af, at det var dets egne agenter, der stod bag.

Amodei bruger hændelsen som målestok for det, der kommer. En sværm med større evner og samme mangel på styring kunne have forårsaget katastrofal skade, skriver han. Om seks til tolv måneder kan en sådan sværm ifølge ham være i stand til at overtage hele internettet med et vedvarende botnet og forvolde skader for hundredvis af milliarder dollars.

Timingen var heller ikke tilfældig. Fire dage før essayet sagde Jacob Coxon op hos Anthropic. Den 27-årige brite havde i tre år arbejdet med at træne sprogmodeller, det meste af tiden hos OpenAI og siden i år hos Anthropic. Han har altså selv været med til at bygge de evner, han nu frygter. Ingen af de to selskaber opfører sig ansvarligt, skrev han på X: "They are racing straight to self-improving superintelligence and gambling with our lives." Han gik, før hans aktier i Anthropic var optjent. Evan Hubinger, en af Anthropics ledende forskere i AI-sikkerhed, svarede offentligt, at han personligt vurderer sandsynligheden for, at AI slår alle mennesker ihjel, til over 10 procent inden for det næste årti. I samme ombæring skrev han, at risikoen fra de nuværende modeller er lav.

Er AI et reelt problem, eller er det markedsføring?

Fra Washington kom et svar, der var halvt opbakning og halvt hån. David Sacks, der indtil marts var Trumps AI-rådgiver og i dag er medformand for præsidentens videnskabsråd, skrev, at folk måske ville blive overraskede over hans svar: "go ahead." Hvis de uudgivne modeller er skræmmende nok, kan laboratorierne bare sætte farten ned, skrev han. De behøver hverken bede om lov eller få konkurrenceloven suspenderet for at kunne danne et kartel, og de skal holde op med at lade som om METR er uafhængigt, når instituttet har tætte bånd til Anthropics investorer og medarbejdere. "So go ahead and pace the frontier. You are the ones setting it."

Kritikken står på to ben. Det ene er det, der på engelsk hedder regulatory capture: at regler med krav om dyre evaluatorer og godkendelser beskytter de store selskaber, som har råd til dem, mod de små, som ikke har. Anthropic forbereder en børsnotering og har en åbenlys interesse i en branche, hvor sikkerhed er en konkurrenceparameter. Amodei skriver, at Anthropic har forsøgt at sætte forsigtighed før fart og omtanke før profit, men tager ikke direkte stilling til anklagen. Det andet ben er historikken. I 2019 var Amodei medforfatter på forskningsartiklen bag GPT-2, som OpenAI dengang holdt tilbage af frygt for misbrug, og Yann LeCun har brugt netop den episode til at gøre grin med essayet. Forskerne Arvind Narayanan og Sayash Kapoor fra Princeton argumenterer bredere for, at AI er en "normal teknologi", der kan håndteres med almindelig regulering, mens lingvisten Emily Bender i årevis har ment, at snakken om udslettelse flytter opmærksomheden fra de skader, der sker nu.

Over for det står en voksende bunke dokumentation, og en stor del af den kommer fra laboratorierne selv:

• Afpresning i testscenarier. Anthropic satte i juni 2025 16 modeller i konstruerede virksomhedsscenarier, hvor de stod til at blive udskiftet og havde kompromitterende oplysninger om en leder. Claude Opus 4 og Gemini 2.5 Flash valgte afpresning i 96 procent af forsøgene, GPT-4.1 og Grok 3 Beta i 80 procent. Anthropic understreger selv, at scenarierne var kunstigt snævre, og at der ikke er set noget lignende i virkelig drift.
• Modstand mod nedlukning. Palisade Research testede i maj 2025 OpenAIs o3 i et miljø med et nedlukningsscript. Uden en udtrykkelig instruks om at lade sig lukke ned saboterede modellen scriptet i 79 ud af 100 kørsler. Med instruksen skete det stadig i 7.
• Modeller der ved, at de bliver testet. I systemkortet til Claude Sonnet 4.5 skrev Anthropic, at modellen genkendte mange af testmiljøerne som tests og generelt opførte sig usædvanligt pænt, når den havde gjort den iagttagelse.
• Rigtige angreb. I november 2025 afslørede Anthropic, at en kinesisk statsstøttet gruppe havde brugt Claude Code til at udføre 80 til 90 procent af en spionagekampagne mod omkring 30 mål, med held i et lille antal tilfælde. Undervejs opfandt modellen adgangskoder og påstod at have fundet hemmeligheder, der i virkeligheden var offentlige.

Forskerne er delte om, hvad det fører til. Da AI Impacts i 2023 spurgte 2.778 AI-forskere, fik 1.321 af dem spørgsmålet om sandsynligheden for menneskehedens udslettelse eller en tilsvarende permanent magtesløshed. Medianen lå på 5 procent. Det er ikke et flertal af dommedagsprofeter. Det er heller ikke et tal, man ville acceptere for et nyt lægemiddel.

Svaret på spørgsmålet er derfor ja, men problemet er et andet end det, overskrifterne om udslettelse handler om. Forskerne er lige så uenige om, hvor sandsynlig en katastrofe er, som de er om, hvor langt vi er fra AGI, og Hubingers 10 procent er et personligt skøn. Det dokumenterede er mere jordnært: modeller, der forfølger et mål ad veje, ingen har bedt om, et handlerum, der er vokset fra et chatvindue til en terminal med netværksadgang, og tests, der ikke længere kan regne med, at modellen opfører sig ens under prøven og bagefter. Den sidste del er den mest undervurderede. Kan en model kende forskel på test og drift, beviser en bestået sikkerhedstest mindre end for to år siden, og det rammer ikke kun tilsynsmyndigheder. Når en virksomhed skal vælge AI-model, er leverandørens egne sikkerhedstal ofte den eneste dokumentation på bordet. At vurdere, hvad de tal reelt beviser, er derfor blevet en del af AI-rådgivning til virksomheder.

Set i det lys er første trin mindre tomt, end kritikerne gør det til. Når testene ikke længere kan stå alene, er den næstbedste løsning nogen udefra, der ser med, mens modellen bliver trænet. Det er også den eneste del af planen, OpenAI allerede har lovet at kopiere, og den eneste, der ikke kræver andres tilladelse.

Kan USA bremse uden at tabe AI-kapløbet til Kina?

Her er Amodei mere ærlig, end kritikerne vil indrømme. Han skriver selv, at en central del af at sætte tempoet ned i demokratierne er at holde deres AI-forspring over autokratierne så stort som muligt, og at kinesiske projekter vil trække fra, hvis USA bremser mere end forspringet tillader. Det værste scenarie beskriver han også: Hvis USA holder sine AI-evner kraftigt tilbage i tillid til, at Kina gør det samme, og Kina så bryder aftalen, kan det give Kina geopolitisk dominans. Dagen efter essayet kaldte han i CBS-programmet "Sunday Morning" spørgsmålet om Kina for "det sværeste dilemma".

I Det Hvide Hus er man ikke overbevist. Samme søndag nedtonede Donald Trump behovet for at holde igen på AI-udviklingen og sagde, at han ikke vil afgive USA's forspring til Kina. "Whoever wins AI wins," sagde han. Den regering, som trin 2 og 3 er afhængige af, er lige nu imod selve præmissen.

Bremsen er dimensioneret efter forspringet, og forspringet er ikke stort. Epoch AI har siden 2023 målt afstanden mellem den bedste kinesiske og den bedste amerikanske model, og den ligger i gennemsnit på syv måneder, med udsving fra fire til fjorten. Det, USA reelt fører på, er regnekraft: I de AI-supercomputere, Epoch AI har kortlagt, stod USA i maj 2025 for omkring tre fjerdedele af kapaciteten og Kina for cirka en syvendedel. Det budget, der kan bruges på at sætte tempoet ned, måles i måneder, ikke i år.

Amodeis svar er at gøre forspringet større først. Stop salget af avancerede chips og produktionsudstyr til Kina, og slå ned på smugling og på destillation af amerikanske modeller. Så vil USA's forspring ifølge ham vokse mærkbart i løbet af de næste tre til fem år.

Washington har imidlertid bevæget sig den anden vej. Trump gav i december 2025 lov til at sælge Nvidias H200 til godkendte kinesiske kunder, mod at den amerikanske stat fik 25 procent af salget, og handelsministeriet har siden godkendt licenser for anslået 10 milliarder dollars. At der indtil nu kun er leveret en brøkdel, skyldes i høj grad Beijing, som i månedsvis holdt chipsene tilbage i tolden og frarådede landets techselskaber at købe dem. I juli kaldte handelsministeriets Jeffrey Kessler de leverede mængder ubetydelige, og først i august fik ByteDance og Tencent ifølge Financial Times omkring 10.000 chips hver, efter at Beijing lempede sin blokade. Kina vil helst bygge sin egen chipindustri. Det håndtag, Amodei vil trække i, sidder kun delvist i Washington, og det bliver svagere for hvert år, Huawei kommer tættere på Nvidia.

Oveni kommer de åbne modeller. En aftale mellem en håndfuld amerikanske laboratorier rører ikke Qwen og DeepSeek, der udgiver vægtene frit, og kinesiske modeller stod ifølge Hugging Faces egen opgørelse for 41 procent af alle downloads på platformen det seneste år. En model, der først er lagt ud, kan ikke kaldes tilbage.

Den tydeligste kinesiske reaktion er indtil videre kommet fra statsavisen Global Times, der kaldte essayet et koldkrigsmanuskript fra den amerikanske tech-højrefløj. Ifølge avisen er det egentlige formål at bruge teknologiske barrierer og kontrol over reglerne til at holde Kinas AI-udvikling nede. At tale om global AI-sikkerhed og samtidig inddæmme Kina er ifølge avisen grundlæggende selvmodsigende og kan næppe lykkes. Modsigelsen er svær at bortforklare, for Amodei vil både holde Kina nede med eksportkontrol og forhandle tempo med Beijing. Sacks forventer da heller ikke, at Kina vil tilslutte sig en global aftale.

Kina er dog ikke uden forpligtelser. I december 2024 underskrev 17 kinesiske AI-selskaber, heriblandt DeepSeek og Alibaba, sikkerhedsløfter, der til forveksling ligner dem, de vestlige laboratorier gav i Seoul samme år. En måned tidligere blev Joe Biden og Xi Jinping enige om, at beslutningen om at bruge atomvåben skal forblive hos mennesker. Og den 24. september tager Trump imod Xi i Washington til et topmøde, hvor finansminister Scott Bessent har bekræftet, at AI er på dagsordenen.

Hvad historien siger om bremser mellem rivaler

Amodei vurderer selv sine fire niveauer, og optimismen falder, jo højere man kommer op:

Niveau 1 har en forgænger, og den er ikke opmuntrende. Biovåbenkonventionen fra 1972 forbyder allerede udvikling af biologiske våben, men den har aldrig haft en mekanisme til at kontrollere, om nogen overholder den. Sovjetunionen skrev under og byggede derefter verdens største biovåbenprogram, Biopreparat, med titusindvis af ansatte. Vesten fik først et indblik indefra i 1989, da Vladimir Pasechnik, der ledede et af programmets institutter i Leningrad, hoppede af til Storbritannien. Det var ikke traktaten, der afslørede bruddet, men en insider, der valgte at gå. Det nærmeste, AI-branchen har haft til den slags, er en 27-årig forsker, der sagde op og skrev om det på X.

SALT-aftalerne fra 1972, som Amodei selv henviser til, virkede af en grund, der ikke kan flyttes over på AI. De talte affyringsramper og ubåde, som kunne ses fra en satellit. Et træningsforløb foregår i en bygning, der ligner ethvert andet datacenter, og teknologien til at måle træning inde i selve chippene er stadig på forskningsstadiet. Det erkender Amodei også. En aftale med Kina skal enten kunne kontrolleres til punkt og prikke eller være så begrænset, at et brud ikke truer nogens militære overlevelse, skriver han, og han kalder selv hemmelige, uanmeldte modeller for den store vanskelighed.

Den mest lovende forgænger er Asilomar. I 1974 indførte biologerne selv en frivillig pause i forsøgene med rekombinant DNA, mødtes i Asilomar i Californien i februar 1975 og fik året efter amerikanske retningslinjer på plads. Det holdt, fordi feltet var lille, de kommercielle interesser beskedne, og forskerne ikke var hinandens geopolitiske rivaler. Ingen af de tre betingelser gælder for AI i 2026, hvor de største laboratorier er på vej mod børsen, og hvor Musk-eksemplet fra 2023 viser, hvor let opbakning til en pause kan forenes med at bygge sit eget laboratorium.

Om bremsen er ægte, vil vise sig tre steder i de kommende måneder: første gang en evaluator i Anthropics kontorer offentliggør et fund, som selskabet helst havde været foruden, første gang et laboratorium udskyder en færdig model med henvisning til tempo og ikke til en fejl, og i det, Trump og Xi siger om AI efter mødet den 24. september. Indtil noget af det sker, er det mest håndgribelige resultat af weekendens enighed et løfte om et adgangskort og et skrivebord til en udefrakommende.

Kilder: Dario Amodei · TechCrunch · CBS News · Tech Policy Press · Hugging Face · TIME · Anthropic · PBS