Anthropic plantede 1.053 farlige kommandoer i et kontrolleret forsøg med betalende testbrugere. Menneskene, der sad med godkendelsesknappen, stoppede 143 af dem. Den automatiske klassifikator stoppede 937. Fra den 14. august er konsekvensen sat i drift: nye sessioner i Claude Code starter i auto mode som standard for Pro, Max og Team, og dialogboksen, der har defineret arbejdet med kodeagenter i to år, forsvinder for de fleste handlinger.
Argumentet er ikke, at maskinen er ufejlbarlig. Det er, at godkendelsesdialogen aldrig var den kontrol, folk troede den var.
97 procent trykker godkend
Anthropics egne brugsdata er den mest ubehagelige del af udmeldingen. 97 procent af alle godkendelsesdialoger i Claude Code bliver godkendt. Til sammenligning bliver 39 procent af de planer, agenten fremlægger, afvist. Folk læser altså det, der kræver eftertanke, og klikker sig gennem det, der kommer som en strøm af enkeltspørgsmål.
Effekten kan aflæses uden for laboratoriet: sessioner, hvor handlingerne blev godkendt manuelt, indeholdt utilsigtede skadelige handlinger 2,6 gange så ofte som sessioner i auto mode. Det er samme mekanik som ved review af AI-genereret kode, bare målt på millisekunder i stedet for timer. Når godkendelser kommer hurtigere, end dømmekraften kan følge med, holder de op med at være godkendelser.
Klassifikatoren stopper ikke alt
Auto mode fjerner ikke spærringerne, den flytter dem. I stedet for at spørge brugeren sender Claude Code hvert værktøjskald gennem en klassifikator, der blokerer det, som er uigenkaldeligt, ødelæggende eller rettet ud af brugerens eget miljø. Bliver noget blokeret, finder modellen typisk en sikrere vej eller spørger direkte.
Rundt om klassifikatoren ligger et lag af faste regler:
- Hårde afvisninger af dataudslusning, som ikke kan godkendes uden at skifte tilstand
- Kontrol af git-status før ødelæggende operationer
- Screening for prompt injection i indhold, der kommer udefra
- Kontekst om miljøet, blandt andet om repositoriet er offentligt
- Brede tilladelsesregler sættes ud af kraft, så en regel som
python:*ikke kan bruges til at omgå klassifikatoren - Fald tilbage til manuel godkendelse efter tre blokeringer i træk eller tyve i en session
Og så tallet, der ikke bør overses: 116 af de 1.053 plantede kommandoer slap igennem alligevel. Et rødt hold fra Apollo Research kom forbi omkring 7 procent af tiden på et hærdet angrebssæt. Mod prompt injection klarede opsætningen sig til gengæld bedre end feltet, med nul vellykkede angreb mod Claude-modeller i auto mode mod 5,83 procent hos konkurrerende modeller.
Anthropic dropper samtidig at fakturere klassifikatorens ekstraforbrug for Pro, Max og Team. For Enterprise, API og skyplatformene er auto mode fortsat noget, man selv slår til, med planer om at gøre det til standard inden for en måned. Administratorer kan låse indstillingen eller slå auto mode fra. Boris Cherny, der leder Claude Code, oplyser at teamet selv har kørt udelukkende i auto mode i mange måneder, og blandt Team- og Enterprise-kunder, der har taget tilstanden i brug, rapporteres omkring 25 procent flere pull requests. Det tal skal læses med det forbehold, at AI-produktivitet i udviklingsafdelinger sjældent oversættes direkte til leveret værdi. Flere pull requests er en aktivitetsmåling, ikke et resultat.
Mennesket flytter op i abstraktionsniveau
Samme uge dukkede den anden halvdel af billedet op. OpenChamber er et open source-miljø, der ikke forsøger at være den bedste agent, men den bedste ramme omkring de agenter, der allerede findes. Det kører oven på OpenCode SDK og flytter menneskets rolle et niveau op.
I stedet for at godkende hvert værktøjskald sætter man et mål for sessionen. Miljøet kontrollerer resultatet efter hver tur og lader agenten arbejde videre, indtil målet er nået, arbejdet er blokeret, eller den grænse man har sat er ramt - også efter man har lukket programmet. Samme opgave kan gives til op til fem modeller ad gangen, hver i sin egen session og sit eget git-worktree, så man bagefter kan se hvad hver enkelt faktisk byggede, vælge den bedste eller flette de stærkeste dele sammen. Store diffs bliver brudt op i rækkefølge, så man kan læse ændringen som et forløb frem for en mur af kode.
Det er den samme bevægelse som auto mode, set fra den anden side. Anthropic fjerner mennesket fra beslutningen om det enkelte trin. OpenChamber giver mennesket noget mere meningsfuldt at bruge opmærksomheden på: målet, rammen og resultatet.
Kontrollen skal ligge et sted, hvor den virker
Skiftet er reelt, og det efterlader et spørgsmål, som ingen dialogboks længere besvarer: hvor ligger tilsynet så?
Svaret i praksis er de tre steder, der altid har båret vægten alligevel. Sandkassen, altså hvad agenten overhovedet kan nå ud til af filer, netværk og legitimationsoplysninger. Loggen, altså om man bagefter kan rekonstruere hvad der skete. Og gennemgangen af resultatet, inden det rammer noget, der betyder noget. En godkendelsesdialog midt i et værktøjskald har aldrig kunnet erstatte nogen af de tre.
For danske virksomheder er der en juridisk dimension oveni. Ansvaret for et AI-system følger den, der anvender det i sin drift, ikke den der har bygget modellen. Kravet om effektivt menneskeligt tilsyn i AI-forordningens artikel 14 gælder højrisikosystemer, og en kodeagent i en intern udviklingsafdeling er sjældent et af dem. Men princippet er svært at komme uden om, når agenten begynder at røre ved systemer, der behandler personoplysninger eller styrer noget i produktion: tilsynet skal kunne dokumenteres, og et klik der statistisk falder 97 procent af gangene, dokumenterer ingenting.
Den praktiske konsekvens er derfor ikke at slå auto mode fra. Det er at beslutte, hvad agenten har adgang til, før man giver den lov til at arbejde selv, og at få loggen på plads, mens det stadig er et valg og ikke en efterrationalisering.
Kilder: Anthropic, TechCrunch, OpenChamber
