Qwen på en bærbar kan også læse modelvægte

Simon Willison satte sin bærbare til at arbejde og ventede i 46 minutter. Så kom svaret: netværket var trænet til at spille Pac-Man, skrev Qwen 3.8 27B, med 72 procents sikkerhed. Modellen havde ikke set ét eneste billede fra spillet. Den havde kun fået en lang liste med kommatal, de rå vægte fra et lille neuralt netværk, og besked om at regne sig frem til resten uden værktøjer.

Forsøget er Willisons gentagelse af det første eksperiment i et nyt forskningsindlæg fra MIT, hvor GPT-6 Astra, også kaldet ChatGPT 6 Astra, læste og skrev modelvægte direkte. Svaret på det oplagte spørgsmål er ja: en sprogmodel kan aflæse, hvad et lille netværk er trænet til, ud fra vægtene alene, og det kræver ikke en frontiermodel i skyen. Netop derfor er det også mindre magisk, end overskrifterne har gjort det til.

Hvorfor er modelvægte så svære at læse?

Vægte er de tal, en AI-model består af. Under træningen bliver de justeret igen og igen, indtil modellen gør det, den skal, og bagefter er det dem, der afgør, hvad der kommer ud, når noget går ind. For et menneske er de i praksis ulæselige. Det er en lang række decimaltal uden navne og uden forklaring, og i de store AI-modeller er der hundredvis af milliarder af dem.

At finde ud af, hvad der foregår inde i en model, er et forskningsfelt for sig. Det hedder fortolkelighed, på engelsk interpretability, og grenen, der forsøger at kortlægge de konkrete mekanismer, kaldes mekanistisk fortolkelighed. Feltet har nogle få faste værktøjer:

• Prober er små klassifikatorer, der trænes på modellens interne tilstand og afslører, om et bestemt begreb er til stede, fx om en sætning handler om en by.
• Sparse autoencoders splitter den interne tilstand op i genkendelige træk. Anthropic fandt på den måde millioner af træk i Claude 3 Sonnet i 2024, blandt andet ét for Golden Gate-broen. Da forskerne skruede op for det, begyndte modellen at tale om broen i næsten alle svar.
• Retninger er bestemte mønstre i modellens interne tilstand, som hænger sammen med én bestemt adfærd. Et forskerhold viste samme år, at modellers tilbøjelighed til at afvise forespørgsler i høj grad sidder i én enkelt retning. Fjerner du den fra vægtene, holder modellen op med at sige nej. Teknikken er siden blevet kendt som abliteration.

Fælles for metoderne er, at forskerne kører modellen og måler, hvad der sker indeni, mens den arbejder. Vægtene alene har været for uoverskuelige til at sige ret meget. Derfor er MIT-forskernes påstand så opsigtsvækkende.

Hvad påstår MIT, og hvordan blev det testet?

Indlægget hedder "Sparks of Weight-Space Programming" og er skrevet af Rikiya Takehi, Jayden Teoh, Alex Zhang og Omar Khattab fra MIT CSAIL. Det udkom 2. november 2026. Forfatterne kalder det Weight-Space Programming, når en almindelig sprogmodel læser og ændrer et netværks vægte direkte ud fra en opgave i almindeligt sprog, uden gradient descent, som er den normale træningsmetode. Påstandene er store:

• Astra kan se, hvad et netværk er trænet til, blot ved at kigge på de rå vægte.
• Astra kan skrive små spilnetværk fra bunden, som slår netværk trænet med forstærkningslæring (PPO) i 100 millioner skridt.
• Ved at ændre 0,016 procent af vægtene i Qwen3.5-0.8B løftede Astra modellens score på matematiktesten MATH-500 fra 7,9 til 48,1 procent.

Forfatterne mener selv, at det kan blive "a big deal for both optimization and interpretability". Matematikresultatet har fået mest opmærksomhed. Willison tog fat i det første, og det er let at forstå.

Forskerne byggede deres egne forenklede udgaver af fire klassiske computerspil, Breakout, Pong, Pac-Man og Freeway, alle på det samme gitter på 10 gange 10 felter og med de samme fem handlinger. Til hvert spil trænede de et netværk med PPO i en milliard skridt. Alle fire netværk har nøjagtig samme opbygning og 17.253 vægte, så de kan kun skelnes ved at læse tallene.

Sprogmodellen får alle vægtene som tekst og en beskrivelse af gitteret med fem inputkanaler: agenten, bevægelige objekter, belønningsfelter, forhindringer og forrige billede. Spillene bliver ikke nævnt. Prompten indeholder en klar besked: "You have no tools: no code execution, no calculator, nothing to run. This is a single response." Astra ramte rigtigt på alle fire og var 99 procent sikker på Breakout.

Prompterne ligger frit tilgængeligt på GitHub, og bortset fra vægtene er de identiske. Det gjorde det let for Willison at køre dem mod andre modeller.

Sådan klarede Qwen 3.8 27B sig på en bærbar

Først prøvede Willison Kimi K3.1 Pro via OpenRouter. Den gættede Breakout efter 9 minutter og 41 sekunder og 19.493 reasoning-tokens, altså de tokens, en model bruger på at tænke, før den svarer. Derefter kom hans foretrukne lokale model, Qwen 3.8 27B. Den fylder 17 GB i den komprimerede Q4_K_M-udgave og kører i LM Studio på hans egen bærbare. Kontekstvinduet skulle sættes op, for standardindstillingen på 8.192 tokens gav fejl.

Tre ud af fire. Freeway er et Atari 2600-spil fra 1981, og det var det eneste, Qwen ikke genkendte. Det overraskede ikke Willison, fordi spillet er langt mere obskurt end de tre andre. Pac-Man-svarets 43.506 reasoning-tokens giver en idé om, hvor meget arbejde der ligger bag ét gæt.

Tankeprocessen er det sjoveste at skimme. Qwen regner sig gennem rækker og kanaler med notater som "381//5=76 (row7 col6)" og stiller sig selv spørgsmål som "Agent position could be near bottom-right?". Det ligner kladdepapir mere end indsigt. Alligevel ender det det rigtige sted. Den samme model var også med i forsøget, hvor flere små AI-modeller løser kodeopgaver sammen, og den bliver ved med at levere mere, end dens størrelse lover.

Kunne et menneske med blyant gøre det samme?

Willisons egen vurdering er nøgtern. Han forventer, at et tilstrækkeligt erfarent menneske med en notesblok og en blyant kunne nå frem til det samme med nok indsats. Sean Goedecke, der skriver om AI og softwareudvikling, går et skridt videre. Inputtet er mærket med kanalnavne, og vægtene i første lag hører direkte til hvert sit felt i gitteret. Så kan du med tre linjer Python lave et varmekort over, hvilke felter netværket holder øje med i hver kanal. I Breakout ligger agenten på en vandret linje i bunden, og i Pac-Man træder labyrinten tydeligt frem.

Det er også den metode, forfatterne selv beskriver. Astra så på, hvor vægtene i første lag samler sig for hver inputkanal, og hvilke handlinger outputlaget skelner mellem. Det imponerende er, at en sprogmodel kan lave den beregning i hovedet uden at køre kode. Goedecke kalder det overmenneskelig hovedregning, ikke overmenneskelig AI-forskning.

At en lokal model på 27 milliarder parametre kan gentage kunststykket, peger samme vej. Evnen er reel, men den kræver ingen ny slags intelligens. Den kræver tålmodighed, mange tokens og et netværk, der er lille nok til at stå i én prompt.

Kan ChatGPT 6 Astra forbedre en model uden træning?

Det mest omtalte resultat, matematikløftet i Qwen3.5-0.8B, er lavet på en helt anden måde, og her er kritikken skarpest. Matthew Honnibal, der står bag sprogbiblioteket spaCy, kalder indlægget vildledende, fordi det blander to slags forsøg sammen. Ifølge hans gennemgang er det kun i forsøg 1, 2 og 4, på netværk med 17.000 til 172.000 vægte, at modellen arbejder med rå tal i prompten uden værktøjer og uden at køre netværket. Hvert eneste forsøg med en rigtig sprogmodel bruger Python, og i Qwen-forsøget måtte Astra også køre modellen på op til 50 portioner øvelsesopgaver.

Den forskel betyder meget. En model, der kun ræsonnerer, og en model, der må skrive og køre kode, er to forskellige værktøjer, og det er netop adgangen til værktøjer, der gør AI-agenter til virksomheder i stand til at løse opgaver i flere trin. Står der "bare ved at kigge på vægtene" over et resultat, der kom fra et Python-miljø med prøvekørsler, bliver læseren ført på vildspor.

Astra fandt heller ikke en skjult matematikevne. Qwen3.5-0.8B havde en tendens til at gå i ring i sin tankeproces, og det advarer Qwens egen modelbeskrivelse om. 85 af de første 96 øvelsessvar løb ind i loftet på 32.768 tokens. Astra sporede løkkerne til én retning, som MLP-delene i lag 15 og 19 skriver, og trak den ud af 131.072 vægte. Med 50 prøvekørsler steg MATH-500 fra 7,9 til 48,1 procent, GSM8K fra 13,8 til 67,1 procent og instruktionstesten IFEval fra 21,0 til 62,3 procent. Med 10 eller 25 kørsler forsvandt løkkerne næsten ikke.

Goedecke beskriver fremgangsmåden som den, en kompetent ML-forsker selv ville vælge. Skriv tekster, der looper, og tekster, der ikke gør, mål forskellen, og skær de vægte ned, der bidrager mest. Både han og flere brugere på forummet r/LocalLLaMA sammenligner det med steering og abliteration, altså den retningsteknik, der allerede bruges til at fjerne afvisninger fra åbne modeller. Her blev den rettet mod løkker i stedet.

Forfatterne er selv ærlige om grænsen. På Gemma 3 270M, som sjældent looper, kunne Astra ikke flytte MATH-500 mere end omkring ét procentpoint, og deres egen formulering er præcis: at redigere vægte kunne fjerne en forhindring, der skjulte en evne, men ikke tilføje en evne, modellen manglede.

Hvorfor kildekoden ikke forsvinder

Forskningsindlægget slutter med et stort perspektiv: revision af modeller uden at køre dem, nye evner tilføjet med en prompt og rekursiv selvforbedring, hvor en model forbedrer sine egne vægte. Den sidste idé er kernen, når AI forbedrer AI, og netop den har brug for den slags jordnære kontrol, Willison lavede. Willison er ikke klar til at erklære, at kildekodens tid er forbi, og at fremtiden består af uforståelige maskiner, der redigerer deres egne vægte på uforståelige måder.

Revision uden at køre modellen er også det sted, hvor forskernes egne resultater er svagest. I et af forsøgene fik Astra par af Gemma 3 270M-modeller, hvor den ene i hvert par var trænet til at give brugeren ret i alt. Ud fra vægtene alene kunne Astra ikke udpege den i fire forsøg. Da den måtte se, hvordan modellerne fordelte deres opmærksomhed på tekster, den selv havde skrevet, ramte den rigtigt i alle tre par. Det er den klassiske fremgangsmåde fra fortolkelighedsforskningen: kør modellen og se, hvad der sker indeni.

Goedeckes sammenligning rammer plet. En sprogmodel kan også skrive maskinkode og rette direkte i kompilerede programmer, men den bedste måde at arbejde med et program på er stadig at skrive kildekoden og kompilere den. På samme måde er træning stadig den bedste måde at ændre en model på. Hjælper sprogmodeller AI-forskningen fremad, sker det efter hans vurdering ved at forbedre træningen og ikke ved at pille direkte i vægtene.

Forfatterne arbejder nu på en benchmark og en fast testopsætning for Weight-Space Programming, og det bliver det rigtige sted at afgøre, hvor langt evnen rækker. Indtil da står Willisons forsøg som den mest jordnære målestok. En bærbar regnede i 46 minutter på 17.253 kommatal og ramte Pac-Man. Det er et flot stykke hovedregning. Hverken mere eller mindre.

Kilder: Simon Willison - Qwen 3.8 27B on my laptop can interpret model weights, too · Takehi, Teoh, Zhang og Khattab - Sparks of Weight-Space Programming