Skyen kan køre AI uden at se dine data

De fleste virksomheder har allerede en sprogmodel til mails og referater. Det næste, mange vil, er at lade den læse det, der aldrig må forlade huset: patientjournaler, kundekonti, kildekode. Det er her, AI-entusiasmen rammer virkeligheden. Enten sender du dataene til en model i skyen, eller også skal modelbyggeren parkere sine vægte på din hardware. Begge dele kræver en tillid, som de fleste regulerede virksomheder ikke kan give.

The New Stack har i dag en artikel om det, branchen kalder confidential AI, eller fortrolig AI: at lade modellen og de hemmelige data mødes, uden at nogen af parterne afleverer kontrollen. Anledningen er et produkt fra VAST Data, og artiklen er sponsoreret af dem. Selve problemet er ældre end produktet, og det er det, der er værd at forstå.

Dataene tør du ikke sende. Vægtene tør de ikke sende.

At lade en kundeservice-agent slå op i en kundekonto for at give et personligt svar er et klassisk sted for AI-automatisering. For at svaret skal være brugbart, skal modellen se profilen. For at det skal være forsvarligt, må den samme profil ikke dukke op hos den næste kunde, i et træningssæt eller i en log hos en underleverandør. Konsekvensen af en fejl lander hos jer, ikke hos modelbyggeren.

Alon Horev, teknisk chef og medstifter af VAST Data, siger det ligeud til The New Stack: selv hvis du beder modellen sløre en samtale eller fjerne personoplysninger, er det svært at have hundrede procents tillid til, at det faktisk skete. Redigering i prompten er et løfte. Det er ikke et bevis.

Den anden part i ligningen er modelbyggeren. Vægtene, altså de tal der udgør selve modellen, er resultatet af et forsknings- og ingeniørarbejde, der koster milliarder. De vil gerne sælge adgang. De vil ikke lægge filen på en kundes server, hvor en administrator, en angriber eller en underleverandør kan kopiere den. Derfor lander de bedste modeller typisk som en tjeneste i skyen. Det er den nemmeste måde at beskytte dem på.

Resultatet er et dødvande. Virksomheden vil ikke sende dataene hen til modellen. Modelbyggeren vil ikke sende modellen hen til dataene. De applikationer, der har brug for begge dele, bliver aldrig bygget. Mange ender i en hybrid, hvor noget må gå i skyen, og resten bliver i huset, i landet eller i et air-gappet netværk. Fortrolig AI er et bud på at gøre den sidste bunke tilgængelig alligevel.

Fortrolig AI krypterer også mens modellen tænker

Data findes i tre tilstande, og indtil for nylig var det kun de to første, man reelt kunne kryptere.

Fortrolig computing, på engelsk confidential computing, lukker det tredje hul. Processoren laver et isoleret rum, en enklave, hvor data og kode kun findes i klartekst inde i beskyttet hukommelse. Operativsystemet, hypervisoren og den administrator, der passer maskinen, kan ikke læse med. Intel kalder sin variant TDX, AMD kalder sin SEV-SNP, og branchen samler det under betegnelsen betroet kørselsmiljø, TEE.

Til almindelige serverprogrammer har det virket i årevis. Til AI slår CPU-enklaverne ikke til. Når en sprogmodel svarer, ligger vægtene, prompten og alle mellemregningerne i grafikkortets hukommelse, ukrypteret. En enklave omkring processoren dækker ikke GPU'en.

Derfor har Nvidia udvidet enkaven ind i grafikkortet. Confidential Computing på Hopper, Blackwell og den nyere Rubin-generation krypterer GPU-hukommelsen og overførslen mellem CPU og GPU. På de nyeste kort bliver også forbindelsen mellem flere GPU'er, NVLink, en del af den beskyttede grænse. Azure tilbyder fortrolige virtuelle maskiner med H100-kort, Google Cloud det samme. AWS har Nitro Enclaves, som isolerer CPU-arbejde, men ikke den samme GPU-historie.

Isolationen er kun den ene halvdel. Den anden hedder attestering. Før nøglerne bliver sluppet løs, underskriver hardwaren en erklæring om, hvad der kører: firmware, software, konfiguration, og hvilke restriktioner værten har. Modtageren, typisk modelbyggerens egen attesteringsserver, tjekker erklæringen mod en politik. Matcher den ikke, kommer der ingen nøgler, og den krypterede modelcontainer kan slet ikke starte. Det er forskellen på et løfte i en databehandleraftale og et bevis, hardwaren selv har underskrevet.

To nøgler, og operatøren har ingen af dem

Arkitekturen, VAST og de andre i feltet bygger på, splitter kontrollen. Virksomheden beholder nøglerne til sine data. Modelbyggeren beholder nøglerne til sine vægte. Den, der driver hardwaren, har ingen af delene, mens kørslen er i gang.

I VASTs eget eksempel vil en bank analysere mistænkelige konti med en proprietær frontiermodel. Modellen ankommer som et krypteret program. Når banken starter den, kører en fortrolig virtuel maskine op uden nøgler. Den beder CPU og GPU om en underskrevet erklæring, sender den ud til modelbyggerens attesteringsserver og får nøglerne tilbage, pakket så kun netop den maskines hukommelse kan åbne dem. Banken ejer serverne. Bankens administratorer ser aldrig de dekrypterede vægte. Modelbyggeren behøver aldrig en vej ind i bankens netværk, fordi maskinen selv ringer ud.

Hvilke af bankens data modellen overhovedet ser, beslutter banken et andet sted. En søgning samler de relevante uddrag, lægger dem i en prompt og sender kun den prompt ind i enkaven. Modellen ser altså ikke hele kundedatabasen. Den ser det, I selv har valgt at putte i prompten.

Den sidste række er værd at dvæle ved. Fortrolig AI giver fortrolighed og integritet, ikke tilgængelighed. Den, der ejer strømmen og racket, kan nægte at køre den. Og enkaven styrer, hvad der kører indenfor. Den styrer ikke, hvad programmet selv sender ud af sit API. Puttes der for meget i prompten, eller logger applikationen for sløset, hjælper hardwaren ikke.

Attesteringen sker ved hver start, også når der skaleres med en ny kopi, og igen hver gang der skal bruges en ny nøgle. Udløber licensen, kan modelbyggeren inddrage adgangen på sin egen server uden at involvere bankens drift. VAST bruger IETF's arkitektur for fjernattestering og er kompatibel med CNCF Confidential Containers, så man i princippet kan køre attesteringen på en tjeneste, man allerede har.

DataEnclave er ét bud, ikke det eneste

VAST DataEnclave blev lanceret 22. september som en del af firmaets AI-styresystem. Ambitionen er at gøre enkaven til noget, man kan sætte i drift: model, applikation og dataplatform under kundens egne nøgler, i datacenter, i en suveræn sky eller air-gappet. Nvidia Confidential Computing er i tredje generation, og VAST lægger attestering og nøgler ovenpå, så GPU-isolationen også dækker dataene, ikke kun selve kørslen.

Omkring lanceringen står modelbyggere som Cohere, Deepgram, Factory, Fundamental og TwelveLabs, plus CrowdStrike, Fortanix, Nscale, Cisco og Supermicro. Cohere siger, at kunderne beder om AI, der er krypteret hele vejen, også mens den svarer, og at modellerne skal kunne køre dér, hvor dataene allerede ligger. Factory, der bygger kodeagenter, peger på kildekode som et af de mest følsomme aktiver, en virksomhed har, og på at agenterne derfor skal kunne køre inden for kundens eget netværk. Det er samme logik som bag lokale AI-kodeagenter, bare med en proprietær model i stedet for en, I selv hoster.

Azure, Google Cloud og Fortanix sælger allerede brikker af det samme. Confidential Computing Consortium, hvor blandt andre Intel, Google, Microsoft, Meta og Red Hat sidder, forsøger at gøre enklaverne portable på tværs af hardware. VAST er altså ikke opfindelsen af fortrolig AI. Det er et bud på at samle modeller, data og attestering, så en bank ikke selv skal forhandle en enklave med hver eneste modelbygger.

Den anden vej ud af dødvandet er stadig at køre en åben model selv. Så ejer I vægtene, og dataene forlader aldrig huset. I mister til gengæld den proprietære models kvalitet, og I arver hele driftsopgaven. Det er præcis dér, Ollama rækker ikke, når hele firmaet vil med. Fortrolig AI er svaret, når I vil have begge dele: en model, I ikke må kopiere, og data, I ikke må sende.

Enklaven ser stadig det, du putter i prompten

Hardware-isolationen løser det tosidede tillidsproblem. Den løser ikke resten.

Prompten er stadig klartekst inde i enkaven. Lægger I et CPR-nummer, en hel journal eller en fuld kundedatabase ind, ser modellen det. Det er meningen. Det betyder også, at adgangsstyring, maskering og den gamle regel om ikke at sende mere end nødvendigt stadig er jeres. GDPR forsvinder ikke, fordi hukommelsen er krypteret. En enklave på en amerikansk sky er stadig en overførsel, hvis databehandleren er det. Det er et teknisk værn, ikke et juridisk.

Agenter gør presset større. De skal bruge flere systemer, flere værktøjer og færre mennesker i løkken. Horev siger, at den agentiske verden bevæger sig ekstremt hurtigt, og at man skal begrænse, hvad en agent kan se og gøre. Enklaver kan holde data og vægte skjult for operatøren. De kan ikke selv afgøre, om agenten må sende en mail, rette i et sagsforløb eller slå op i den forkerte tabel. Det kræver identitet, en isoleret sandkasse og logning af, hvad agenten rørte ved, uden at loggen selv bliver et læk.

Der er også en omkostningsvinkel. En hosted model gør budgettet til et spørgsmål om tokens, og regningen vokser, når agenter kører i ring. Egne GPU-klynger giver et loft: I kan se, hvor meget hardwaren kan nå, og I betaler ikke per tankeløst kald. Det gør ikke AI billigere automatisk. Det gør regningen synlig.

Indtil nu er tilliden mellem modelbygger, virksomhed og infrastruktur blevet afgjort i kontrakter. Kontrakter giver et retsmiddel, efter skaden er sket. Enklaverne er et forsøg på at gøre eksponeringen teknisk umulig, før den sker. Intet dekrypteres, før en tjeneste, dataejeren selv styrer, har tjekket en underskrift, operatøren ikke kan forfalske. Det er et skift fra at stole på leverandøren til at verificere hardwaren. Det er også derfor, det først nu begynder at ligne noget, en bank kan sætte i produktion, og ikke kun i et pilotprojekt.

Kilder: The New Stack · VAST Data · VAST pressemeddelelse · Nvidia Confidential Computing · Azure confidential VMs · Google Confidential Computing · Confidential Computing Consortium