En større sprogmodel gør ikke dine AI-analyser bedre. Det er den mest interessante pointe i en ny rapport fra MIT Technology Review Insights, bladets afdeling for betalt indhold, lavet i samarbejde med datavirksomheden Snowflake. Når AI til dataanalyse leverer svage resultater, skyldes det oftest, at agenten ikke kender forretningen. 55 procent af de adspurgte ledere peger på manglende forretningskontekst som den vigtigste årsag.
Rapporten handler om agentic analytics, på dansk agentisk analyse. Her svarer en AI-agent ikke bare på et spørgsmål om dine tal. Den graver selv i dataene, finder mønstre og foreslår eller udfører handlinger ud fra dem. Det er et skridt videre end de AI-værktøjer, der lader dig spørge til et dashboard med almindelige ord. Teknikken virker bedre end for et år siden, men mere end halvdelen af det, agenterne finder, hjælper stadig ikke.
Under halvdelen af indsigterne flytter noget
I gennemsnit fører 48 procent af de indsigter, analyseagenterne leverer, til en handling, der forbedrer forretningen. For et år siden lå tallet på 37 procent ifølge de samme virksomheder. Det er en tydelig fremgang. Det betyder også, at over halvdelen af agenternes fund i dag ikke gør nogen forskel. Tallene er virksomhedernes egen vurdering, og rapportens offentlige sammendrag oplyser ikke, hvor mange der er spurgt.
Rapporten skelner mellem to slags indsigt. Beskrivende indsigt fortæller, hvad der er sket, fx at salget i en region faldt 12 procent i oktober. Anbefalende indsigt fortæller, hvad du bør gøre ved det. De fleste roser agenternes beskrivende indsigt, mens vurderingen af den anbefalende er blandet. Det er uheldigt, for det er netop den anbefalende indsigt, handlingerne bygger på. En forkert anbefaling, der udløser en forkert handling, kan ifølge rapporten koste både penge og omdømme.
Hvad gør de bedste anderledes?
En lille gruppe virksomheder, som rapporten kalder insight leaders, klarer sig langt bedre. Hos dem fører over 70 procent af agenternes indsigter til en forbedring, og de giver også kvaliteten højere karakter end resten. Forskellen er størst på de anbefalende indsigter, altså dér, hvor det gælder.
Rapporten forklarer ikke forspringet med bedre modeller. Det, der skiller dem ud, er, at færre af dem oplever, at agenterne mangler adgang til kontekst. De har altså gjort mere for at fortælle agenten, hvad tallene betyder. Det er en vigtig detalje, hvis du står og overvejer at opgradere til en dyrere model for at få bedre svar.
Agenten kender ikke jeres ord for tingene
Ved siden af de 55 procent, der nævner manglende kontekst, peger 45 procent på data, der er spredt eller svære at komme til. Det lyder abstrakt, men problemet er meget konkret. Forestil dig, at du spørger en agent, hvorfor omsætningen faldt i oktober. I webshoppen er omsætning med moms, i økonomisystemet er den uden, og returvarer registreres et tredje sted. Agenten ser tre tabeller med en kolonne, der hedder noget med "amount", og vælger én af dem.
Svaret lyder overbevisende, og det er forkert. Agenten kan heller ikke vide, at en aktiv kunde hos jer betyder én, der har købt inden for de sidste 12 måneder, eller at region 3 blev lagt sammen med region 4 i foråret. Den slags viden sidder i hovedet på medarbejderne og i gamle mails, ikke i databasen. Det er samme mekanisme, som når din RAG giver forkerte svar ved skala: modellen svarer selvsikkert, fordi den ikke ved, at grundlaget er forkert.
Et semantisk lag giver agenten jeres definitioner
Rapportens svar er to indsatser. 60 procent af virksomhederne strammer op på styringen af AI og data, det der på engelsk hedder governance: hvem ejer en definition, hvilke kilder er godkendte, og hvem må se hvad. 45 procent er i gang med at bygge et semantisk lag ind i deres dataarkitektur, og de eksperter, rapporten har interviewet, mener, at det er nøglen til agenter, der leverer.
Et semantisk lag er et lag mellem de rå data og de værktøjer, der bruger dem. Her defineres begreber som omsætning, bruttoavance og aktiv kunde én gang, med formel og kilde. Agenten slår op i laget i stedet for at gætte ud fra kolonnenavne, og alle får det samme tal, uanset om de spørger en agent, et dashboard eller økonomichefen. Definitionerne skal typisk hentes ud af de systemer, I allerede har, og det er derfor en stor del af enhver AI-integration til ERP, CRM og fagsystemer.
Husk, at Snowflake sælger netop den slags dataplatform, så rapportens anbefaling ligger tæt på sponsorens produkt. Det gør ikke pointen forkert. En agent, der ikke ved, hvad dine tal betyder, bliver ikke klogere af at være større.
For mange indsigter er også et problem
Det sidste fund handler om mængde. Hos 52 procent af virksomhederne leverer agenterne flere indsigter, end nogen kan nå at vurdere, og derfor bliver de heller ikke omsat til handling. Kun 24 procent når at vurdere alt, hvad agenterne finder. Vurderingen sker for det meste fra sag til sag og kræver i dag mange menneskelige timer.
Det er samme skævhed, som rammer mange andre steder, hvor AI bliver sat i gang: det er blevet billigt at producere forslag og dyrt at tjekke dem. En agent, der leverer 200 anbefalinger om ugen, hvoraf halvdelen er forkerte, er ikke en hjælp. Den er en ny arbejdsopgave. Færre og bedre indsigter er mere værd end mange, og det hænger direkte sammen med konteksten. Jo bedre agenten forstår forretningen, jo færre forkerte fund skal et menneske sortere fra.
Rapportens tal peger samlet i én retning. Kvaliteten af AI-analyser afgøres af, hvad agenten ved om virksomheden, før den overhovedet åbner en tabel. Kan to af jeres afdelinger ikke blive enige om, hvad omsætning er, kan en AI-agent det heller ikke.
