Hver måned skjer det samme. En ny modell slippes, den topper listene, og LinkedIn fylles med skjermbilder av søylediagrammer. Noen få prosentpoeng på en test de fleste av oss aldri har lest oppgavene i, og bransjen skifter mening om hva som er «best».
Det brukes enorme ressurser på å måle språkmodeller mot hverandre. Store forskningsmiljøer, egne organisasjoner, hele leaderboards. Og for all del: det er ikke bortkastet. Vi trenger et felles språk for å snakke om hva modellene faktisk kan.
Men det er verdt å stille et ganske ubehagelig spørsmål: hva er formålet?
Svaret er som regel at vi skal finne den beste modellen til en bestemt type oppgave. Det er et fornuftig mål. Problemet er forutsetningen som ligger under, og som nesten aldri sies høyt: at organisasjonen din faktisk kan bytte modell når resultatene endrer seg.
For de aller fleste virksomheter er det rett og slett ikke tilfelle.
Å bytte modell er ikke å bytte en innstilling
I demoen ser det enkelt ut. Én linje i en konfigurasjonsfil, ett navn byttes ut, ferdig.
I virkeligheten er et modellbytte nærmest å regne som en helt ny versjon av programvaren.
Løsningen din er bygget rundt hvordan én bestemt modell oppfører seg. Instruksjonene er finpusset mot den. Den svarer med en viss struktur som resten av systemet forventer. Den håndterer verktøykall på sin måte. Den har sine egne tendenser til å være ordrik, forsiktig eller kreativ. Bytt modell, og alt dette forskyver seg — ofte i små, stille steg som ikke gir feilmeldinger, bare litt dårligere svar.
Det betyr full regresjonstesting. Det betyr at fagfolk må vurdere kvaliteten på nytt. Det betyr dokumentasjon, risikovurdering, godkjenning og utrulling. For en virksomhet med reelle krav til kvalitet er dette uker med arbeid, ikke minutter.
Og da blir spørsmålet: hvor mye er egentlig de tre prosentpoengene verdt?
Leverandørkjeden bestemmer mer enn du tror
Så kommer neste realitet: du står som regel ikke fritt til å velge i det hele tatt.
De fleste virksomheter kjøper ikke språkmodeller direkte. De kjøper et fagsystem, en saksbehandlingsløsning, en kundeportal — og modellen ligger inne i den. Leverandøren har sine avtaler med sine underleverandører, og de underleverandørene tilbyr et bestemt utvalg modeller. Ofte akkurat én.
Da kan du benchmarke så mye du vil. Valget er allerede tatt, flere ledd unna deg.
I offentlig sektor er dette enda tydeligere. Rammeavtaler, anskaffelsesregelverk, sikkerhetsgodkjenninger og lange innkjøpsprosesser gjør at avstanden mellom «det finnes noe bedre» og «vi bruker noe bedre» kan måles i år. Tanken om at en kommune eller et direktorat til enhver tid skal kjøre den best rangerte modellen i verden, er rett og slett ikke realistisk. Og det er ikke nødvendigvis et tegn på treghet — det er ofte et tegn på at noen tar ansvar på alvor.
Pris og personvern slår toppscore
To hensyn overkjører uansett listeplasseringen.
Pris. Den beste modellen er som regel også den dyreste. Kjører du noen hundre spørringer i måneden, spiller det ingen rolle. Kjører du hundretusener, blir differansen mellom en toppmodell og en god nok modell fort til et budsjettspørsmål. Mange oppgaver — kategorisering, oppsummering, uttrekk av data — løses utmerket av en mindre og billigere modell. Å bruke en toppmodell på dem er som å leie inn spesialist for å sortere post.
Personvern. Her stopper diskusjonen for mange. Hvor kjøres modellen? Hvor lagres dataene? Hva brukes de til? Er det inngått databehandleravtale, og holder overføringsgrunnlaget? Skal du behandle personopplysninger, helseopplysninger eller sensitiv saksinformasjon, er dette ikke ett hensyn blant flere — det er inngangsbilletten. En modell som ikke kan brukes lovlig på dine data, har null verdi uansett hvor høyt den scorer.
Legg til driftsstabilitet, leverandørens levetid, responstid og hvor forutsigbart modellen oppfører seg over tid, og benchmarkscoren begynner å se ut som det den er: én variabel blant mange.
Hva bør du måle i stedet?
Poenget er ikke å slutte å måle. Poenget er å måle det som gjelder for deg.
Lag din egen benchmark. Samle 30–50 reelle oppgaver fra din egen virksomhet, med dine egne data og fagfolkenes egen vurdering av hva som er et godt svar. Dette settet er verdt mer enn samtlige offentlige lister til sammen — fordi det måler jobben du faktisk skal ha gjort.
Bygg for å kunne bytte. Hvis modellvalget er isolert bak et tydelig grensesnitt, og du har et testsett som kjører automatisk, går et modellbytte fra å være et prosjekt til å bli en oppgave. Det er arkitektur, ikke magi — og det er den investeringen som faktisk gjør deg fri til å velge senere.
Still spørsmålet «godt nok?» før «best?». For de fleste oppgaver finnes det en terskel der ekstra kvalitet ikke gir merverdi. Finn terskelen, og velg den rimeligste og tryggeste modellen som klarer den.
Vår oppfordring
Neste gang noen viser deg et diagram over hvilken modell som er best, still tre spørsmål:
- Kan vi i det hele tatt bytte til den?
- Hva koster det å bytte — i testing, dokumentasjon og risiko?
- Løser den oppgaven vår bedre, målt på våre data?
Klarer du ikke å svare, er ikke problemet at du mangler en bedre modell. Da mangler du et bedre beslutningsgrunnlag.
Data Sør jobber med virksomheter som vil ta i bruk KI på en måte som holder i praksis — ikke bare i demoen. Vi hjelper deg med å sette opp egne testsett for dine oppgaver, vurdere personvern og kostnader i konkrete løsninger, og bygge systemer der modellvalget kan endres uten at alt må gjøres på nytt.
Lurer du på hvilken modell dere bør bruke — eller om dere i det hele tatt står fritt til å velge? Ta kontakt med oss for en uforpliktende prat. Vi tar gjerne en gjennomgang av løsningen dere har i dag.