Hvornår må en AI-agent handle på egen hånd?

Kort svar. En AI-agent må udføre et trin på egen hånd, når trinnet har vist sig pålideligt: Det, der kommer ind, er stabilt, metoden er kendt, undtagelserne er forstået, og nogen ejer resultatet. Indtil da spørger trinnet et menneske først. Nogle slags trin går altid til et menneske, uanset hvor pålidelig agenten er.

Guiden viser, hvordan I placerer hvert trin i en opgave, der går igen, i en af tre godkendelseszoner, hvordan et trin gør sig fortjent til at handle selv, og hvordan det rykker tilbage, når noget ændrer sig.

Tre måder, et trin kan køre på

Hvert trin, en AI-agent tager, ligger i en af tre godkendelseszoner. Zonen siger, hvor meget operatøren, den person der har ansvaret for agenten, er involveret.

• Handler selv. Agenten udfører trinnet og skriver det i logbogen. Operatøren gennemgår logbogen, ikke hvert enkelt trin.
• Spørger først. Agenten forbereder trinnet og venter. Operatøren godkender, retter eller afviser det, før noget sker.
• Operatøren godkender. Operatøren træffer beslutningen. Agenten forbereder det, operatøren har brug for, og tager aldrig selv trinnet.

En opgave ligger sjældent i én zone. Agenten kan godt læse en faktura på egen hånd, mens betalingen venter på operatøren.

Det, der altid går til operatøren

Fire slags trin bliver hos operatøren, uanset hvor godt agenten har klaret sig:

• Penge forlader virksomheden: en betaling, en tilbagebetaling, en kreditering.
• Noget sendes til en ekstern part: en e-mail til en kunde, en fil til en myndighed, en ordre til en leverandør.
• Der indgås en forpligtelse: en pris, en leveringsdato, et kontraktvilkår.
• En regel er uklar: Agenten kan ikke se, hvilken regel der gælder, eller reglerne siger hinanden imod.

Et menneske skal kunne stå til ansvar for hver af de beslutninger. Derfor bliver de hos et menneske, også selvom agenten aldrig har lavet en fejl.

Fire test, før et trin må handle selv

Test	Spørgsmålet I skal stille	Det, der får testen til at fejle
Stabilt input	Får trinnet den samme slags input i samme form hver gang?	Nye leverandører, skiftende formater, dokumenter fra mange kilder
En kendt metode	Er måden at udføre trinnet på skrevet ned i regler, agenten følger?	Trin, der bygger på en persons vurdering, som ingen har skrevet ned
Forståede undtagelser	Ved vi, hvordan trinnet kan gå galt, og har hver undtagelse en fast vej?	Overraskelser i den seneste måneds rettelser
En ejer	Er én navngiven person ansvarlig for trinnets resultat?	“Teamet” ejer det, eller ingen gør

Alle fire skal holde. Hvor længe et trin skal køre uden fejl, før det rykker, afgør operatøren for hvert trin: Et trin, der bogfører små beløb, kan gøre sig fortjent til at rykke tidligere end et, der ændrer kundedata.

Sådan gør et trin sig fortjent til at rykke

1. Hvert trin starter i “spørger først”. Agenten forbereder, operatøren tjekker.
2. Rettelser bliver skrevet ned. Når operatøren retter et trin, går rettelsen ind i agentens regler og i virksomhedsordbogen, en nedskrevet liste over, hvad virksomhedens ord og tal betyder. Selve modellen ændrer sig ikke, så det, agenten lærer, bliver i virksomheden.
3. Evals viser, hvornår trinnet er klar. Evals er test, der kan gentages: De kører trinnet på kendte tilfælde og kontrollerer resultatet. De viser, om trinnet nu består de fire test, og at et skift af model eller regler er sikkert, før det sættes i drift.
4. Operatøren beslutter, at trinnet rykker. Intet rykker til “handler selv” af sig selv. Operatøren flytter det, og flytningen skrives i logbogen.

Vejen tilbage er altid åben

Et trin, der handler selv, bliver stadig overvåget. Resultaterne skrives i logbogen, undtagelser går stadig til et menneske, og trinnet rykker tilbage til “spørger først”, når noget ændrer sig: en ny leverandør, et nyt system, en ny regel eller en rettelse, operatøren ikke havde ventet.

At rykke et trin tilbage er en del af metoden. Det holder virksomheden i kontrol, mens mere af arbejdet kører af sig selv.

Et eksempel: bogføring af en leverandørfaktura

Trin	Zone	Hvorfor
Læs fakturaen og træk linjerne ud	Handler selv, når det har vist sig pålideligt	Stabilt input fra kendte leverandører, tjekket mod ordren
Foreslå posteringen (konto, moms, omkostningssted)	Spørger først, derefter handler selv for kendte leverandører	Rettelserne går ind i reglerne, indtil forslagene ikke længere skal rettes
Bogfør en faktura fra en ny leverandør	Spørger først	Inputtet er nyt, så den første test fejler
Godkend betalingen	Operatøren godkender	Penge forlader virksomheden

Eksemplet er generelt. Hver virksomheds trin og zoner er dens egne.

I beholder ansvaret

Når et trin handler selv, er virksomheden stadig ansvarlig for det. En maskine kan ikke drages til ansvar; det kan operatøren. Fire ting bærer ansvaret: adgang, som virksomheden styrer, guardrails, der holder, mennesker, der forstår systemet, og en logbog over det, der er sket. Læs mere i Hvem har ansvaret, når en AI-agent laver en postering?