Evals og overvågning
Evals er test, der kan gentages: De kører en agent på kendte tilfælde, hvor et menneske allerede har bekræftet svaret, og tjekker resultatet. Overvågning holder øje med det arbejde, der kører af sig selv, logger hver kørsel og sender fejl til en person. Vi bygger begge dele, så jeres team kan afgøre, hvornår en opgave, der gentager sig, er klar til at køre af sig selv, og kan se, hvad den gør, når den kører.
Kender I det?
- En agent klarede et par fakturaer fint, men ingen kan sige, om den klarer den næste.
- I vil gerne lade en opgave, der gentager sig, køre af sig selv, men ingen kan vise, at den er klar.
- En opgave, der kørte af sig selv, gik i stå, og ingen opdagede det, før et tal var forkert.
Det får I
- Resultatet
- Test og overvågning, som jeres team kan læse. Testtilfældene, kontrollerne og indstillingerne for overvågningen ligger som filer og kode i jeres repository sammen med agentens regler. I bestemmer, hvor logs og alarmer gemmes.
- Tilfælde fra jeres arbejde
- Arbejde, som et menneske allerede har tjekket, jeres teams rettelser og de svære tilfælde, hver med det bekræftede svar og den kontrol, der sammenligner dem. Kontrollen ser på det, der endte i systemet, ikke på det, agenten siger, den gjorde.
- Overvågning og alarmer
- Hver kørsel af det arbejde, der kører af sig selv, bliver overvåget og skrevet i logbogen. Fejler en kørsel, eller møder den noget uventet, stopper den i stedet for at gætte, og en person får besked.
- En beslutning, der står skrevet
- Evals giver den, der godkender, et grundlag. Det er den person, der afgør, hvornår en opgave kører af sig selv, og beslutningen bliver skrevet i logbogen.
Det gør vi, det gør I
| Vi | I |
|---|---|
| Samler testtilfældene sammen med jer: arbejde, et menneske allerede har tjekket, jeres rettelser og de svære tilfælde. | Siger, hvad der er rigtigt, og tilføjer tilfælde fra jeres eget arbejde. |
| Skriver kontrollerne, også for de tilfælde, hvor agenten skal stoppe eller afvise, og kører hvert tilfælde mere end én gang. | Afgør, hvor tit tilfældene skal bestå, før arbejdet kører af sig selv. |
| Kører evals igen efter hver ændring af model, regler eller adgang og fortæller, hvad der fejlede, og hvorfor. | Læser resultaterne og beslutter. Intet kommer til at køre af sig selv, bare fordi en score steg. |
| Sætter overvågningen op: hver kørsel logges, en alarm, når en kørsel fejler, og undtagelser sendes til en person. | Tjekker resultatet og godkender arbejdet igen, når noget ændrer sig. |
Godt at vide
Automatisering skal fortjenes, og det er arbejdet selv, der fortjener den. En opgave er klar til at køre af sig selv, når den gentager sig, er skrevet ned, dens undtagelser er kendte, og én person står for resultatet. Evals viser, at den består, tilfælde efter tilfælde. Men evals dækker kun de tilfælde, I kender, og det daglige arbejde bringer tilfælde, ingen har set før. Derfor bliver arbejde i fasen "Det kører af sig selv, og I tjekker resultatet" stadig overvåget og logget, og fire slags beslutninger går altid til et menneske: penge, der forlader virksomheden, alt, der går uden for virksomheden, en forpligtelse og en uklar regel. Hvis noget ændrer sig, kommer det tilbage til jer til godkendelse.
Jeres spørgsmål
- Hvordan ser det ud i praksis?
- Hos DuffBeauty, et beautybrand, henter data pipelines de samme data hver nat. Det arbejde gentager sig og er klart beskrevet, så det kører af sig selv og bliver overvåget, og ændrer en kilde sig, melder pipelinen det i stedet for at gætte. Fakturalæseren tjekker sit eget output: Et dokument, der ikke består en kontrol, bliver markeret med årsagen og går tilbage til bogholderen.
- Hvorfor ikke bare prøve agenten et par gange?
- En agent, der klarede fem fakturaer fint, kan stadig fejle på den sjette. En model kan svare forskelligt på det samme input fra den ene kørsel til den næste, og en ny model eller regel kan ødelægge noget, der virkede før. Evals kører de samme kendte tilfælde hver gang, så en ændring, der ødelægger noget, viser sig, før den går i drift.
- Hvornår kører evals?
- Før agenten forbereder arbejde til godkendelse, før en opgave, der gentager sig, kører af sig selv, efter hver ændring af model, regler, adgang eller et system, agenten læser fra, og fast, når arbejdet kører. Hvis et tilfælde, der plejede at bestå, nu fejler, venter ændringen, til nogen ved hvorfor.
- Hvad sker der, når en kørsel fejler?
- Den stopper i stedet for at gætte, kørslen bliver logget, og en person får besked. I guiden om at hente fakturaer fra leverandørportaler gemmer en kørsel, der møder en uventet side, et skærmbillede og et spor af hvert skridt, og der går en alarm. Hvis noget ændrer sig, kommer opgaven tilbage til jer til godkendelse.
- Hvem ejer evals?
- Det gør I. Tilfældene og kontrollerne ligger med versioner sammen med agentens regler i jeres repository, så de bliver hos jer, hvis agenten eller den, der har bygget den, skifter. Hos os betaler I en fast pris for resultatet, aldrig for de timer, Gathenas agenter arbejder. Løbende arbejde er et fast månedligt beløb.
- Erstatter evals den, der godkender?
- Nej. En eval, der består, giver den person et grundlag, og personen beslutter. Når nogen retter agentens arbejde, går rettelsen ind i reglerne og bliver et nyt tilfælde, så den samme fejl bliver fanget, før den når jeres team igen.