Den fejl, vi ellers ville have brugt en uge på at finde, fandt vi inden frokost

Nogle fejl brager igennem med det samme. Andre koster stille og roligt kunden penge i ugevis, før nogen kan bevise, hvad der egentlig foregår. Det oplevede vi for nylig hos en kunde med en webshop med stort ordrevolumen. En stor del af ordrerne på sitet bliver behandlet manuelt over telefonen, hvor medarbejderne opretter dem som »admin«-kunder. Ind imellem gik en ordre ud af sted med forkerte varer eller en forkert adresse, og ingen kunne finde ud af hvorfor, for beviserne var forsvundet, længe før nogen nåede at kigge nærmere efter.

Et værktøj, der fanger fejlen på fersk gerning

Den sædvanlige metode til den slags fejl er kvalificeret gætværk: læs koden, opstil en teori, test den, og gentag, indtil noget stemmer. Det er langsommeligt, og på et site med så mange bevægelige dele kan det sagtens tage en uge, før man er sikker på, at man har fundet den reelle årsag og ikke bare et sammentræf. Denne gang brugte vi AI til at bygge et lille diagnoseplugin, der overvågede kasseprocessen i realtid og loggede præcis, hvad der skete i hvert trin, for hver eneste ordre, over et par ugers normal drift.

Loggen viste sig at være hele svaret. Under et helt specifikt og gentageligt arbejdsforløb ryddede kasseprocessen ikke sessionsdata mellem ordrer, som den skulle. Det var ikke noget, man kunne se ved almindelig test, for det opstod kun under det mønster i, hvordan teamet reelt brugte admin-panelet i hverdagen. Så snart loggen viste os mønsteret tydeligt, tog selve rettelsen kun en brøkdel af den tid, det havde taget at finde frem til den.

Så dukkede endnu en fejl op, og samme metode fandt den

Løsningen på det første problem afslørede et beslægtet problem. Nogle forsendelses- og faktureringsoplysninger blev ikke overført korrekt på vej til kundens eksterne leverings- og sporingssystem. Samme metode, samme resultat: log alt, hvad der sker på det tidspunkt i processen, lad mønsteret træde frem, og gå så ind og ret den egentlige årsag i stedet for at lappe på symptomet. Det, der normalt ville have betydet timevis, hvor kunden forsøgte at beskrive et forvirrende problem over mail og telefon, og vi forsøgte at genskabe det i blinde, blev til at læse logfilerne og teste direkte.

Det, AI ikke kan, er den del, der betyder noget

Vi vil gerne være helt ærlige om grænserne her, for det er let at lade en historie som denne lyde mere automatiseret, end den reelt var. AI hjalp os med at bygge det værktøj, der fangede fejlen. Den rettede ikke selve fejlen, og det kunne den heller ikke, fordi den ikke har nogen direkte adgang til kundens servere eller filsystem. Der skal stadig en person til, som forstår koden, ved, hvor fejlen reelt sidder, og kan lave ændringen sikkert uden at ødelægge noget andet undervejs. Et værktøj, der viser dig, hvor røgen kommer fra, er oprigtigt nyttigt. Det er ikke det samme som brandvæsenet.

Hvorfor det rækker ud over den ene kunde

På en webshop er en fejl som denne ikke bare kosmetisk. Hver ordre, der går forkert af sted, betyder en refundering, en gensendelse eller en kunde, der ikke kommer igen, og de omkostninger løber hurtigt op på en travl konto. Vi bruger nu også den samme AI-understøttede tilgang tidligere i processen, hvor vi fodrer et build med alt det relevante, der sker andre steder på kontoen, kundefeedback, rapporteringsnoter, mødereferater, så en opdatering bliver bygget med det fulde overblik i stedet for isoleret fra det, resten af teamet allerede ved. Færre ting bliver overset, fordi de lå gemt i en andens indbakke.

Intet af det her erstatter den dømmekraft, der kommer af års erfaring med, hvor de her systemer typisk går i stykker. Det betyder bare, at den dømmekraft bliver brugt hurtigere, og på en konto i drift er hurtigere ofte forskellen på en stille rettelse og en kundeklage.