De laatste 10 procent

Bonnetjes en facturen uitlezen. Je zet het op, het werkt, 9 van de 10 documenten vliegen erdoor. En dan blijf je zitten met die ene.

Wat er dan gebeurt

Je gaat de tiende oplossen. Een regel erbij voor die ene leverancier die het bedrag rechts zet. Nog een prompt voor de scan die scheef staat. Een uitzondering voor de creditfactuur. Een controle op het btw-bedrag, want dat ging een keer mis.

Iemand die dit voor grote bedrijven bouwt, schreef het vorige maand zo op:

You start adding more prompts, more rules, retries, confidence logic and special cases just to handle documents that are fundamentally ambiguous or broken. Then someone still has to review the result anyway.

Dat laatste is de val. Je bouwt 3 weken aan de moeilijke 10%, en aan het eind kijkt er nog steeds iemand naar. Alleen kost het onderhoud nu 5 keer zoveel, want er staan 14 regels in die niemand meer durft aan te raken.

En de documenten die niet lukken, lukken vaak niet omdat ze kapot zijn. Een onleesbare scan, een bon zonder btw-nummer, een factuur die 2 dingen tegelijk is. Daar is geen prompt tegen bestand, want het probleem zit niet in de verwerking maar in het document.

De regel

I basically try to automate every task 80-90%. That is usually my sweet spot.

80% af en klaar verslaat 100% af en nooit klaar.

De overdracht naar een mens is geen falen van de automatisering, het is een onderdeel ervan. Wie dat vanaf dag 1 inbouwt, is in een middag klaar. Wie het er later bij bouwt, sloopt eerst 3 weken werk.

Wat je in plaats daarvan bouwt

1. Een uitlezer die mag zeggen dat hij het niet weet. Dit is het hele punt. De meeste prompts dwingen een waarde af, dus het model vult iets in. Een leeg veld herken je; een verzonnen bedrag niet.

2. Een stapel uitzonderingen die je 1 keer per week leest. Niet om ze stuk voor stuk op te lossen, maar om te zien wat ze gemeen hebben.

Prompt 1: de uitlezer die mag weigeren

Lees dit document uit. Je vult niets in wat er niet staat.

DOCUMENT
[bijlage of geplakte tekst]

Geef per veld 3 dingen: de waarde, of je zeker bent, en waar je het vond.

velden: leverancier, factuurnummer, factuurdatum, totaalbedrag,
btw-bedrag, valuta

Format per regel:
veld | waarde of LEEG | zeker of ONZEKER | waar het stond

Regels:
- Staat het er niet, dan is de waarde LEEG. Niet afleiden, niet gokken,
  niet uit een ander veld berekenen.
- Twijfel je tussen 2 lezingen, dan is het ONZEKER en noem je beide.
- Is het document onleesbaar of geen factuur, geef dan alleen de regel:
  AFGEKEURD | reden in 5 woorden

Sluit af met 1 regel:
ACTIE | DOORLATEN of NAKIJKEN
NAKIJKEN zodra er 1 veld LEEG of ONZEKER is.

Waarom "waar het stond" erin zit. Dat is je controle in 2 seconden. Een bedrag met "rechtsonder, naast Totaal" klopt waarschijnlijk. Een bedrag zonder vindplaats is een gok met een net gezicht.

Prompt 2: de weeklijst

Hieronder de documenten die deze week zijn afgekeurd of op NAKIJKEN
gezet, met de reden erbij.

LIJST
"""
[plak de regels van deze week]
"""

Geef 3 dingen:

1. GROEPEN
Welke soorten problemen zitten hierin? Groepeer ze en zet er per groep
het aantal bij. Sorteer op aantal.

2. DE GOEDKOOPSTE REPARATIE
Welke ene verandering lost het grootste aantal op? Zeg erbij of die
verandering in de prompt zit, in het document zelf, of in de afspraak
met degene die het aanlevert.

3. WAT JE MOET LATEN
Welke gevallen zijn zo zeldzaam of zo kapot dat een mens ze sneller
afhandelt dan jij ze kunt automatiseren? Noem ze en zeg waarom.

Punt 3 is de reden dat deze prompt bestaat. Een lijst met problemen nodigt uit om ze allemaal op te lossen. Deze prompt dwingt af dat er iets op de "niet doen"-stapel belandt, en dat is precies de stapel die iedereen overslaat.

En let op waar de reparatie zit. Vaak niet in je prompt maar in de afspraak: 1 leverancier die zijn facturen als foto stuurt in plaats van als pdf, is 40% van je uitzonderingen. Dat los je op met een mailtje, niet met techniek.

Wat je merkt

Week 1: je uitzonderingenstapel is groter dan je dacht. Dat is goed nieuws, want tot nu toe zaten die fouten verstopt in de doorgelaten stapel.

Week 3: de lijst wordt korter en saaier. Steeds dezelfde 2 of 3 oorzaken. Dat is het moment waarop de weeklijst zijn werk heeft gedaan.

Week 6: de verleiding komt terug. Er zijn nog 4 gevallen over en die zien er oplosbaar uit. Ze zijn het niet. Dat zijn de kapotte documenten, en die blijven kapot.

Wat je niet moet doen

De ONZEKER-drempel omlaag zetten omdat er te veel op de stapel komt. Dan verdwijnt het probleem uit je zicht en niet uit je administratie. Een verzonnen bedrag dat is doorgelaten, vind je pas terug bij de kwartaalaangifte.

← Alle rotklussen