Confidence score
Wat is Confidence score?
Een confidence score is een getal (vaak 0-100%) dat aangeeft hoe zeker het model is van zijn output. Bij een classificatietaak: ‘dit is een factuur’ met 97% zekerheid, of ‘dit is een factuur’ met 62% zekerheid.
De score is waardevol voor het ontwerpen van betrouwbare automatiseringen. Bij een hoge confidence score kan de AI autonoom handelen. Bij een lage score escaleert het naar een mens. Zo combineer je snelheid met betrouwbaarheid.
Belangrijk: een hoge confidence score betekent niet altijd dat het antwoord correct is. Het model kan zeker en toch fout zijn. Maar gemiddeld genomen correleert de score wel met de nauwkeurigheid.
In de praktijk definieer je drempels: boven 90% mag de AI zelfstandig handelen, tussen 70-90% wordt het resultaat gemarkeerd voor snelle review, onder 70% gaat het naar een mens.
Voorbeeld uit de praktijk
Een AI-agent classificeert binnenkomende e-mails. Bij 95% confidence wordt de mail automatisch gerouteerd. Bij 60-95% krijgt een medewerker een suggestie die met één klik bevestigd kan worden. Onder 60% gaat het naar de handmatige inbox. Resultaat: 80% volautomatisch, 15% met één klik, 5% handmatig.
Wat betekent dit voor jouw organisatie?
Confidence scores zijn een kernonderdeel van de AI-oplossingen die Agentech bouwt. Ze maken het mogelijk om autonomie en betrouwbaarheid te combineren.