Goal monitoring
Wat is Goal monitoring?
Goal monitoring is het continu bewaken of de acties van een AI-agent nog in lijn zijn met het oorspronkelijke doel. Het is de agent die over de schouder van de agent meekijkt.
Technisch werkt het door de acties van de agent te vergelijken met het verwachte gedrag. Als een factuurverwerkingsagent plotseling webrequests gaat doen naar onbekende domeinen, is dat een afwijking van het doel die gesignaleerd moet worden.
Goal monitoring kan regelgebaseerd (de agent mag alleen deze vijf acties uitvoeren) of semantisch (vergelijk de betekenis van de acties met het doel) zijn. Semantische monitoring is krachtiger maar complexer.
Bij afwijking zijn er meerdere reacties mogelijk: een waarschuwing loggen, de actie blokkeren, de agent pauzeren of de kill switch activeren. De reactie hangt af van de ernst van de afwijking.
Voorbeeld uit de praktijk
Een AI-agent voor orderverwerking wordt gemonitord op drie criteria: benadert hij alleen goedgekeurde systemen? Blijft het datavolume binnen verwachte grenzen? Komt de output overeen met het verwachte formaat? Bij afwijking op een van de drie criteria wordt de agent gepauzeerd.
Wat betekent dit voor jouw organisatie?
Goal monitoring is een kerncomponent van de productie-architectuur die Agentech hanteert voor AI-agents.