AI-agent audit
50 normen in 6 domeinen waarmee de interne auditor AI-agents toetst: die van de business en die van de auditfunctie zelf. Onder wiens autorisatie handelde de agent, en waar staat het bewijs dat hij binnen die machtiging bleef?
Het probleem
Iedereen verkoopt agents voor Internal Audit, niemand toetst ze
Diligent lanceerde AuditAI op de IIA-conferentie GAM 2026. AuditBoard heet inmiddels Optro en kocht Midship, met de eigen claim dat agents tot 87 procent van routinematige SOX-taken automatiseren. TeamMate zet AI in over de hele auditcyclus. De openbare productinformatie van deze leveranciers legt vooral nadruk op automatisering en efficiency. In veel mindere mate wordt concreet gemaakt hoe mandaat, autorisatie, foutmeting, menselijke tussenkomst en volledige reconstructie aantoonbaar worden beheerst. Dat is precies de vraag die een CAE zichzelf moet stellen, over elke agent: die van de leverancier, die van de business, en die in de eigen auditfunctie.
Auditfiles zijn geen onschuldige invoer
Een agent die auditdossiers doorzoekt, kan namen, e-mailadressen, loggegevens, HR-informatie, fraudemeldingen en bijzondere of strafrechtelijke persoonsgegevens verwerken. Ook wanneer die gegevens niet bewust aan de agent zijn aangeboden, maar meeliften met een bijlage, een export of een mailbox.
Het kader kreeg daarom in augustus 2026 vijf normen erbij die precies dit toetsen: is het doel waarvoor de agent die gegevens verwerkt verenigbaar met het doel waarvoor ze zijn verzameld, krijgt hij niet meer te zien dan zijn taak vereist en herkent de organisatie de persoonsgegevens die meeliften in bijlagen en exports, wat blijft er achter in prompts, geheugen en vectorindexen en werkt de verwijderroute daar ook, gebruikt de leverancier de invoer voor het trainen van zijn modellen, en wie zitten er verder in de keten, waar staan die gegevens en kan een betrokkene zijn rechten daar uitoefenen. Daarnaast toetsten de bestaande normen al welke gegevenscategorieën de agent mag benaderen en of die grens technisch is afgedwongen, en wat er in het handelingslog achterblijft en hoe lang.
Bij veel agents zijn identiteit en autorisatie niet uitgewerkt
NIST startte in februari 2026 een traject rond identiteit en autorisatie van software- en AI-agents. In dat concept paper staan precies de vragen centraal die voor assurance relevant zijn: hoe identificeer je een agent, hoe bewijst hij zijn bevoegdheid voor een handeling, en hoe koppel je zijn identiteit terug aan de mens die hem machtigde.
Mandaat moet herleidbaar zijn
Het Singaporese IMDA-framework voor agentic AI, gepubliceerd in januari 2026 en geactualiseerd in mei, benadrukt identiteit en toegangsbeheer als voorwaarde voor herleidbaarheid en verantwoording. Het is een richtsnoer, geen wet. De vraag die het stelt is wel onontkoombaar: welke agent handelde, met welke bevoegdheden, namens wie.
De noodstop is bij de meeste agents nooit beproefd
Er staat een stopmechanisme op papier, maar niemand heeft getest of het ook werkt zodra de agent daadwerkelijk buiten de lijnen handelt, en of een halverwege afgebroken handeling herstelbaar achterblijft.
Het foutpercentage van de agent is onbekend
Zolang mislukte, afgebroken en gecorrigeerde handelingen niet even consequent worden vastgelegd als geslaagde, is elke uitspraak over de betrouwbaarheid van een agent een schatting. Ook een agent die met schijnbare zekerheid iets onjuists afrondt, telt mee.
Wat het kader biedt
De omgekeerde vraag: wij toetsen de agent
Een vast normenkader in plaats van een vragenlijst die per project opnieuw wordt bedacht, en zonder verkooppraatje over wat de agent allemaal automatiseert.
Toetsen in plaats van verkopen
Het kader beoordeelt niet wat een agent belooft te automatiseren, maar of zijn handelingen aantoonbaar zijn geautoriseerd, begrensd, beheerst en vastgelegd. Dat zijn vragen die in leveranciersinformatie doorgaans minder prominent worden beantwoord.
Ook op de eigen auditfunctie van toepassing
Dezelfde normen gelden voor de agent die HR-processen afhandelt en voor de agent die auditdossiers doorzoekt. Een auditfunctie die haar eigen agent niet langs dit kader legt, kan die vraag moeilijk aan de rest van de organisatie stellen.
23 inhoudelijk gevalideerde koppelingen
Iedere koppeling met een Unified Control is afzonderlijk inhoudelijk beoordeeld.
Onderdeel van de CRAFT-bibliotheek
Het kader staat in CRAFT naast onder meer ISO 42001, NIST AI RMF en OWASP LLM. Geen los document, maar een normenkader dat meegroeit met de rest van de bibliotheek.
De zes domeinen
Zo dekt het kader de agent, van inventaris tot bestuursrapportage
Het kader doorloopt de agent van buiten naar binnen: eerst wat er draait, dan onder welk mandaat en met toegang tot welke gegevens, dan wie kan ingrijpen, wat bewijsbaar is, hoe betrouwbaar het gedrag is, en wat naar bestuur en toezichthouder toe verantwoord moet worden.
Inventaris en identiteit
Welke agents draaien er, onder welke eigen technische identiteit, wie is de eigenaar, en hoe spoor je schaduw-agents op die buiten dat overzicht zijn opgezet.
Mandaat en begrenzing
Onder wiens autorisatie handelt de agent, welke systemen, databronnen en gegevenscategorieën mag hij benaderen (en is die grens technisch afgedwongen, niet alleen als instructie meegegeven), is het verwerkingsdoel verenigbaar met dat van de bron, krijgt hij niet méér gegevens dan de taak vereist, welke gereedschappen zijn verboden, en welke limieten gelden.
Menselijke tussenkomst
Waar is goedkeuring vooraf vereist, was dat een echte beoordeling of routinematig doorklikken, wie kan de agent stoppen, is die noodstop ooit beproefd, en kan een handeling worden teruggedraaid.
Bewijs en herleidbaarheid
Een handelingslog dat de agent zelf niet kan aanpassen, herleidbaarheid naar de instructie en modelversie erachter, registratie van mislukkingen, een bewaartermijn die is afgeleid van de verjaring van het besluit in plaats van een generieke IT-standaard, en zicht op wat er buiten het bronsysteem achterblijft in prompts, geheugen en vectorindexen.
Betrouwbaarheid en toetsing
Is de agent vooraf beproefd tegen een vastgestelde norm, is er een gemeten foutpercentage, wordt stille verslechtering opgemerkt, en hoe gedraagt hij zich bij invoer die hem probeert om te sturen.
Naleving en rapportage
Kenbaarheid richting de mensen met wie de agent communiceert, AI-geletterdheid van wie hem aanstuurt en beoordeelt, verantwoording aan bestuur en auditcommissie, en het regime voor ingekochte agents: wie is verantwoordelijk, gebruikt de leverancier uw invoer om zijn modellen te trainen, welke subverwerkers zitten er in de keten en waar staan die gegevens, en mag u hem auditen. Of een specifieke agent onder de transparantieverplichting van artikel 50 van de AI-verordening valt, stelt dit domein per toepassing vast.
Zes normen uit het kader
Dit is wat een norm daadwerkelijk zegt
Eén norm per domein, letterlijk zoals hij in het kader staat.
Eigen technische identiteit per agent
Elke agent authenticeert zich met een eigen technische identiteit en draait niet onder een gedeeld of generiek serviceaccount samen met andere agents of processen. Waar een gedeeld account onvermijdelijk is, is dat expliciet als afwijking vastgelegd met een compenserende maatregel.
Dataminimalisatie en meeliftende persoonsgegevens
De agent krijgt niet meer gegevens te zien dan zijn taak vereist. De organisatie heeft onderkend dat in auditdossiers, mailboxen, exports en bijlagen persoonsgegevens meeliften die niemand bewust heeft aangeboden, waaronder bijzondere of strafrechtelijke, en heeft vastgesteld hoe zij die herkent. Een inrichting waarin de agent bij alles kan wat de gebruiker kan, geldt niet als minimalisatie.
Beproeving van de noodstop
De noodstop is minstens één keer daadwerkelijk beproefd en niet alleen op papier beschreven, en het resultaat is vastgelegd. Er is bepaald wat er gebeurt met een handeling die de agent halverwege uitvoert: veilig afmaken, annuleren, of achterlaten in een herstelbare tussentoestand.
Herleidbaarheid naar instructie en modelversie
Van elke uitspraak, aanbeveling of elk besluit van een agent is vast te stellen welke instructie en welke modelversie deze heeft voortgebracht. Zonder die koppeling kan de organisatie een resultaat niet reproduceren en niet vaststellen of een fout aan het model, de instructie of de invoer lag.
Bekend foutpercentage en meetmethode
De organisatie kan voor elke agent een foutpercentage noemen: hoe vaak hij een taak niet, deels of onjuist uitvoert, gemeten op een representatieve set taken met een vastgelegde definitie van wat als fout telt.
Verantwoordelijkheidsverdeling bij ingekochte agents
Bij een agent van een leverancier of ingebed in een ingekochte dienst is contractueel vastgelegd wie verantwoordelijk is voor het gedrag van de agent, welke zekerheid de leverancier geeft over training, aansturing en grenzen, en hoe de organisatie zelf aan haar verplichtingen blijft voldoen.
Waar een norm aansluit bij een van de 23 gekoppelde Unified Controls, gebruikt de toetsing dat bestaande bewijs. Voor de overige normen, waaronder de beproeving van de noodstop en het gemeten foutpercentage, verzamelt de auditor eigen bewijs: logs, testresultaten, mandaatdocumenten, escalatiepaden. Dat maakt de uitkomst reproduceerbaar, ongeacht welke leverancier de agent heeft geleverd of welke afdeling hem heeft aangeschaft. De toetsing stroomt door naar het reguliere werkprogramma en naar de rapportage aan directie en audit committee.
Het kader in cijfers
Vaste normen, geen losse vragenlijst
6 domeinen
Van inventaris en identiteit tot naleving en rapportage.
50 normen
Verdeeld over de zes domeinen, elk afzonderlijk toetsbaar.
23 koppelingen
Naar de gedeelde Unified Controls, elke koppeling afzonderlijk inhoudelijk beoordeeld.
27 normen
Bewust geen koppeling: de Unified Controls zijn ISO 27001-gebaseerd en hebben voor bijvoorbeeld een beproefde noodstop geen eerlijke tegenhanger.
Waarde
Wat de toetsing oplevert
De toetsing geeft de CAE een onderbouwd antwoord op de vraag die het bestuur, de accountant of de toezichthouder vroeg of laat stelt: welke agents draaien er, wie heeft ze gemachtigd, welke persoonsgegevens raakten zij, en waar staat het bewijs dat zij binnen die machtiging bleven.
Ook bestaande verplichtingen kunnen daarbij relevant zijn, afhankelijk van de toepassing. Artikel 50 van de AI-verordening geldt sinds 2 augustus 2026 voor onder meer AI-systemen die rechtstreeks met natuurlijke personen communiceren; niet iedere agent valt daaronder, de kwalificatie moet per toepassing worden vastgesteld. Artikel 4 verplicht aanbieders en gebruiksverantwoordelijken maatregelen te nemen om de ontwikkeling van AI-geletterdheid te ondersteunen. De hoog-risicoverplichtingen zijn uitgesteld naar 2 december 2027 en 2 augustus 2028. Domein F stelt per agent vast welk van deze regimes van toepassing is, in plaats van één regel op alle agents te plakken.
Toets de agents die al draaien
Bekijk het volledige normenkader in de CRAFT-bibliotheek, of laat ons in een demonstratie zien wat de toetsing voor uw agents oplevert.