AI-agent audit
50 normen in 6 domeinen waarmee de interne auditor AI-agents toetst: die van de business en die van de auditfunctie zelf. Onder wiens autorisatie handelde de agent, en waar staat het bewijs dat hij binnen die machtiging bleef?
Van nu naar straks
Van automatiseringsclaim naar aantoonbare beheersing
Leveranciers van audit-AI-agents leggen in hun productinformatie vooral nadruk op automatisering en efficiency, in veel mindere mate op hoe mandaat, autorisatie, foutmeting en menselijke tussenkomst aantoonbaar worden beheerst.
Verkoopclaims, geen getoetste beheersing
Diligent, AuditBoard (nu Optro) en TeamMate claimen automatisering tot 87 procent van SOX-taken, zonder concreet te maken hoe mandaat en autorisatie zijn beheerst.
Één normenkader toetst elke agent
Vaste normen in plaats van een vragenlijst per project, toegepast op de agent van de leverancier, de business en de eigen auditfunctie.
Identiteit en mandaat niet uitgewerkt
NIST en het Singaporese IMDA-framework signaleren dezelfde vraag: hoe identificeert een agent zich, hoe bewijst hij zijn bevoegdheid, en namens wie handelde hij.
Eigen technische identiteit per agent
Elke agent authenticeert zich met een eigen technische identiteit, niet onder een gedeeld serviceaccount, met het mandaat herleidbaar naar de machtigende mens.
Noodstop en foutpercentage onbekend
Het stopmechanisme is nooit beproefd, en zolang mislukte en gecorrigeerde handelingen niet worden vastgelegd, is elke uitspraak over betrouwbaarheid een schatting.
Beproefd, gemeten en gedocumenteerd
De noodstop is minstens één keer echt beproefd en het resultaat vastgelegd, en het foutpercentage wordt gemeten op een representatieve set taken.
Zo ziet het eruit
Een greep uit AI-agent assurance
Klik op een miniatuur voor dat scherm, of op het beeld voor de volledige weergave.
Het normenkader in cijfers
Vaste normen, geen losse vragenlijst
6 domeinen
Van inventaris en identiteit tot naleving en rapportage.
50 normen
Verdeeld over de zes domeinen, elk afzonderlijk toetsbaar.
23 koppelingen
Naar de gedeelde Unified Controls, elke koppeling afzonderlijk inhoudelijk beoordeeld.
27 normen
Bewust geen koppeling: de Unified Controls zijn ISO 27001-gebaseerd en hebben voor bijvoorbeeld een beproefde noodstop geen eerlijke tegenhanger.
Wat het normenkader biedt
De omgekeerde vraag: wij toetsen de agent
Een vast normenkader in plaats van een vragenlijst die per project opnieuw wordt bedacht, en zonder verkooppraatje over wat de agent allemaal automatiseert.
Toetsen in plaats van verkopen
Het normenkader beoordeelt niet wat een agent belooft te automatiseren, maar of zijn handelingen aantoonbaar zijn geautoriseerd, begrensd, beheerst en vastgelegd.
Ook op de eigen auditfunctie van toepassing
Dezelfde normen gelden voor de agent die HR-processen afhandelt en voor de agent die auditdossiers doorzoekt. Een auditfunctie toetst zo eerst zichzelf.
Dataminimalisatie, ook voor meeliftende gegevens
Vijf normen toetsen of de agent niet meer ziet dan zijn taak vereist, en of persoonsgegevens die meeliften in bijlagen, exports en mailboxen worden herkend.
AI-verordening per agent beoordeeld
Artikel 50 geldt voor agents die rechtstreeks met mensen communiceren, artikel 4 verplicht AI-geletterdheid; domein F bepaalt dit per toepassing, niet met één regel voor alle agents.
23 inhoudelijk gevalideerde koppelingen
Iedere koppeling met een Unified Control is afzonderlijk inhoudelijk beoordeeld.
Onderdeel van de CRAFT-bibliotheek
Het normenkader staat in CRAFT naast onder meer ISO 42001, NIST AI RMF en OWASP LLM, en groeit mee met de rest van de bibliotheek.
De zes domeinen
Zo dekt het normenkader de agent, van inventaris tot bestuursrapportage
Het normenkader doorloopt de agent van buiten naar binnen: eerst wat er draait, dan onder welk mandaat, dan wie kan ingrijpen, wat bewijsbaar is, hoe betrouwbaar het gedrag is, en wat verantwoord moet worden.
Inventaris, identiteit en mandaat
Welke agents draaien er, onder welke eigen technische identiteit, en onder wiens autorisatie: welke gegevens mogen ze zien en is die grens technisch afgedwongen.
Menselijke tussenkomst
Waar is goedkeuring vooraf vereist, is dat een echte beoordeling of routinematig doorklikken, wie kan de agent stoppen, en is die noodstop ooit beproefd.
Bewijs en herleidbaarheid
Een handelingslog dat de agent niet zelf kan aanpassen, herleidbaarheid naar instructie en modelversie, en een bewaartermijn afgeleid van de verjaring van het besluit.
Betrouwbaarheid en toetsing
Is de agent vooraf beproefd tegen een vastgestelde norm, is er een gemeten foutpercentage, en wordt stille verslechtering opgemerkt.
Naleving en rapportage
Kenbaarheid naar wie de agent communiceert, AI-geletterdheid van wie hem aanstuurt, verantwoording aan bestuur en auditcommissie, en het regime voor ingekochte agents.
Voor wie, en in de suite
Wat de toetsing oplevert
De toetsing geeft de CAE een onderbouwd antwoord op de vraag die bestuur, accountant of toezichthouder vroeg of laat stelt.
De CAE: welke agents draaien er, wie heeft ze gemachtigd, welke persoonsgegevens raakten zij, en waar staat het bewijs dat zij binnen die machtiging bleven.
De eigen auditfunctie: dezelfde normen gelden voor de agent van de auditfunctie zelf, die auditdossiers met persoonsgegevens doorzoekt.
Privacy en compliance: vijf normen toetsen specifiek dataminimalisatie en persoonsgegevens die meeliften in bijlagen, exports en mailboxen.
Het normenkader in de suite
Toets de agents die al draaien
Bekijk het volledige normenkader in de CRAFT-bibliotheek, of laat ons in een demonstratie zien wat de toetsing voor uw agents oplevert.