Over the last few years, we have seen a trend in the financial statements audit towards data analytics involving a 100% analysis of the population, thus allowing audit teams to focus on the highest areas of risk whilst maintaining an efficient and effective audit. An innovative type of data analytics is predictive modeling, including Regression Analysis, which links historical analysis to future performance using statistical models – an immensely powerful tool.

Introduction

In this article we briefly explain the key concepts of regression analysis and further elaborate on how it works as part of a financial statements audit, covering the key elements of the following phases: Planning, Model Building and Audit Interface. In addition, we illustrate how these key elements have been put in practise in KPMG’s Regression Analysis tool (eAAT – Account Analysis Tool) and related methodology. At the same time we summarize the advantages of using regression analysis as part of a financial statements audit as well as certain constraints when putting it into use.

Regression Analysis: Key Concepts

Regression analysis is a statistical technique used to predict data based on past relationships between two or more variables. The historical relationship between these variables (one dependent variable – the item we are auditing – and one or more independent variables) is mathematically defined and then applied to the current year’s dependent variable. The expected values of the current year’s dependent variable are then compared to the actual values, and the significance of the differences is evaluated.

C-2015-3-Timmerman-01

Figure 1. Regression analysis.

Example

A practical example involves a regression analysis to predict the sales of a chain of 52 restaurants.

The dependent variable (Y axis) is the monthly sales of each restaurant;
The independent variable (X axis) is the monthly amount of meat in kgs purchased by each restaurant; this information is provided by the sole meat supplier for the chain of restaurants;
Based on historical data of the last three years, a “straight line” (regression equation) is determined mathematically to be the “best fit” between the dependent (sales in euros) and the independent variable (purchased amount of meat in kgs);
This regression equation based on historical data is used to predict the current year’s monthly sales of restaurants;
The predicted monthly sales of each restaurant of the chain is compared to the actual monthly sales;
The significance of the variances is statistically evaluated and based on the “audit interface” (see below). Then the amount or required remaining audit evidence (if any) is established so as to ascertain that a material misstatement does not exist relating to the completeness, existence and accuracy of the recorded sales.

How Does It Work?

Regression analysis as part of a financial statements audit consists of three phases: Planning – Model Building – Audit Interface.

Planning

The planning phase consists of two types of activities:

Determining the dependent variable (e.g., sales in euros) and the independent variable(s) (e.g., purchased amount of meat in kgs). Note that there are three types of independent variables (“predictors”): financial internal predictors (e.g., cost of sales), non-financial internal predictors (e.g., number of clients) and external predictors (e.g., consumer price index, purchased amount of meat in kgs).
Collecting data: both historical data for use in developing a regression model, and the current year’s data.

KPMG’s approach

KPMG’s regression analysis tool (eAAT) involves a centralized approach, both to predefine the accounts for which the use of regression analysis is suitable per industry, and to collect data for the external predictors.

Note that the reliability of the external predictors is tested centrally. For the internal predictors, the auditor needs to perform additional procedures to determine the reliability of the data.

Model Building

This phase includes entering the data and having a tool build the statistical model, produce the predicted values and perform a comparison with actual values.

KPMG’s approach

A regression analysis tool (eAAT) has been built centrally. This tool determines the regression model that gives the “best” predictors considering correlations between an account (e.g., sales) and its pre-defined predictors (e.g., cost of sales).

Audit Interface

This phase consists of two activities:

Checking the relevance and the quality of the model;
Determining the remaining audit evidence needed.

KPMG’s approach – checking the relevance and quality of the model

KPMG’s approach includes both a quantitative and a qualitative assessment to determine the relevance and quality of the model.

The quantitative assessment involves determining the confidence level ensuring the account does not contain a material misstatement. The lowest level amongst all months of the current period is taken and scored on a scale from A (highest) to F (lowest). The confidence level provides information about the predictive accuracy of the regression model.

The qualitative assessment involves determining the correlation coefficient of each predictor and rating of the quality of the source of the predictors.

The correlation coefficient is a statistical calculation that measures the strength of the relationship between the independent and dependent variables (varies between 0 and 1) and provides information about the relevance of the model.
The quality of the source of the predictors is rated as follows:
- Lower: internal financial indicators from same sources (e.g., revenue and trade receivables, inventories and cost of sales)
- Moderate: internal financial data from different sources (e.g., revenue and cost of sales, trade receivables and trade payables) and internal non-financial data (e.g., number of employees, capacity data)
- Higher: external data (e.g., inflation, interest rate, stock market index)

A qualitative assessment score is determined on a scale from 1 to 5, using predefined tables combining the correlation score and the type of predictor score.

eAAT subsequently combines the Quantitative and the Qualitative scores for each account and provides a final evaluation of the audit evidence obtained through the regression analysis. The scales are as follows: None, Little, Moderate, High, Extensive.

KPMG’s approach – determining the remaining audit evidence needed

The amount of audit evidence needed for substantive testing is generally determined by both the evaluation of the Inherent Risk (Significant, Not Significant) and the degree of reliance on Internal Controls (Control Risk Higher, Control Risk Lower). By means of another module of eAAT (that is evaluating the client’s journal entries for the period under audit by comparing actual account combinations to expected combinations), the Not Significant Inherent Risk is further refined as follows:

C-2015-3-Timmerman-02

Figure 2. Refining Non Significant Inherent Risk.

Figure 3 shows how the level of audit evidence obtained from Regression Analysis (i.e., None through Extensive) is used to determine the remaining audit evidence needed for each assertion (Completeness, Existence, Accuracy and Valuation, Ownership, Presentation).

Figure 3. Determining the remaining audit evidence needed. [Click on the image for a larger image]

Figure 3 demonstrates that the refining of the Not Significant Inherent Risk combined with strong (High, Extensive) evidence obtained from Regression Analysis results in quite a number of cases where no further testing of internal controls nor performance of additional substantive testing is required. If the evidence from Regression Analysis is less strong (Little, Moderate), testing of internal controls needs to be further considered but the amount of additional substantive testing is reduced.

Also note that if the Inherent Risk is evaluated as Significant, specific substantive testing procedures need to be performed to address the significant inherent risk of error.

In our practical example (prediction of the monthly sales of a chain of restaurants), the regression model proved to be of a high quality: a confidence level of 95% (except for 4 restaurants/months – see below), a strong correlation (87%) and a reliable source of external data for the independent variable (a schedule of delivered amount of meat in kgs per month/restaurant provided by the sole meat supplier). Based on this, it was decided not to test the internal controls relating to the sales process and to limit additional substantive testing to a follow-up involving the 4 restaurants/months with a confidence level of less than 95%, three of which were related to the completeness of sales and one to the existence of sales.

Additional testing was performed, with the following satisfactory results: for the three restaurants with a potential understatement of sales, it was determined that it related to new restaurants that were started up in the month, with one exception: for the one restaurant with a potential overstatement of sales, it was determined that it referred to an establishment located on the marine parade of Ostend for the month of July. For this period the additional sales were accounted for by the increased sales of ice-cream due to the exceptionally warm weather.

As a result, we were able to limit the effort to audit the completeness, existence and accuracy of the sales of the chain of restaurants to the following actions: collecting the historical and current monthly sales data (per restaurant) from the financial system and agreeing the data to the general ledger; obtaining and reviewing the annual delivery statistics (amount of meat per month/restaurant in kgs) provided by the meat supplier for the sake of reasonableness; running the regression analysis and determining the quality of the model; following up on the four exceptions. The key realized efficiency was that we did not need to test the design and operating effectiveness of the sales process and of the general IT controls on the applications supporting the sales process. In addition, the client was keenly interested in our innovative way of performing an audit as well as the possibilities of implementing a regression analysis on sales as a monitoring measure by himself.

Pros and Cons of Regression Analysis

We have demonstrated above that regression analysis can be an immensely powerful tool, enabling the auditor to perform a very effective and efficient financial statements audit. If you have a model that is sufficiently strong (High, Extensive), you just need to test the completeness and accuracy of the internal data (predictors), upload the data, and evaluate the results of the regression analysis; no further testing of internal controls nor performing of substantive testing is required.

Given the above, combined with the fact that regression analysis is not a new statistical technique, the question arises why this technique has not been used from the beginning. The answer to this question resides partially in a number of constraints when putting it into use: client suitability and complexity.

Client Suitability

Not all clients are suitable for regression analysis as part of a financial statements audit. The following conditions need to be in place:

Existence of a repetitive transaction volume: regression analysis is not likely to be useful in audits of clients who have a very low volume of transactions or when most of their individual transactions are substantial (e.g., real estate developers, investment holding companies);
Availability of sufficient suitable predictors that can be used to develop regression models: it may be a key challenge to identify predictors that result in a strong (High, Extensive) model!

Typical models based on internal predictors are:

Cost of sales to predict Revenue
Number of customers to predict Revenue
Revenue to predict Trade Receivables
Head count to predict Salary Expense
Machine hours to predict Revenue

The above models may be less strong (e.g., because only internal predictors are used) but can still effectively contribute to a reduction of the remaining audit evidence needed.

Stronger models are likely to be available in the case of trading and/or production companies that have a limited number of suppliers of goods/raw materials, and for which the supplier(s) can produce delivery statistics. Some examples of such external predictors are:

The delivery statistics of nickel (provided by the nickel refinery) to predict the revenue from nickel trading;
The delivery statistics of malt (provided by an organization representing the malt farmers) to predict the revenue from beer sales;
The delivery statistics of cacao butter (provided by the main supplier of cacao butter) to predict the revenue from chocolate sales.

Note that for the identification of both internal and external predictors, getting back to the “value chain”, an old auditing technique that Dutch auditors used to be (or are) quite familiar with, may turn out to be an excellent source of inspiration.

No new clients or clients with significant business or system changes from prior years;
Excluding PIEs (public interest entities) and high risk engagements.

Complexity

Another major constraint is the fact that many auditors are not or not sufficiently familiar with statistics and therefore reluctant to use regression analysis as part of a financial statements audit. An additional constraint is the fear of relying on inappropriate models (e.g., autocorrelation, non-normality).

Conclusion

Regression analysis represents a very powerful tool to reduce the amount of time spent on evaluating internal controls and/or performing substantive testing procedures for accounts with a negligible inherent risk, thus allowing auditors to focus on the higher risk areas.

The challenge is to identify suitable predictors that result in a strong model combined with efforts to build sufficient regression analysis competence within the audit practise and … to get cracking by running a number of pilots and creating a number of success stories.

Auditor, kijk ook naar de industriële systemen!

Industriële bedrijven, en dus ook hun auditors, zijn tegenwoordig steeds meer of zelfs volledig afhankelijk van informatie afkomstig van digitale meters uit aangesloten IT-systemen. De beveiliging van deze systemen moet op orde zijn om de bedrijfscontinuïteit te kunnen waarborgen en om een juiste financiële jaarweergave te kunnen opstellen voor klanten met hun corebusiness in de procesindustrie. In de praktijk is er binnen industriële bedrijven echter weinig tot geen aandacht voor IT-beveiliging. Wat betekent dit voor de auditor?

Inleiding

De jarenlange stabiele procestechnologie in industriële omgevingen is met een sneltreinvaart ingehaald door alle ontwikkelingen op het gebied van IT-technologie en daardoor is een raakvlak ontstaan tussen de industriële systemen en de kantooromgeving. Waar vroeger de productiedata van met smeer en roest besmeurde analoge tellers werden afgelezen en daarna op papier werden verstuurd, is de industrie nu afhankelijk van digitale meters, geautomatiseerde processen en een explosie aan informatie. Tegenwoordig zijn industriële bedrijven, en dus ook hun accountants, steeds meer (of zelfs al volledig) afhankelijk van informatie afkomstig van digitale meters uit aangesloten IT-systemen. Deze informatie, zoals de kwantiteit en kwaliteit van de producten, het productieresultaat of de uitstoot (van CO₂, NO₂, etc.), wordt tegenwoordig steeds vaker gebruikt om de bedrijfsvoering realtime aan te passen en/of te sturen.

De systemen die de productieprocessen aansturen en monitoren, worden ook wel Industrial Control Systems (ICS) genoemd. Dit zijn bijvoorbeeld de systemen die meten hoeveel olie door een pijpleiding loopt, een pomp automatisch aanzetten als de druk te hoog wordt of meetresultaten van verschillende sensoren combineren en deze data naar een ERP-systeem versturen zodat de nieuwe productieprocessen of benodigd onderhoud efficiënt gepland kunnen worden. Als de output van ICS-systemen incorrect is, worden er waarschijnlijk verkeerde prognoses gedaan voor de inkoop van grondstoffen, ontstaan er veiligheidsrisico’s (de tank was toch leeg?) of worden aan de kant van verkoop onjuiste facturen verstuurd omdat het verbruik van grondstoffen en de levering van het eindproduct wezenlijk anders zijn dan het ERP-systeem laat zien. En het ERP-systeem is leidend, toch? Uiteindelijk zullen dan ook de jaarcijfers niet kloppen ten opzichte van de daadwerkelijke levering of productie, wat een aanzienlijk auditrisico met zich mee kan brengen bij nader onderzoek door overheid of milieu-inspectie of bijvoorbeeld bij ontdekking door de klanten zelf. Hierdoor kan ook de belastingbetaling aan de overheid incorrect zijn.

Ervan uitgaande dat de ICS-systemen correct zijn ingericht, dan is er toch geen auditrisico? Helaas, een van de meest actuele oorzaken van dit risico is een slecht ingerichte logische beveiliging (IT-systemen, netwerken, wachtwoorden, etc.) van de industriële omgeving. Een bijkomend effect van een slechte beveiliging van deze omgeving is dat de bedrijfscontinuïteit niet gewaarborgd wordt, gegevens door hackers via het internet kunnen worden aangepast en zogenaamde safetysystemen (kritische beveiligingssystemen) niet meer naar behoren functioneren (bijvoorbeeld als de druk in een pijpleiding te hoog oploopt), wat erg gevaarlijke situaties kan opleveren voor het personeel en de omgeving, met kans op grote branden, explosies, milieuvervuiling en verlies van levens. Wat bedrijfsleiders in de industrie zich vaak niet realiseren is dat de bovengenoemde voorbeelden van audit- en bedrijfsrisico’s zich zelfs al in de vroege aanbesteding en constructie van nieuwe fabrieken kunnen manifesteren, zoals in de supply chain van (deel)componenten die worden gebruikt in de industriële omgeving. Het is van belang dat de beveiliging van deze systemen (en de supply chain) op orde is voor de bedrijfscontinuïteit en voor het kunnen opstellen van een juiste financiële jaarweergave van klanten met hun corebusiness in de procesindustrie.

Wat is ICS/SCADA?

Een Industrial Control System is een complex systeem van allerlei soorten computers, actuatoren, sensoren, verbindingen en protocollen, met als doel de (industriële) processen dag en nacht op een gecontroleerde wijze draaiende te houden. Een eenvoudig voorbeeld van een kleinschalig ICS-systeem is een zwembad waar verschillende componenten (zoals temperatuur- en druksensoren en pompen) gebruikt worden om de waterstromen op gang te houden, de temperatuur zo aangenaam mogelijk te houden maar ook het zwembad veilig te houden. Via een centraal dashboard kunnen dan bijvoorbeeld de huidige temperatuur van het water, het chloorgehalte en het waterniveau bewaakt worden. Op basis van de meetresultaten van de sensoren kunnen vervolgens handmatige of geautomatiseerde acties ondernomen worden, zoals het verhogen van de temperatuur, het toevoegen of verminderen van chloor en het aanzetten van een pomp.

Hetzelfde principe wordt gebruikt in een fabriek, maar dan op een veel grotere schaal met grotere consequenties bij falen. Binnen een industriële omgeving worden alle processen met behulp van Supervisory Control And Data Acquisition (SCADA)-systemen zo veel mogelijk geautomatiseerd bewaakt en aangestuurd op basis van gegevens die door de (soms wel miljoenen) sensoren worden waargenomen en gerapporteerd. In plaats van één dashboard zijn er vaak tientallen monitoren waarop operators dag en nacht de huidige status centraal kunnen bijhouden en vanzelfsprekend kunnen ingrijpen in het geval van een afwijking of calamiteit.

Een productieketen binnen een industrieel proces kan uit de volgende componenten bestaan:

sensoren die bijvoorbeeld temperatuur, druk en luchtkwaliteit meten;
controllers die fysieke componenten aansturen op basis van de output van sensoren of handmatige acties (bijvoorbeeld het openen van kleppen);
centrale systemen waarvandaan de controllers kunnen worden aangestuurd;
databases waarin de productie- en meetgegevens worden opgeslagen;
Process Information (PI)-server die de bovengenoemde productie- en meetgegevens beschikbaar maakt voor financiële en operationele managementrapportages. Het is feitelijk de enige plek waar achteraf (in detail) te zien valt wat er heeft plaatsgevonden.

Binnen industriële omgevingen wordt van oudsher veel aandacht besteed aan HSE: Health (gezondheid), Safety (veiligheid) en Environment (omgeving). De processen en componenten zijn dan ook vaak zo geconfigureerd en geïmplementeerd dat de risico’s voor de gezondheid, veiligheid en omgeving zo veel mogelijk zijn gereduceerd. Hiertoe zijn bij grotere fabrieken vaak geautomatiseerde veiligheidssystemen geïmplementeerd die in het geval van een noodsituatie zorgen voor een gecontroleerde ‘shutdown’ van alle processen zodat bijvoorbeeld het risico op een ontploffing in het geval van een hoge druk of chemische verbindingen in een leiding of vat gemitigeerd wordt. Interessant daarbij is dat de mens bijna nooit de mogelijkheid heeft om in deze processen in te grijpen: zodra de computer vindt dat de situatie onveilig is (of wordt), grijpt deze direct in.

Hoe werkt een ICS/SCADA-component aan de binnenkant? Verrassend genoeg zijn de ICS/SCADA-leveranciers de afgelopen jaren (en met een sneltreinvaart) steeds meer reguliere IT-componenten gaan gebruiken in hun producten en diensten. Een ICS/SCADA-component is dus eigenlijk niet anders dan een laptop of televisie, maar dan betrouwbaarder (althans, dat zou zo moeten zijn) en dus ook veel duurder (soms zelfs een factor 100).

Echter, doordat er steeds meer IT wordt geïntroduceerd in deze industriële omgevingen, ontstaat er ook een nieuw risico: informatiebeveiliging (Security). Binnen verschillende bedrijven met een industriële omgeving is sinds enkele jaren de S van Security aan het rijtje HSE toegevoegd, om daarmee te komen tot HSSE. Dit is niet voor niks, want security heeft een directe impact op de gezondheid, de veiligheid en de omgeving!

Wij zien hier een opvallende tegenstelling. Hoewel noodprocedures en veiligheidsprotocollen (HSE) in industriële omgevingen vaak van zeer hoog niveau zijn, is er weinig tot zeg maar gerust geen aandacht voor IT-beveiliging (Security) en bijbehorende processen die in het normale bedrijfsleven heel gewoon zijn (zoals access management, patch management, etc.). Boorplatformen beschikken bijvoorbeeld over Fire and Gas (FIS/GAS)- of Emergency Shutdown (ESD)-systemen die automatisch het proces en de onderliggende infrastructuur stilleggen als er vuur, gas of een te hoge druk gedetecteerd wordt. Kijk je in dezelfde omgeving naar de IT-beveiliging, dan is er sprake van een heel andere, bijna onvoorstelbare, onveilige situatie. Sommige systemen zijn zelfs zonder nadenken gekoppeld aan het internet, waardoor bijna iedereen ze op afstand kan manipuleren. Het is opvallend dat in een omgeving waarin veiligheid boven aan de agenda staat, de IT-beveiliging vaak achterblijft. De paradox hier is dat juist die zwakheden in de IT-omgeving eenvoudig misbruikt kunnen worden om de processen te verstoren en aan te passen en zelfs de safetysystemen buiten werking te zetten. De veiligheid (safety) wordt dus juist ondermijnd door een gebrek aan security.

Figuur 1. Voorbeeld van ShodanHQ inzake op internet aangesloten onbeveiligde industriële systemen. [Klik op de afbeelding voor een grotere afbeelding]

Hoe kunnen deze risico’s zich materialiseren?

Zoals eerder beschreven kunnen productiegegevens worden gewijzigd door middel van manipulatie van gegevens binnen het proces zelf, tijdens het verzamelen en transporteren van gegevens, direct in de centrale database of direct op de PI-server. Als we dit combineren met onze eerdere opmerking dat de IT-beveiliging van al deze onderdelen over het algemeen niet op het juiste niveau is (lees slecht), dan is het vrij eenvoudig om in te zien dat uiteindelijk de meet- en productiegegevens eenvoudig incorrect kunnen worden geïnterpreteerd, simpel omdat ze gewoon niet meer kloppen. Aangezien deze gegevens de basis zijn voor de jaarrekeningcontrole bij industriële klanten (immers, alle bedrijfsprocessen rondom de fabriek zijn afhankelijk van deze gegevens en resulteren uiteindelijk in een financieel getal), is de integriteit hiervan uiterst essentieel.

Op basis van onze ervaringen met het uitvoeren van security reviews van industriële omgevingen zien wij de volgende veelvoorkomende zwakheden:

Het gebruik van onveilige (of verouderde) software zoals Windows XP. Het komt vaak voor dat nieuwe software- of besturingssystemen niet werken met de software van de ICS/SCADA-leverancier (of de leverancier claimt dat het niet werkt). Daarnaast is het bijna onmogelijk de systemen te herstarten om een nieuwe patch te installeren zonder dat dit impact heeft op de productieprocessen. Het komt dus nog regelmatig voor dat een splinternieuwe fabriek in 2015 opgeleverd wordt met Windows XP als besturingssysteem op de ICS-componenten, terwijl Windows XP al jaren niet meer ondersteund wordt door Microsoft. De omgeving is dus eigenlijk al lek (vanuit beveiligingsoogpunt) voordat deze formeel wordt overgedragen aan de klant.
Het gebruik van zwakke wachtwoorden voor accounts met vergaande rechten. Door onvoldoende ‘security awareness’ worden er vaak zwakke wachtwoorden geconfigureerd omdat deze gemakkelijker te onthouden zijn.
Onveilig geconfigureerde systemen die resulteren in kwetsbaarheden. De systemen worden vaak eenmalig geconfigureerd bij de oplevering van de omgeving. Aangezien de focus ligt op de beschikbaarheid en functionaliteit, worden beveiligingsrisico’s vaak niet opgelost.
Onveilige segregatie van het netwerk, remote toegang en inadequate controle op derde partijen. Om eventuele problemen op afstand te kunnen oplossen worden er vaak verbindingen aangelegd met leveranciers. Het probleem is dat er in de afspraken tussen de afnemer en de leveranciers vaak geen eisen aan de beveiliging worden opgenomen. Eenzelfde situatie doet zich voor bij onderaannemers die bijvoorbeeld pure zuurstof leveren aan de fabriek. Bij grote fabrieken staat zo’n onderaannemer zelf ook met een minifabriekje op het terrein. Tussen de systemen van beide zit heel vaak een verbinding zodat de processen optimaal op elkaar zijn afgestemd, maar helaas is 99 van de 100 keer deze verbinding onbeveiligd.

Waar de meeste geautomatiseerde aanvallen in het ICS-domein (die in het nieuws komen) gericht zijn op het uitvoeren van een zogenaamde Denial of Service (DoS)-aanval, oftewel het tijdelijk maar vaak ook permanent verstoren van de productie (denk aan Stuxnet, zie [Lang11]), is het belangrijk te weten dat de verkregen toegang ook gemakkelijk misbruikt had kunnen worden om meet- en productiegegevens direct te manipuleren.

Nu kan een organisatie zich afvragen waarom zij het doel zou zijn van een aanvaller. Dat een organisatie denkt dat zij niet ‘belangrijk’ genoeg is om te worden aangevallen is echter niet relevant – dit is volledig aan de aanvaller om te bepalen. Helaas geldt (in tegenstelling tot het bedrijfsleven) dat bijna alle industriële omgevingen wel interessant zijn voor iemand, om uiteenlopende redenen, zoals spionage, concurrentie, diefstal van intellectueel eigendom, milieuactivisme of hobbyisme.

Belangrijkste risico’s

Gebrek aan inzicht in risico’s. Omdat er te weinig kennis of bewustzijn is op dit vlak, weet men niet wat de risico’s zijn of focust men op de verkeerde risico’s.
Remote shutdown. Iemand kan op afstand de productieomgeving beïnvloeden en uitzetten.
Ongeautoriseerde toegang tot Programmable Logic Controller (PLC). Een PLC kun je beschouwen als een computer die het proces, de pompen en motoren, aanstuurt. De per proces verschillende aansturing heet ‘ladder logic’. Het gaat om het veiligheidstrappensysteem waarbij bijvoorbeeld de installatie automatisch wordt teruggeschakeld als de druk te hoog wordt. Als criminelen die protocollen kunnen beïnvloeden, ontstaat een heel gevaarlijke situatie. Dit was bijvoorbeeld het geval bij Stuxnet, waarbij een centrifuge doelbewust werd oververhit.
Dreigingen vanuit een derde partij. Op productielocaties is het vaak een komen en gaan van allerlei externen (leveranciers, engineers, monteurs). Zij loggen met allerlei apparaten in en vormen zo een beveiligingsrisico.
Auditrisico. IT en de daaruit voortvloeiende beveiligingsrisico’s zijn onoverkomelijk vervlochten geraakt met productieprocessen in fabrieken waardoor incorrecte jaarcijfers kunnen ontstaan.

Ketenbeveiliging begint bij de supply chain

De beveiliging van ICS begint niet wanneer de fabriek reeds in operatie is maar al veel eerder: bij de aanbesteding en implementatie van een nieuwe fabriek. Aangezien de industriële systeemcomponenten in een industriële omgeving een veelvoorkomend doel zijn voor cyberaanvallen, is het niet ondenkbaar dat deze componenten al voordat de fabriek is gebouwd en opgestart, worden gemanipuleerd. Met andere woorden, een aanvaller zou kunnen interfereren met de supply chain van deze componenten om zo mogelijk later schade aan het bedrijf te veroorzaken of financieel gewin te behalen (bijvoorbeeld door afpersing). Omdat deze dreigingen veelal plaatsvinden voordat een fabriek operationeel is, wordt dit vaak niet (direct) opgemerkt.

Een voorbeeld van een dreiging in de supply chain is dat een Programmable Logic Controller (PLC) in een opslagruimte (warehouse) wordt aangetast met malware met de functie om gemanipuleerde data te versturen. Je kunt je voorstellen dat het lastig (en soms bijna onmogelijk) is om later vast te stellen dat dit het geval is, want de operators en het productieproces zien immers alleen deze data (waarvan ze denken dat die correct zijn). Zo kan een aanvaller bijvoorbeeld zeer effectief het productieproces inefficiënt laten verlopen.

Een ander voorbeeld van een dreiging betreft de situatie waarin wordt gewerkt met meerdere leveranciers, iets wat veel voorkomt in grote fabrieken. Een resultaat hiervan is dat op productielocaties talrijke externen (leveranciers, engineers, monteurs) komen met hun eigen apparatuur en computers (laptops) die zij op meerdere locaties van verschillende organisaties gebruiken. Zij bezoeken bijvoorbeeld een geïnfecteerde fabriek en gebruiken vervolgens de geïnfecteerde apparatuur in een andere fabriek. De malware die bestaat voor industriële omgevingen is al een tijdje slim genoeg om te ‘springen’ van de ene locatie naar de andere en tegelijkertijd onzichtbaar te blijven. Daarnaast gaan deze derde partijen veelal onvoorzichtig om met ‘beheer op afstand’, wat ook extra beveiligingsrisico’s met zich meebrengt.

Uit deze voorbeelden komt naar voren dat vanuit het oogpunt van de supply chain en derde partijen het dus ook van vitaal belang is om voldoende mitigerende maatregelen te treffen om de integriteit (en continuïteit) te waarborgen.

Oplossingen

Zorg dat je grip krijgt op de toegangscontrole van het netwerk en procescontrolesystemen. Vanuit de gedachte dat toch niemand bij het op zichzelf staande systeem kan komen, zijn de wachtwoorden vaak zwak. Meestal worden eenvoudige wachtwoorden als ‘engineer’ of ‘operator’ gebruikt. Indringers die de bedrijfsomgeving binnen zijn gekomen, kunnen zo gemakkelijk doorstappen naar de procescontroleomgeving.
Focus op detectieve maatregelen in plaats van een preventieve aanpak. Er moeten analyses in de beveiliging worden ingebouwd waarbij risico’s of fraude actief kunnen worden opgespoord. Met alleen het patchen van softwareversies of veranderen van wachtwoorden ben je er niet, met name omdat de software vaak vrij oud is en de komende 20 jaar niet gaat veranderen (immers, een fabriek wordt opgestart met het plan deze 20 à 30 jaar te laten draaien).
Zorg voor het juiste beleid. De verantwoordelijkheid voor de IT-beveiliging moet bij de juiste persoon liggen. Vaak is er lokaal iemand verantwoordelijk voor de beveiliging, bijvoorbeeld de hoofd-engineer of facility-manager. Hebben personen in deze functie wel de juiste kennis en middelen? Wat helpt is een stuurgroep van zowel mensen die het proces snappen als degenen die over beveiligingsrisico’s gaan (bijvoorbeeld de CISO). Daarnaast moet de raad van bestuur ook eigenaarschap nemen, want uiteindelijk draait het om hun bedrijf en personeel.
Probeer de wereld van engineers te begrijpen. Zij werken in een andere wereld dan jij als IT-professional gewend bent. In industriële omgevingen gaat het om het 24 uur per dag draaiend houden van een productiesysteem. De veiligheid van die installatie staat voorop. Daarbij zijn engineers zich vaak niet bewust van de risico’s op IT-gebied. Daar is sturing nodig. Wat vooral werkt is ‘echte’ risico’s te onderkennen. Dus niet ‘de virusscanner is niet geïnstalleerd’, maar ‘door deze combinatie van instellingen is het mogelijk de ladder logic vanaf het internet aan te passen’.

Bepaal wat het geïdentificeerde risico betekent voor je audit

IT en de daaruit voortvloeiende beveiligingsrisico’s zijn onoverkomelijk vervlochten geraakt met de productieprocessen in industriële omgevingen. Wanneer deze risico’s niet voldoende gemitigeerd worden, kunnen incorrecte jaarcijfers ontstaan en moet de accountant zich afvragen of zijn verklaring over de jaarrekening wel juist is. Daarom vinden wij dat de auditor ook de industriële systemen zou moeten beoordelen!

Het is belangrijk onderscheid te maken tussen het uiteindelijke bedrijfsrisico en het zogenaamde auditrisico: dat een kwaadwillende gemakkelijk de cijfers in het productiesysteem kan aanpassen (de zogenaamde ‘can do’), wil nog niet zeggen dat dit ook daadwerkelijk gebeurd is (de zogenaamde ‘did do’). Het is dus van belang te bepalen of aanvullende werkzaamheden, zoals gegevensgerichte (substantive) controles, nodig zijn door te bepalen hoe waarschijnlijk een risico eigenlijk is. Denk daarbij echter wel aan de bronnen van de gegevensgerichte controles, want die kunnen we niet zomaar vertrouwen.

Aan de andere kant, als auditors IT-beveiliging van industriële controlesystemen moeten meenemen in hun aanpak, dan zullen organisaties hier ook voldoende maatregelen moeten treffen. Het is uiteindelijk deze wisselwerking waarvoor de discussie binnen de beroepsgroep op gang gebracht dient te worden!

Literatuur

[Lang11] R. Langner, Stuxnet: Dissecting a Cyberwarfare Weapon, IEEE Security & Privacy, June 2011, pp. 49-51.

IT-audit in 2015 and beyond: data driven!

De toepassing van data driven auditmethodieken heeft de afgelopen jaren een vlucht genomen. In dit artikel schetsen wij hoe de ontwikkelingen van de afgelopen periode zich uiten in de IT-auditaanpak voor 2015. Wij richten ons hierbij op een aantal innovaties binnen de drie hoofdstappen van het auditproces, namelijk risk assessment, interimactiviteiten en gegevensgerichte procedures. We staan stil bij de vaardigheden die de data driven IT-auditor nodig heeft voor het succesvol toepassen van deze innovaties en kijken hoe het auditproces nog verder zal veranderen in de nabije toekomst.

Inleiding

Een systeemgerichte controleaanpak met aandacht voor het testen van controls is al jaren sterk verankerd binnen de jaarrekeningcontrole. De IT-auditor heeft binnen de controle vaak de verantwoordelijkheid om general IT controls en applicatiecontrols te testen om zekerheid te geven over opzet, bestaan en werking van aan IT gerelateerde beheersmaatregelen.

Wij zien echter dat er sinds een aantal jaren een verschuiving plaatsvindt van het testen van beheersmaatregelen naar het meer ‘data driven’ uitvoeren van gegevensgerichte werkzaamheden om de betrouwbaarheid van de gegevensverwerking te waarborgen. Deze verschuiving heeft een grote impact op de te verwachten werkzaamheden van de accountant en IT-auditor binnen de jaarrekeningcontrole.

De afgelopen jaren zijn veel initiatieven opgestart om de data driven aanpak met inzet van data-analysesoftware ook toe te passen binnen complexe IT-omgevingen. Data-analyse en het gebruik van software krijgen langzaamaan een steeds groter aandeel binnen de jaarrekeningcontrole. De ‘traditionele’ auditaanpak maakt plaats voor meer innovatieve methoden waardoor de toegevoegde waarde van de IT-audit voor de klant toeneemt, met als doel een efficiëntere en effectievere audit uit te voeren voor de accountant ([Heij12]).

Wij verwachten dat deze ontwikkeling de komende jaren zodanig zal vorderen dat er met behulp van software bij een klant automatisch gegevensgerichte werkzaamheden op continue basis zullen worden uitgevoerd, inclusief het automatisch genereren van de jaarrekening door de klant. Voorbeelden van innovatieve toepassingen die hier reeds mee experimenteren zijn Yuki en QuickBooks Online. Onze verwachting is wel dat deze ontwikkelingen door incrementele innovaties worden geïntroduceerd in plaats van door een big-banginnovatie.

Daarom gaan we in dit artikel in op enkele innovatieve toepassingen die de afgelopen jaren hun intrede hebben gedaan in de IT-auditwereld en geven aan hoe deze verwerkt dienen te worden in de IT-auditaanpak van 2015 en verder. Vervolgens staan we stil bij de impact die deze innovaties hebben op de werkzaamheden en het profiel van de IT-auditor. We sluiten af met een blik vooruit, waarbij we de vraag beantwoorden hoe de IT-auditwereld er in de toekomst uit zal zien.

Innovaties in de IT-audit van 2015: data driven

De sterke afhankelijkheid van IT bij grote organisaties heeft ertoe geleid dat IT-auditprocedures een essentieel onderdeel zijn geworden van de jaarrekeningcontrole. Hierbij ligt de focus van de IT-auditor op het controleren van de betrouwbaarheid en continuïteit van de informatieverwerking. Zoals eerder vermeld staat voornamelijk het testen van general IT controls en applicatiecontrols centraal. De afgelopen jaren zijn er echter binnen de IT-audit verschillende innovaties geïntroduceerd die intensief gebruikmaken van data. Deze innovaties focussen niet alleen op het effectiever (kwalitatief beter) uitvoeren van traditionele IT-auditprocedures, maar ook op het efficiënter uitvoeren van werkzaamheden die de financieel auditor normaliter voor zijn rekening neemt.

In deze paragraaf gaan we eerst in op de noodzaak om te innoveren. Vervolgens gaan we in op data driven innovaties die naar onze mening de meeste impact hebben of zullen hebben op de IT-audit in 2015 en verder.

Waarom innovatie?

Wij beperken ons hier tot innovaties die de IT-auditor kan inzetten. Daarom staan wij alleen stil bij innovaties met betrekking tot de IT-auditactiviteiten binnen de jaarrekeningcontrole. Innovatie is van belang om te sturen op kosten, kwaliteit en output ([Pomp03]). Onderstaand illustreren wij hoe voor accountantsorganisaties deze aspecten onder druk staan.

Kosten

Door onder andere de verplichte kantoorroulatie en de toenemende eisen ten aanzien van de kwaliteit van de accountantscontroles, staan de kosten van de accountantscontrole onder druk. Accountants zijn daarom samen met IT-auditors op zoek naar methoden om de audit efficiënter uit te voeren en zo de controle meer te standaardiseren en de kosten te beheersen met behoud of verhoging van kwaliteit. Daarnaast kan door het efficiënter uitvoeren van de audit tijd worden bespaard die de auditor kan besteden aan bijvoorbeeld complexe reportingvraagstukken en grote verandertrajecten die binnen de klantorganisatie spelen en die impact hebben op de financiële rapportageprocessen.

Kwaliteit

De kwaliteit van de jaarrekeningcontrole is tegenwoordig een veelbesproken onderwerp. Auditors zijn op zoek naar methoden die de controlewerkzaamheden effectiever maken en meer controlezekerheid opleveren. Hierdoor vindt een verschuiving plaats van het steunen op beheersmaatregelen (control-based) naar het meer integraal (gegevensgericht) uitvoeren van testactiviteiten.

Output

De jaarrekeningcontrole heeft voornamelijk betrekking op historische gegevens. Vanuit de maatschappij ontstaat echter steeds meer de wens om ook toekomstgerichte zekerheid te krijgen als het gaat om de financiële gezondheid van organisaties. Tot op heden is dit slechts beperkt verankerd in de wettelijke controletaak van de accountant. Desalniettemin kan de accountant door inzet van voorspellende analyses van meer toegevoegde waarde zijn voor ondernemingen. Denk hierbij bijvoorbeeld aan trendanalyses en het uitvoeren van efficiency benchmarks met organisaties in dezelfde industrie.

De IT-audit in 2015 en verder

In deze paragraaf staan de innovaties centraal ten aanzien van de IT-audit in 2015 en verder. Binnen de jaarrekeningcontrole voert de IT-auditor werkzaamheden uit tijdens de fasen van risk assessment en interimcontrole en bij de jaareindecontrole. Per fase van de jaarrekeningcontrole gaan wij in op de procesinnovaties die daar spelen en beschrijven wij hoe de ideale aanpak per fase eruitziet in de data driven audit van 2015 en verder.

Risk-assessmentfase

De risk-assessmentfase omvat het beoordelen van risico’s op een materiële fout in de jaarrekening door de auditor, zoals dit ook staat beschreven in de International Standard on Auditing 315 ([ISA09]). Binnen het auditproces heeft de auditor als doel dergelijke risico’s te identificeren en te beoordelen. Hij kan dit doen door het management te interviewen, audit evidence te observeren en inspecteren of analytische procedures uit te voeren ([ISA09]).

Een van de aspecten waaraan gedacht kan worden in de risk-assessmentfase is om hierbij gebruik te maken van externe data, naast de beschikbare financiële gegevens. Tegenwoordig zijn er verschillende oplossingen op de markt, zoals Bottlenose, Sprout Social en Netbase, die op basis van social-mediadata inzicht geven in het sentiment dat heerst ten aanzien van een organisatie op het internet, bijvoorbeeld over de dienstverlening en de kwaliteit van de producten. Het inzichtelijk maken van dit sentiment kan van toegevoegde waarde zijn bij de uitvoering van de risk assessment. Een goed voorbeeld is een storm aan klachten over de afhandeling van klantfacturen, wat erop kan duiden dat de kwaliteit van het facturatieproces niet goed is. Deze inzichten kunnen dus resulteren in een afweging om diepgaandere auditprocedures uit te voeren op het facturatieproces of op posten met een hoog risicoprofiel.

Interimcontrolefase

Tijdens de interimcontrolefase krijgt de auditor inzicht in de processen en ingerichte beheersmaatregelen die leiden tot financiële boekingen in het grootboek. Doorgaans vindt dit plaats door middel van het uitvoeren van lijncontroles waarin de interne beheersmaatregelen worden getest in opzet en bestaan.

Inzet van process mining

Door de inzet van process-miningsoftware kan een lijncontrole worden uitgevoerd als het gaat om een proces dat in hoge mate door een applicatie wordt gefaciliteerd. Process mining omvat het reconstrueren en analyseren van de workflow van een proces op basis van de event logging uit een applicatie ([Aals07]). De software maakt het mogelijk om de audit logging van een procesworkflow te importeren en te analyseren en uiteindelijk ook het workflowproces te reconstrueren.

Process mining wordt ingezet om te verifiëren of een proces daadwerkelijk de juiste processtappen heeft gevolgd en of excepties zijn voorgekomen die de interne controle omzeilen. Een goed voorbeeld van het toepassen van process mining is de levenscyclus van een leasecontract, zie ook figuur 1. Het proces geeft op basis van event logging weer welke statussen een contract kan hebben gedurende de levenscyclus. Dit geeft interessante bevindingen terug richting de auditor, omdat op deze manier het daadwerkelijke proces inzichtelijk wordt en vergeleken kan worden met de beoogde opzet van een proces.

Bij het testen van interne beheersmaatregelen biedt process mining goede ondersteuning. Een belangrijke control die met process mining kan worden getest is de effectiviteit van de werking van het vierogenprincipe. Op basis van event logging maakt process mining inzichtelijk welke processtappen door welke medewerker op welk tijdstip zijn uitgevoerd. De auditor krijgt hierdoor inzicht in het mogelijk doorbreken van functiescheiding en daarmee dus in de werking van het vierogenprincipe.

C-2015-3-Heijden-01

Figuur 1. Process-miningoutput.

In ons voorbeeld is het van belang dat:

leasecontracten onderhevig zijn aan het vierogenprincipe voordat ze aan de klant worden verstuurd;
contracten getekend retour zijn ontvangen voordat ze worden geactiveerd;
contracten geen afwijkende statusopvolging kennen in de contractadministratie.

Uit de process-miningactiviteiten die zijn uitgevoerd blijkt dat alle contracten opeenvolgend de status ‘initialized’ en ‘completed’ hebben gehad, die zijn toegekend door twee verschillende gebruikers (vierogenprincipe, gebruikers zijn niet zichtbaar in figuur 1). Daarnaast blijkt dat er geen contracten zijn geactiveerd die niet ondertekend retour waren ontvangen. Voor vijf contracten blijkt echter wel dat daaraan ten onrechte de status ‘terminated’ is toegekend. Deze laatste vijf contracten zouden door de auditor nader bekeken moeten worden.

Door deze data driven methode toe te passen tijdens de interimcontrole krijgt de auditor meer inzicht in de structuur, opzet en excepties van de processen en de werking van de daarin getroffen beheersmaatregelen. De resultaten van de process-mininganalyse geven richting aan het gesprek van de accountant met de organisatie en vormen de input voor meer gegevensgerichte werkzaamheden.

Geautomatiseerd toetsen van general IT controls

Tevens zien we mogelijkheden om het testen van general IT controls meer geautomatiseerd uit te voeren in het geval van controls die met software kunnen worden getest. We noemen enkele belangrijke voorbeelden:

Het automatisch uitlezen en analyseren van configuratie-instellingen van operating-system- of databaseservers, bijvoorbeeld op instellingen voor wachtwoordvereisten.
Process mining op het change-managementproces in de servicedesk-registratiesoftware (bijvoorbeeld ServiceNow). Hierbij verifieert de auditor of een change de juiste stappen in het proces (verzoek, registratie, autorisatie, ontwikkeling, test, goedkeuring, promotie naar productie) in de juiste sequentie heeft doorlopen en zal het verdere onderzoek gericht zijn op de uitzonderingen.
Het inzetten van software om functiescheiding te testen in opzet, bestaan en werking op basis van role-based-accessprincipes. De auditor analyseert de role-based-accessconfiguratie van het systeem, toetst of deze configuratie voldoet aan bepaalde business rules en rapporteert automatisch welke excepties er zijn geïdentificeerd ten aanzien van functiescheiding. Deze automatische toetsing voert de auditor periodiek uit om ook een beeld te krijgen van de werking van de beheersmaatregel. Indien gewenst kan deze analyse worden aangevuld met een can-do/did-do-analyse, waarbij in het geval van onterechte autorisaties ook eventueel misbruik van deze autorisaties kan worden gesignaleerd.

Jaareindecontrole

Voor de posten binnen de jaarrekeningcontrole waarvoor tijdens de interimactiviteiten onvoldoende controlezekerheid is verkregen over het kunnen steunen op de beheersmaatregelen, zijn gegevensgerichte werkzaamheden door de auditor noodzakelijk. De auditor voert deze gegevensgerichte werkzaamheden uit op basis van data-analyse, waarbij de totale populatie wordt gecontroleerd in plaats van dat deelwaarnemingen worden gebruikt. De accountant kan er ook op voorhand al voor kiezen om niet te steunen op het stelsel van interne beheersmaatregelen.

Geautomatiseerde reconciliaties

Een goed voorbeeld van een gegevensgerichte procedure is de reconciliatie tussen het grootboeksysteem en een contractsysteem, waarbij de administratie integraal op contractniveau wordt aangesloten op basis van volledige data-extracten uit deze systemen. Voor de auditor is het hierbij van belang de volledigheid en de juistheid van de cijfers uit het grootboeksysteem vast te stellen. Geautomatiseerde reconciliaties (zie ook tabel 1) helpen de auditor door middel van voorgeprogrammeerde query’s om aansluitingen automatisch uit te voeren en daarmee efficiencyvoordelen te behalen. Daarnaast biedt deze innovatie de auditor de mogelijkheid om nog beter te focussen op geïdentificeerde verschillen.

C-2015-3-Heijden-t01

Tabel 1. Voorbeeld van output van geautomatiseerde reconciliaties.

Portfolio analytics

De auditor kan zijn gegevensgerichte procedures uitbreiden met portefeuilleanalyses op de bronsystemen. Deze portefeuilleanalyses geven de auditor een overzicht van de producten die een klant voert/verkoopt en van de mogelijke risico’s die daarmee samenhangen, zoals een verhoogde exposure in een specifiek klantsegment. Deze procedures worden echter vaak handmatig uitgevoerd door de auditor. Door deze portfolio analytics te automatiseren kan de auditor tijdens de jaarrekeningcontrole opnieuw efficiencyvoordelen benutten. Wij hebben in figuur 2 resultaten opgenomen van portfolio analytics op een portefeuille met termijndeposito’s. Het doel van de analyse is om inzicht te krijgen in de spreiding van de portfolio en afwijkende rentepercentages te identificeren; dit betreffen analyses op ultimo[Met ultimo boeksaldo wordt hier het saldo per de laatste dag van de rapportageperiode bedoeld.] boeksaldi en rente-inkomsten en de daarmee samenhangende verhouding per productlabel. Figuur 2 geeft per product(label) weer wat het uitstaande saldo is en wat de rente-inkomstenstroom is die het genereert. Opvallend in deze analyse is product(label) 4, dat een hoog uitstaand saldo vertegenwoordigt met een relatief lage rente-inkomstenstroom. De contracten onder label 4 zouden door de auditor nader bekeken moeten worden.

C-2015-3-Heijden-02

Figuur 2. Geautomatiseerde portfolio analytics als onderdeel van gegevensgerichte werkzaamheden.

Trend analytics

Tevens heeft de auditor een belangrijke taak om risico’s te identificeren door financiële cijfers te vergelijken met die van perioden daarvoor. Dit gebeurt als onderdeel van de risicoanalyse op jaarbasis, maar kan met behulp van data-analyse ook worden uitgevoerd op maand- of kwartaalbasis om specifieke trends gedurende het rapportagejaar te identificeren en de impact op de auditaanpak te kunnen bepalen. Figuur 3 is een voorbeeld van een cijfermatige vergelijking van opeenvolgende kwartalen waarbij de trend in het aantal contracten en uitstaand saldo van een leningadministratie in kaart is gebracht. Hiermee krijgt de auditor een beeld van de volatiliteit van de administratie, wat in figuur 3 aanleiding geeft om de trendbreuk tussen kwartaal 3 en kwartaal 4 nader te onderzoeken.

C-2015-3-Heijden-03

Figuur 3. Trendanalyses van een leningportfolio.

Veranderingen voor de IT-auditor, accountant en auditee

De eerder beschreven innovaties vragen ook aanpassingen van de IT-auditor, de auditee en de accountant. In deze paragraaf gaan we hier nader op in. Daarnaast staan we ook stil bij een aantal uitdagingen waar de IT-auditor zich voor gesteld ziet bij het toepassen van een data driven IT-auditaanpak.

Bovenstaande ontwikkelingen leiden ertoe dat de eisen aan zowel de kennis als de competenties van de IT-auditor zullen veranderen. Enerzijds is er behoefte aan sterke generalisten die de complexe ketens overzien en sterk ontwikkelde sociale en communicatieve competenties hebben. Anderzijds is er behoefte aan specialisten die op deelterreinen hun waarde laten zien als het gaat om inzet van software en toepassing van data-analyse ([Huls13]). De specialistische IT-auditor zal kennis moeten hebben van datamodellen, analysesoftware en programmeertalen zoals SQL. Dit zijn geen standaardkennisgebieden die een IT-auditor tijdens zijn studie meekrijgt. Daarnaast zullen bepaalde werkzaamheden uit de interimcontrole verschuiven naar de IT-auditor. De generalisten zullen hierop in moeten springen door meer kennis te ontwikkelen over de jaarrekeningcontrole en de relevante risico’s, systemen en processen. Nauwere samenwerking met de accountant is hierbij een vereiste.

Bovendien zal het gebruik van tooling ertoe moeten leiden dat de traditionele werkzaamheden nader tegen het licht gehouden worden. Audit manuals zijn vaak nog gebaseerd op de traditionele control-based controleaanpak en bieden daardoor geen goede guidance hoe om te gaan met de data driven controleresultaten. In het aanpassen van de audit manuals zal ook de accountant een grote rol moeten spelen.

Daarnaast ligt er een taak voor de IT-auditor om de accountant te overtuigen van de betrouwbaarheid van de uitgevoerde analyses, dit om te voorkomen dat de accountant tegelijkertijd nog manuele/traditionele controlewerkzaamheden uitvoert die hetzelfde risico afdekken. Een goede communicatie en een goede verdeling van de werkzaamheden zijn dus van belang. Tevens zal de IT-auditor afspraken moeten maken met de accountant over het documenteren van bevindingen. De ervaring leert dat bij de data driven aanpak vaak uitzonderingen worden geconstateerd, al dan niet terecht. Deze uitzonderingen zullen moeten worden onderzocht en verklaard. Van tevoren goed nadenken over wat de doelstelling van de analyse is, is daarbij essentieel om een berg aan uitzonderingen te voorkomen. De IT-auditor zal moeten investeren in standaardisering van onder meer query’s op bepaalde processen. Standaardisatie is een mogelijke oplossing om de startinvestering te verlagen, omdat de investering dan voor meerdere klanten bruikbaar is, en om te waarborgen dat de analyses efficiënt en effectief bij meerdere klanten toepasbaar zijn. Dit verlaagt de drempel om innovatieve methoden toe te passen.

Naast de accountant zal ook de auditee zelf mee moeten veranderen. Vandaag de dag wordt veelal gesteund op het ‘three lines of defense’-model dat klantorganisaties hanteren met betrekking tot de interne beheersing en het mitigeren van risico’s. Binnen de auditaanpak voor de jaarrekeningcontrole wordt hier dankbaar gebruik van gemaakt om de inzet van de externe auditor te verminderen. Echter, binnen het ‘three lines of defense’-model bij de klantorganisatie wordt vaak nog een control-based aanpak gehanteerd die niet aansluit bij de data driven aanpak zoals hier geschetst. In de ideale situatie verandert de klant de aanpak van zijn risk-managementafdeling en interne auditafdeling mee naar een ‘continuous monitoring’-opzet.

Tot slot moeten de IT-auditor, de accountant en de auditee rekening houden met wet- en regelgeving met betrekking tot het gebruik van data. De IT-auditor en de accountant komen bij een data driven aanpak in aanraking met vertrouwelijke en privacygevoelige informatie terwijl de privacywetgeving steeds strenger wordt. Ook het gebruik van (big) data heeft zijn beperkingen vanuit de wetgeving als de data worden ingezet voor toepassingen waarvoor de data oorspronkelijk niet zijn vergaard. De IT-auditor en de accountant zullen deze wetgeving dus moeten verankeren in het beleid en de procedures inzake de toepassing van data driven controleactiviteiten.

Blik vooruit

In dit artikel hebben wij onze visie op de IT-audit van 2015 gegeven. Duidelijk is dat de IT-audit binnen de jaarrekeningcontrole meer data driven wordt. Deze trend is enerzijds aangewakkerd door technologische mogelijkheden en anderzijds door de neiging naar een efficiëntere en effectievere jaarrekeningcontrole. Daarbij wordt het gebruik van tooling binnen de IT-audit steeds volwassener en worden procescontroles en general IT controls steeds vaker geautomatiseerd getest.

Wij voorspellen dat de data driven aanpak binnen de jaarrekeningcontrole over een paar jaar niet meer weg te denken is. Een belangrijke trend die zich gaat inzetten is het installeren van tooling en software bij de klant zelf, waarbij de klant zelf aan monitoring en data-analyse doet. De IT-auditor zal zich, samen met de klant, meer bezighouden met de configuratie van deze software en wordt door de software voorzien van standaardrapportages en automatisch gegenereerde jaarrekeningcontroles die als audit evidence zullen worden gebruikt. Wellicht is deze toekomstschets redelijk optimistisch, maar een jaarrekeningcontrole zal niet meer zonder een data driven IT-audit kunnen.

Literatuur

[Aals07] W.M.P. van der Aalst, H.A. Reijers, A.J.M.M. Weijters, B.F. van Dongen, A.K. Alves de Medeiros, M. Song and H.M.W. Verbeek, Business process mining: An industrial application, Information System, 32(5), 2007, pp. 713-732

[Heij12] B.A.G. van der Heijden en L. Benjaminse, Profiteren van data-analyse binnen de jaarrekeningcontrole, de IT Auditor, nr. 1, 2012.

[Huls13] S. Hulsman, IT-auditor moet ingrijpend veranderen, Computable, 2 september 2013, www.computable.nl/artikel/nieuws/datamanagement/4811711/4445906/itauditor-moet-ingrijpend-veranderen.html.

[ISA09] International Standard on Auditing 315, Identifying and assessing the risks of material misstatement through understanding the entity and its environment, 2009.

[Pomp03] M. Pomp, Innovatie: wie het weet mag het zeggen: Feiten, onzekerheden en beleid, SEO-rapport nr. 706A, 2003.

Ontwikkelingen op het gebied van IT in de accountantscontrole

Interview: Brigitte Beugelaar

Compact sprak met Hans van der Geest, EMA service line leader IT in the Audit bij KPMG, over de ontwikkelingen op het gebied van IT in de accountantscontrole. Wat betekent bijvoorbeeld data-analyse voor het beroep van IT-auditor?

Waar beweegt het beroep zich naartoe?

Voor een optimale inzet van IT in de audit is het van belang dat de IT-auditor naadloos geïntegreerd in het controleteam opereert. Het betreft hier zowel de audit van IT (toetsen van opzet, bestaan en werking van algemene beheersingsmaatregelen in de IT-omgeving en van specifieke IT application controls) als de audit met IT. Deze laatste behelst de inzet van data-analyse en tooling in het controleproces. Deze tooling helpt ook bij het opzetten van de grafische presentatie van controleresultaten met behulp van bijvoorbeeld een Qlikview-dashboard naar diverse stakeholders. Hierbij valt nog veel te winnen in de wijze waarop controleresultaten inzichtelijk gemaakt worden voor de gecontroleerde organisatie.

De inzet van data-analyse vormt tegelijkertijd ook een uitdaging waar het gaat om de interpretatie van de resultaten. Wat zien we nu en wat betekent het? Hoe meer data beschikbaar komen voor de analyse, des te meer nieuwe vragen dit kan oproepen.

Een van de lessen bij internationale controleklanten is dat de data-analyses lastig zijn te standaardiseren en/of industrialiseren voor grote internationale bedrijven. Het begint bij het stellen van de juiste en relevante vragen bij uitvraag van de data: wat wil ik weten en wat levert het op?

Stap twee is dan het verkrijgen van de data, bijvoorbeeld door inzet van gespecialiseerde data-analyseteams waardoor dit ook efficiënt kan plaatsvinden op een centrale locatie.

Vervolgens start de fase van het op een juiste wijze interpreteren van de ontvangen data. Hier kan de analogie met het pellen van een ui op losgelaten worden. Na het afpellen van de eerste schil is er een tweede schil, etc. Ook bij de analyse van de data moet je bij elke uitkomst van de analyse de vraag stellen: ‘So what?’

Door inzet van data-analyse worden de uitkomsten van de audit meer robuust, relevant en inzichtvol voor opdrachtgevers en management.

Wat zijn de veranderingen in het beroep?

Ik zie vanuit de regelgeving en wetgevers een toename in eisen. Hierdoor kan een nieuwe verwachtingskloof ontstaan tussen maatschappelijk verkeer en de beroepsgroep. De vraag die dan opkomt is of en hoe we deze kloof toereikend gaan dichten.

Gelet op de beschikbaarheid van de data verwacht de klant juist dat de accountant hier meer mee doet en zaken (tijdiger) signaleert. De klant verwacht meer kwaliteit juist doordat we de data hebben.

Daarnaast zie ik dat de concurrentie zal toenemen binnen het beroep. Er zijn nieuwe innovatieve partijen die de markt veroveren op dit terrein, bijvoorbeeld softwarebedrijven die accountants in dienst nemen om de controle geautomatiseerd uit te voeren.

Verder zullen in de samenstelling van de controleteams andere disciplines nodig zijn, waarbij geldt dat zelfs binnen de groep van IT-auditors onderscheid gemaakt moet worden tussen inzet van diverse specialismen zoals cybersecurity, datacenterbeveiliging en data-analyse.

Zijn er grote verschillen tussen landen?

Een aantal landen loopt sterk voorop zoals het Verenigd Koninkrijk, Nederland en Ierland. Dit wordt sterk gedreven door roulatieverplichtingen vanuit de regelgeving in Nederland en door concurrentie in het Verenigd Koninkrijk en Ierland. De Duitsers, Fransen en Amerikanen zijn nog weinig vernieuwend in hun controleaanpak. Daarbij geldt dat het beroep vanuit zichzelf niet erg vernieuwend is.

Vanuit de Verenigde Staten hoor ik wel eens geluiden die duiden op een controleaanpak die volledig geënt is op het uitvoeren van gegevensgerichte werkzaamheden. Dit wordt ingegeven door de verwachting dat control exceptions en control failures een systeemgerichte controleaanpak niet effectief en inefficiënt maken. De aanname is dan (impliciet of expliciet) dat er toch niet kan worden gesteund op maatregelen van interne controle, dus dan schiet men direct maar richting een gegevensgerichte aanpak.

Een volkomen controle door data-analyse behoort wellicht weer tot de mogelijkheden. Je kunt je daarbij afvragen of we daarmee terugkeren naar de bron van ons beroep: het eigenhandig opstellen van cijferoverzichten en deze vergelijken met de verantwoording die door de klant is opgesteld.

Is een cultuurverandering of mindshift nodig?

Ja, deze is zeker nodig. Ik zie al wel de nodige beweging, maar we zijn er nog lang niet.

Inzet van data-analyse vraagt om een kritische auditattitude: nadenken over wat je exact wilt bereiken met de analyse. Het begint met het stellen van de juiste vragen, goed luisteren en dan doorvragen. Ook moet de angst worden weggenomen voor het vinden van verschillen naar aanleiding van de analyse en voor het uitzoeken hiervan. De big picture moet hierbij in het oog gehouden worden, alsmede de controletolerantie. Niet elk verschil is direct een fout. Daarnaast dient vanuit een controleperspectief naar de data gekeken te worden.

Beschikken over 100 procent van de data van de klant wil nog niet zeggen dat er ook 100 procent assurance gegeven wordt dat deze gegevens compleet en juist zijn. Dit is afhankelijk van door welke bril je naar de data kijkt. De materialiteitsgrens dient meegenomen te worden in de data-analyse. Stratificeer de gegevens voordat je begint met het uitvoeren van analyses.

Dit geldt ook voor de uitkomsten van de gegevensanalyse. Wat zie je en wat had je verwacht te zien (vanuit de initiële vraagstelling)? Waartoe leiden de inzichten? Opnieuw kan hier de analogie met het pellen van een ui worden getrokken, maar dan wellicht met de bijbehorende tranen. Dit kan dan leiden tot inzichten in procesverbeteringen voor de klant.

De ingezette weg van industrialisatie en standaardisatie van data-analysemethodieken en -tooling kan ertoe leiden dat er (opnieuw) een commodity ontstaat waarbij er geen aandacht is voor toegevoegde waarde naar klanten. Dit veroorzaakt verdere prijsdruk, want niemand wil voor een commodity betalen. Een schoolvoorbeeld van een bedrijf dat wel een prijs kan vragen voor zijn producten op basis van klantwaarde is Apple. Zij zijn in staat om voor een commodity, namelijk een telefoon, een significant hogere prijs te vragen dan hun concurrenten. Dit omdat de klanten een toegevoegde waarde ervaren bij Apple en bereid zijn daarvoor te betalen.

Hoe zien de auditteams van de toekomst eruit?

In elk geval zijn deze multidisciplinair samengesteld met subject matter experts. Dit is nodig omdat de complexiteit en de verwachtingen toenemen, alsmede de regeldruk. Voor de aftekenend accountant geldt de ongedeelde verantwoordelijkheid voor de financial audit. Echter, teneinde deze verantwoordelijkheid te kunnen dragen heeft deze accountant minimale kennis nodig. Hij zal zelfstandig kennis moeten nemen van de werkzaamheden van de IT-auditor. Dit betreft zowel de planning en scoping van de werkzaamheden als een begrip van hoe de werkzaamheden zijn uitgevoerd, wat de resultaten daarvan zijn en welke conclusies daaruit kunnen worden getrokken. Een naadloos geïntegreerde IT-audit in de jaarrekeningcontrole vereist meer dan uitstekende communicatievaardigheden van de IT-auditor naar zijn collega’s.

H. van der Geest is EMA service line leader IT in the Audit bij KPMG.

Commissarissen beter voeden – Veranderende wereld stelt ook nieuwe eisen aan CIO

Interview: Brigitte Beugelaar

Er is werk aan de winkel voor de CIO, zo blijkt uit het KPMG-onderzoek ‘Toezicht op IT: De veranderende wereld van de commissaris’, waarvoor circa vijftig commissarissen en leden van de raden van bestuur van de grootste banken en verzekeraars in Nederland zijn geïnterviewd. De commissaris wil beter op de hoogte zijn van de kansen, risico’s en kosten voor de organisatie aangaande informatietechnologie en het is aan de CIO om hem daarvan op de hoogte te brengen.

Introductie

De tijd dat de CIO vooral sterk moest zijn op technisch niveau ligt definitief achter ons. In staat zijn om op verhelderende wijze met de leden van de raad van commissarissen over informatietechnologie in gesprek te gaan is minstens net zo belangrijk. De commissaris wil beter op de hoogte zijn van de kansen, risico’s en kosten voor de organisatie aangaande informatietechnologie, zo blijkt uit het rapport ‘Toezicht op IT: De veranderende wereld van de commissaris’ van KPMG, dat op 31 maart van dit jaar is verschenen.

Met recht: IT heeft de puur ondersteunende rol achter zich gelaten en wordt steeds meer een drijvende kracht achter de strategie van ondernemingen, bij uitstek een gebied waar de commissaris toezicht op moet houden. De kosten die met IT zijn gemoeid, zijn bovendien aanzienlijk. Gemiddeld genomen is IT – infrastructuur, software en de mensen die er intensief bij betrokken zijn – goed voor circa 20 procent van het bedrijfsbudget van de ondervraagde organisaties en er zijn geen aanwijzingen dat dat aandeel zal dalen.

Meer en betere informatie

Er is werk aan de winkel voor de CIO, zo blijkt uit het KPMG-onderzoek, waarvoor circa vijftig commissarissen en leden van de raden van bestuur van de grootste banken en verzekeraars in Nederland zijn geïnterviewd. Zo wil een derde van de ondervraagden betere informatie op IT-gebied ten behoeve van de rvc-vergadering, stelt eveneens een derde geen goede voortgangsrapportages van grote/strategische projecten te ontvangen en zegt maar liefst 60 procent dat het hen ontbreekt aan goed inzicht in de IT-kosten. Slechts een kwart van de ondervraagden heeft toegang tot een dashboard dat goed inzicht geeft in de relevante IT-parameters; 13 procent krijgt weliswaar een dashboard te zien maar vindt dat dat op IT-gebied te wensen overlaat en twee derde moet het zelfs helemaal zonder dashboard doen.

De beschikbaarheid van gedegen en toegankelijke informatie inzake IT is echter een basisvoorwaarde, wil een commissaris zijn rol naar behoren kunnen uitoefenen. Uitval of disfunctioneren van de IT als gevolg van bijvoorbeeld gebrekkige investeringen in beveiliging kan immers het voortbestaan van een organisatie in gevaar brengen.

De CIO zit soms in, maar meestal net onder de raad van bestuur. Hoewel de rvb formeel dus de schakel naar de rvc vormt, is de CIO de kennisbron die de rvc van informatie voorziet. De toenemende roep om informatie betekent dan ook dat menig CIO de verantwoordingsstructuur zal moeten aanpassen zodat deze ook mensen die minder goed zijn ingevoerd zoals rvc-leden voldoende inzicht biedt.

Een andere vereiste is een meer proactieve houding richting de rvc. Commissarissen zijn de afgelopen jaren meer tijd aan hun commissariaat gaan spenderen en ongeveer de helft van de ondervraagden gaat nu actief op zoek naar informatie in de organisatie. Een ruime meerderheid (61 procent) nodigt de CIO uit om tijdens vergaderingen op IT-vraagstukken in te gaan. De informatie uit de eerste hand en het rechtstreekse contact met de CIO worden gewaardeerd, maar men is hongerig naar meer: een meerderheid van de ondervraagden zou eveneens graag meer en diepgaandere informatie van de IT-auditor ontvangen.

Er is weliswaar een dialoog gaande tussen CIO en commissaris, maar de juiste invulling is duidelijk nog niet gevonden. Het is aan de CIO om actief te onderzoeken hoe hij de informatiehonger van de rvc het best kan stillen: wat ontbreekt er precies en hoe kan ik dat invullen?

Missiewerk

De kennisvoorsprong van de CIO kan een soepele communicatie met de rvc in de weg staan. In de coulissen wordt regelmatig geklaagd dat het commissarissen aan basiskennis op IT-gebied ontbreekt. Dit zou een diepgaand gesprek over bijvoorbeeld de kosten-batenanalyse van grote IT-projecten in de weg staan.

Hoewel de gepolste commissarissen ook van mening zijn dat het rvc’s aan kennis ontbreekt (92 procent stelt dat de IT-kennis van de gemiddelde commissaris in de financiële sector onvoldoende is), wijst men vooral naar elkaar: bijna twee derde vindt dat de eigen kennis volstaat.

Men probeert zich wel enigszins bij te scholen. Missiewerk voor de CIO dus, die kan helpen de kennis van commissarissen tot een dusdanig niveau op te voeren dat de rvc een volwaardige gesprekspartner kan zijn inzake de IT-agenda.

Ondergeschoven kindje

Niet alleen de kennis omtrent informatietechnologie is voor verbetering vatbaar, ook de aandacht voor het onderwerp tijdens rvc-vergaderingen laat te wensen over. De helft van de ondervraagden zou IT graag meer prominent op de agenda zien, maar de schaarse tijd wordt opgeslokt door met name compliancezaken en het nagaan of de organisatie aan de diverse regels voldoet. Als IT al aan de orde komt, dan is dat vaak in samenhang met incidenten zoals uitval van systemen en beveiliging.

Ook hier tekent zich een dankbare taak af voor de CIO. Hij is de aangewezen persoon om de rvc ervan te overtuigen dat er essentiële kansen worden gemist door van incident naar incident te gaan. De bredere mogelijkheden van informatietechnologie raken een heel andere soort discussie: de inzet van IT als strategisch wapen om kansen mee te pakken. Zonder innovatie kan een organisatie in deze snel veranderende wereld niet overleven, en innovatie ligt verankerd in de technologie.

Als de CIO bij zowel rvb as rvc de gebruikelijke discussie weet te doorbreken zodat het gesprek niet meer gaat over het repareren van incidenten maar over de mate waarin IT wordt ingezet voor strategische doeleinden en hoeveel geld daarvoor beschikbaar wordt gemaakt, dan is er een wereld gewonnen.

Succesvol als CIO

Wie als CIO succesvol wil zijn op de agenda, geeft de rvc de informatie die een commissaris nodig heeft, in de vorm waarin hij die nodig heeft. Wie als CIO succesvol wil zijn, is zelf zichtbaar én maakt resultaten en mogelijkheden zichtbaar. Hij helpt een brug te slaan, toegerust met een flinke dosis realiteitszin. Veel grote organisaties zijn weinig wendbaar, mede vanwege de talrijke (vaak ook nog onderling verbonden) legacysystemen, de focus op compliance en de risicomijdende instelling.

De omslag vereist een gedegen aanpak en een lange adem. Deze klus is niet in één slag op te lossen.

Prof. dr. R.G.A. Fijneman RE RA is Head of Advisory in de raad van bestuur van KPMG Nederland, hoogleraar IT-auditing aan Tilburg University, Academic Director aan Tias School of Business and Society en medeauteur van het onderzoek ‘Toezicht op IT’.

Cyber in the audit

Iedereen die het nieuws volgt heeft recente cybercrime-activiteiten nog vers in het geheugen staan. Grote organisaties vallen ten prooi aan schijnbaar ongrijpbare criminelen die zich met technische trucs ongeautoriseerd toegang weten te verschaffen tot geld en intellectueel eigendom van organisaties. De daaruit voortvloeiende schade is van dusdanige proportie dat dit daadwerkelijk impact heeft op de bedrijfsvoering en de waarde van de organisatie en haar assets.

Voor de accountant is dit een essentieel risico om in kaart te brengen, alvorens een goedkeurende verklaring te geven over die financiële gegevens. Is de te auditen organisatie in staat een dergelijke cybercrime-aanval af te weren? Of is de organisatie eigenlijk al lang gehackt? Zijn de financiële gegevens dan nog wel betrouwbaar?

Inleiding

Medio februari 2015 wordt ontdekt dat cybercriminelen (de cyberbende Carbanak) gedurende een periode van ruim 2 jaar meer dan 100 banken in 30 landen gebruikten om omvangrijke fraude te plegen ([Kasp15]). De financiële impact wordt geschat op tussen de 300 en 400 miljoen dollar, maar men verwacht dat de totale schade uiteindelijk meer dan 1 miljard dollar zal bedragen. Doordat de cybercriminelen de controle hadden over interne systemen van een groot deel van deze banken, konden zij geld creëren door saldi van klanten (digitaal) te verhogen, om vervolgens het geld (digitaal of fysiek) weg te sluizen. Door kennis van IT te combineren met kennis van de relevante financiële processen en interne controle omzeilden de cybercriminelen betrekkelijk eenvoudig alle relevante beheers- en controlemaatregelen. Daardoor bleef deze fraude meer dan 2 jaar lang onopgemerkt – door zowel de organisatie als de controlerend accountant. Deze cybercriminaliteit werd uiteindelijk bij toeval ontdekt: een geldautomaat gaf op een willekeurig moment geld uit zonder dat iemand deze automaat gebruikte.

Figuur 1. Omvang Carbanak-hack ([Kasp15]). [Klik op de afbeelding voor een grotere afbeelding]

Figuur 2. Werkwijze Carbanak-hack ([Kasp15]). [Klik op de afbeelding voor een grotere afbeelding]

Dit voorbeeld maakt pijnlijk inzichtelijk dat de interne controle op onderdelen nog niet afdoende is meegegroeid met de veranderende dreigingen. Er is dus werk aan de winkel, ook voor de auditor. In dit artikel wordt ingegaan op de oorsprong en ontwikkelingen in IT-audit en op de vraag waarom cybercrime een verdere accentuering van de huidige auditaanpak vergt, mede aan de hand van enkele praktijkvoorbeelden. Tevens wordt een methodiek ten behoeve van een Cyber Maturity Assessment beschreven en wordt stilgestaan bij de impact van cybercrime op de financial audit. Hierbij worden ook handvatten voor de controlerend accountant en IT-auditor aangereikt. Ten slotte staan we stil bij de toegevoegde waarde van deze aanpak voor de cyberweerbaarheid van de organisatie zelf.

‘Cybercrime is here to stay’

Wat wordt nu precies bedoeld met cybercrime? Want inmiddels zijn hier veel meningen, ideeën en definities over gepubliceerd. In Nederland worden de termen computercriminaliteit, cybersecurity en vele andere termen veelal door elkaar gebruikt. Een definitie volgens de Kennisgroep Cybercrime van NOREA spreekt het meest aan: ‘Criminaliteit gepleegd via computers of netwerken’ ([Beus12]).

Uiteraard bestaan er velerlei soorten cybercrime en zijn hiertussen verschillen en overeenkomsten te identificeren. Kijk maar eens naar de termen cyberwar en cyberterrorisme. Cyberwar betreft veelal landen die een ander land op het vlak van internet of belangrijke nationale netwerken of infrastructuur (bijvoorbeeld SCADA[SCADA, Supervisory Control And Data Acquisition, is het verzamelen, doorsturen, verwerken en visualiseren van meet- en regelsignalen van verschillende machines in industriële systemen (bijvoorbeeld in olie-/gasindustrie).]-gerelateerd) onbereikbaar willen maken of zelfs beschadigen. Cyberterrorisme heeft meer betrekking op specifieke groepen die landen of organisaties willen ‘aanvallen’ vanuit hun ideologie.

De meeste mensen zullen bij cybercrime echter denken aan hacking, uitgevoerd door een individu met de intentie IT-systemen binnen te dringen om aldaar schade aan te brengen, om persoonlijk gewin te behalen of puur om in de publiciteit te komen. Het eerder vermelde cybercrimevoorbeeld van Carbanak staat niet op zichzelf. Al jarenlang is een stijgende trend waarneembaar, waarbij cyberincidenten zijn geëvolueerd van individuele ‘script kiddie’-acties tot professioneel georganiseerde misdaad (cybercrime). De motivatie achter deze incidenten is ook veranderd. Van oudsher waren dat status en aanzien (in de hackerswereld), maar vandaag de dag is er meer focus op financieel gewin, kennisvergaring (intellectuele eigendommen) en politieke invloed. Dit komt helder naar voren in cyberincidenten zoals bij Sony, Target, DigiNotar, NASDAQ, JPMorgan Chase, eBay en Home Depot. Enkele van deze voorbeelden worden verderop nog nader beschreven.

‘Cybercrime is here to stay.’ Dit wordt herkend en erkend door de toezichthouders, zoals de AFM, DNB en ACM, maar ook door organisaties als de NBA, PCAOB en ECB. Uit recent onderzoek van onder meer Verizon ([Veri15]) blijkt niet alleen dat de impact van cybercrime groot kan zijn, maar ook dat de kans van optreden aanzienlijk toeneemt. Op dit moment is het niet meer de vraag of er een cyberattack bij uw organisatie plaatsvindt, maar wanneer. En wellicht heeft deze aanval al plaatsgevonden, maar heeft uw organisatie dit nog niet gedetecteerd.

Concrete incidenten (zie ‘Enkele praktijkvoorbeelden’) tonen aan dat cybercrime een risico vormt voor organisaties. Maar cybercrime is ook een risico voor de accountants en hun reputatie. In het kader van de jaarrekeningcontrole kan cybercrime namelijk wel degelijk een significante impact hebben op de betrouwbaarheid van de financiële cijfers. Maar welke impact (en omvang) is dit precies? En wat moet de accountant en/of IT-auditor doen om de cybercrimedreiging voor zijn klanten en de aansprakelijkheid van de accountant zelf het hoofd te bieden? Om daar een goed antwoord op te kunnen geven is het belangrijk eerst de context van (cyber)security te beschrijven.

Oorsprong en ontwikkeling van IT-audit in financial audit

De oorsprong van IT-audit in de financial audit is te vinden in de toenemende automatiseringsgraad van administratieve processen. Doordat de gegevensverwerking in en rondom de financiële administratie niet meer handmatig maar met IT-systemen wordt uitgevoerd, is de accountant meer en meer aangewezen op het controleren van IT-systemen. Om toch voldoende zekerheid te verkrijgen dient een accountant aanvullend de betrouwbaarheid van de geautomatiseerde controlemaatregelen te controleren. Omdat kennis van financiële processen en interne controle alleen niet toereikend is om deze werkzaamheden uit te voeren, is IT-audit (voorheen EDP-audit) al bijna een halve eeuw een must ([Veth09]).

Een IT-audit wordt uitgevoerd om de betrouwbare inrichting en werking van zowel procesmatige als technische aspecten aangaande de geautomatiseerde gegevensverwerking te beoordelen. In het kader van de financial audit worden de IT General Controls (ITGC) beoordeeld. ITGC omvatten onderwerpen zoals de toegang van gebruikers tot programma’s en data, het monitoren van de IT-omgeving, het gecontroleerd laten verlopen van wijzigingen in het IT-landschap en het bestand zijn tegen beschikbaarheidsproblemen (bijvoorbeeld back-up en recovery). Een IT-auditor vormt zich daarmee een oordeel over het generieke stelsel van IT-beheersmaatregelen en kwaliteitsaspecten in en rondom de geautomatiseerde gegevensverwerking.

Door de toenemende complexiteit en verwevenheid van de te onderzoeken IT-omgeving en toenemende dreiging om misbruik te maken van kwetsbaarheden in die IT-omgeving, is het noodzakelijk om meer focus aan te brengen op cybersecurity. Dit om aanvullende zekerheid te krijgen over de betrouwbare werking van de beveiligingsmaatregelen ([Korn09]). Dit betreft het samenstel van preventieve, detectieve en repressieve beveiligingsmaatregelen in relatie tot processen, mensen en technologie.

Cybercriminelen maken veelal gebruik van (bekende) kwetsbaarheden in IT-systemen om de beoogde functiescheiding te doorbreken en zo bijvoorbeeld onrechtmatig gelden te onttrekken aan de organisatie. Dit vraagt om extra aandacht in de huidige auditaanpak.

Waarom vraagt cybercrime verdere accentuering van huidige auditaanpak?

Wat maakt cybercrime in het kader van de financial audit nu anders dan het beoordelen van de reguliere ITGC en waarom vraagt dit nu om een andere aanpak voor de auditor? Het antwoord is feitelijk simpel, als je de discussie niet al te academisch wilt maken.

Door vergaande ontwikkelingen zoals Internet of Things (IoT), self-service portals, mobile payments en social media speelt IT vrijwel overal een wezenlijke rol bij de bedrijfsvoering van middelgrote tot grote ondernemingen. In de reguliere (IT-)audit wordt veelal (terecht) gekeken naar opzet, bestaan en werking van de ITGC. Echter, deze beheersmaatregelen en de onderliggende processen zijn veelal gericht op preventie en maar beperkt op detectie. Met de enorme opkomst van de 7×24-uurs economie – met e-commerce, webshops en de vele bedrijven en overheidsinstanties – zijn deze maatregelen vaak niet toereikend. Er is namelijk sprake van een paradigmaverschuiving bij het inrichten van het stelsel van beheersmaatregelen en -processen.

Technologie en de bijbehorende bedreigingen lijken zich sneller te ontwikkelen dan dat organisaties adequate beheersmaatregelen kunnen inrichten. Hierbij is het besef gekomen dat men meer en meer moet accepteren dat cyberincidenten niet altijd te voorkomen zijn, maar dat men beter in staat moet zijn deze incidenten te detecteren en beter moet kunnen ingrijpen om de gevolgen te beperken (dus: meer repressieve maatregelen, grotere noodzaak tot detectie en repressie). Deze verschuiving van preventie naar detectie en respons vergt een nadere accentuering van de auditaanpak. Figuur 3 maakt inzichtelijk dat organisaties processen zoals Threat Management, Vulnerability Management en Incident Management moeten inrichten en uitvoeren. Deze processen zijn nodig om proactiever en tijdiger te kunnen reageren. De rol van de auditor is om de opzet, het bestaan en de werking van de Threat Management- en Vulnerability Management-processen ook te beoordelen.

Figuur 3. De verschuiving van reactieve naar proactieve maatregelen. [Klik op de afbeelding voor een grotere afbeelding]

Afhankelijkheid en kwetsbaarheidsanalyse met betrekking tot cyber

De accountant heeft tijdens zijn werkzaamheden op diverse momenten te maken met verschillende triggers die bepalend zijn voor de keuzes met betrekking tot (vervolg)stappen in de controleaanpak. De bestaande triggers kunnen hierbij worden uitgebreid met triggers aangaande cybersecurity. Afhankelijk van de antwoorden op deze ‘trigger’-vragen is het voor de accountant wel of niet noodzakelijk een gespecialiseerde IT-auditor of ethical hacker (verder) aan te haken. Bij voorkeur stelt de accountant gezamenlijk met de IT-auditor deze vragen aan de verantwoordelijke medewerker(s) uit de organisatie.

Dit zijn enkele voorbeelden van ‘trigger’-vragen die de accountant, in het gesprek met zijn klant, kan stellen om de afhankelijkheid en kwetsbaarheid met betrekking tot cyber in kaart te brengen:

Hoe schat men de cyberdreigingen en/of risico’s voor de organisatie zelf in? Welk belang hecht men aan vertrouwelijkheid en integriteit van de gegevens in de totale keten?
Levert of gebruikt men online services? Dit moet bezien worden vanuit de totale waardeketen (‘van zand tot klant’); een voorbeeld hiervan is dat HR-/payrolldiensten uit de cloud worden afgenomen of dat gebruik wordt gemaakt van externe asset brokers.
Heeft men bedrijfskritische applicaties die direct aan het internet gekoppeld zijn? Heeft men internetwebsites of -portals? Deze situatie is natuurlijk overduidelijk aanwezig bij internetwinkels en online banken, maar soms is dit ook minder goed herkenbaar, zoals bij slimme meters of vrachtwagenvolgsystemen.
Zijn er specifieke ‘kroonjuwelen’ die zeker goed beveiligd moeten zijn? Zijn er dreigingen op het gebied van bedrijfsspionage of diefstal van intellectueel eigendom? Of bestaan er risico’s ten aanzien van privacyovertredingen als gevolg van datalekken?
Kan een cyberaanval gericht op de organisatie of businesspartners (inclusief leveranciers) leiden tot discontinuïteit van de bedrijfsvoering en/of financiële verliezen (claims)? Denk hierbij bijvoorbeeld aan de situaties die ontstonden als gevolg van de problemen bij DigiNotar.
Zijn er recente beveiligingsincidenten geweest (die bijvoorbeeld via ORM gerapporteerd zijn)? Heeft men substantiële kosten moeten maken als gevolg van of ter voorkoming van beveiligingsincidenten?

Als op een of meer vragen een bevestigend antwoord wordt gegeven, is het noodzakelijk een verdiepingsslag op het gebied van cybersecurity c.q. cyberweerbaarheid te maken in de IT-auditaanpak. De invloed van cyber kan potentieel materieel zijn voor de financial audit. Het raakt ook het auditrisico van de controlerend accountant. Hoe zit het met de aansprakelijkheid en materialiteit? Zijn er door cyberincidenten of bestrijding van cybercrime wellicht onvoorziene financiële verplichtingen (boetes) of impairments? Hierbij kun je denken aan waardevermindering van het merk, kosten van herstel en respons of verlies van intellectueel eigendom met als gevolg dat de betreffende aandelen minder waard zijn geworden.

Enkele praktijkvoorbeelden

De (digitale) wereld is al diverse keren geconfronteerd met de gevolgen van cybercrime. Dit zijn een aantal spraakmakende voorbeelden van cybercrime uit de praktijk waarbij een organisatie van buitenaf gecompromitteerd is en interne kwetsbaarheden zijn uitgebuit:

Sony Pictures, 24 november 2014 ([Zett14]). Een hack door de groepering Guardian of Peace op diverse interne systemen van Sony waarbij zowel (persoonlijke) data van het personeel als kopieën van te releasen films zijn buitgemaakt. Deze zouden worden gepubliceerd als Sony niet zou afzien van de release van de film The Interview.
Target, november 2014 ([Rile13]). Target, een grote retailorganisatie, die eind 2013 een zeer groot datalek opliep van ruim 40 miljoen klant- en creditcardgegevens als gevolg van malware die op haar POS[Point Of Sale.]-terminal was geïnstalleerd. Dit heeft naast de vele negatieve publiciteit ook geleid tot een significant omzetverlies, diverse geldboetes, ontslag van een aantal bestuurders en verlies van gelden bij klanten van wie de gegevens waren misbruikt. Dit ondanks de implementatie van de nodige detectiemaatregelen, een Security Operating Center (SOC) en incident-management- en incident-responseprocessen. Maar helaas ging het bij de laatste twee fout doordat er weinig tot niets met de afgegeven signalen vanuit het SOC (in India) werd gedaan.
DigiNotar, augustus 2011 ([Netw11]). Iets dichter bij huis, in augustus 2011, wordt bekend dat de systemen van DigiNotar (eerder dat jaar overgenomen door Vasco) al sinds juni dat jaar zijn gecompromitteerd door Iraanse hackers, die daarmee in staat zijn geweest vervalste certificaten te genereren. Het gevolg: vele overheidsinstanties, publieke ondernemingen en burgers hebben een tijdlang geen transacties kunnen uitvoeren en zijn druk geweest de vele noodzakelijke reparatieacties door te voeren.

Welke rol had de auditor bij deze voorbeelden nu kunnen spelen? Het is aan de auditor om niet alleen zekerheid te verschaffen over de reguliere ITGC, maar ook over de cyberweerbaarheid van een organisatie. Dit vraagt een andere invalshoek voor de organisatie en de auditor dan zij tot nu toe gewend zijn. Het belang van een effectieve cyberweerbaarheid is natuurlijk groter naarmate de online presence en online diensten van de organisatie groter zijn. Dit geldt voor zowel de organisatie zelf als voor haar klanten.

De (IT-)auditor moet hierop inspelen door vast te stellen of cyber(security) in voldoende mate aandacht krijgt van de organisatie. In aanvulling op de eerder vermelde triggervragen moet de auditor zich richten op aspecten die hem/haar meer inzicht geven in de cyberweerbaarheid van de organisatie. Hiertoe kan de IT-auditor een Cyber Maturity Assessment uitvoeren.

Cyber Maturity Assessment

De Cyber Maturity Assessment (CMA)-methodiek is ontwikkeld om ook in het kader van de financial audit in te zetten. De CMA-methode richt zich op zes dimensies en maakt inzichtelijk wat de volwassenheid is binnen een organisatie ten aanzien van cyberweerbaarheid. De zes dimensies zijn:

1. Leadership & Governance

In dit onderdeel wordt gekeken naar de tone-at-the-top: is het executive management zich bewust welke risico’s de organisatie loopt op het vlak van IT en staat cybersecurity specifiek op de agenda om periodiek te bespreken en te kijken naar het veranderende bedreigingenlandschap en de potentiële impact op de organisatie? En stelt het management in voldoende mate vast of de huidige maatregelen nog voldoende volwassen zijn ten opzichte van de in kaart gebrachte bedreigingen?

2. Human Factors

Bij dit aspect wordt beoordeeld wat de organisatie specifiek onderneemt op het vlak van cyberawareness en opleiding van het personeel. Enerzijds om het personeel bewust te maken van de toenemende risico’s en anderzijds om zorg te dragen dat het personeel (inclusief beheerders) in voldoende mate getraind en opgeleid is om de cyberbedreigingen te herkennen, maatregelen te implementeren om de bedreigingen tegen te gaan dan wel tijdig te kunnen acteren als het daadwerkelijk misgaat (capabilities).

3. Information Risk Management

De second line of defence (onder andere de afdelingen business control en risk management) moet zorg dragen voor het tijdig delen van informatie omtrent voorgedane incidenten of ‘near misses’. Daarnaast zullen zij moeten meedenken in het opzetten van de incident- en responsprocessen en deze periodiek moeten bekijken of deze nog effectief zijn op basis van de incidenten dan wel scenario’s. Tevens kunnen zij zorgen dat cybersecurity van meet af aan in de business- dan wel IT-strategie en securityarchitectuur wordt verankerd (‘security by design’). Kortom, wordt er proactief gedacht en gehandeld met betrekking tot cyber?

4. Business Continuity Management & Crisis Management

De invloed van cyber op de huidige business-continuity- en disaster-recoveryplannen is enorm, wanneer alle denkbare cyberscenario’s niet eerder zijn bekeken en ingevuld. Wat als een Active Directory van een organisatie is gecompromitteerd? Denkt de organisatie dan te kunnen terugvallen op de reguliere recoverysite? Daar staat immers een goede kopie, back-up of in sommige gevallen een online replicatie van diezelfde Active Directory. Ook het hebben van op cyberscenario’s gebaseerde crisismanagementprocessen en -protocollen is essentieel, want vaak is snelheid en openheid van communicatie vereist, als dit al niet verplicht is voor een specifieke sector.

5. Operations & Technology

Dit onderdeel heeft grotendeels betrekking op wat ook wel de hygiëne wordt genoemd. Zijn de huidige en reguliere IT-security- en fysieke securitymaatregelen en -processen volwassen en worden deze periodiek door het management getoetst op betrouwbare inrichting en effectieve werking? En indien er tekortkomingen zijn geconstateerd, worden deze dan binnen redelijke termijnen opgepakt en opgelost? Deze ITGC dienen te worden gezien als de minimale basis c.q. fundering voordat men over cyberweerbaarheid kan praten, zoals onderwerpen als Threat Intelligence en Vulnerability Management.

6. Legislation & Compliance

Hierbij gaat men na of de huidige risk en security governance duidelijk en op het gewenste volwassenheidsniveau is en de potentiële juridische dan wel financiële aansprakelijkheid in voldoende mate is onderkend en afgedekt. Met name de proactieve opstelling van risk management en de rest van de tweede line of defence moet bijdragen aan het tijdig signaleren van omissies of tekortkomingen teneinde het risico of de juridische exposure voor te blijven of, beter, te voorkomen.

Figuur 4. De zes dimensies van de Cyber Maturity Assessment. [Klik op de afbeelding voor een grotere afbeelding]

Impact van cybercrime op financial audit

In IT-systemen zijn diverse waarborgen (beheers- en controlemaatregelen) aangebracht om ervoor te zorgen dat de gebruikers alleen toegestane handelingen kunnen uitvoeren. Met name toegangsbeheer, functiescheiding en change management vormen hier het fundament voor. Juist dit fundament wordt door cybercriminelen omzeild: zij maken gebruik van zwakheden in de systemen en verschaffen zich zo ongeautoriseerd toegang (doorbreken van toegangsbeheer) en verhogen hun toegangsrechten buiten alle geautomatiseerde beheers- en controlemaatregelen om. Daarmee doorbreken zij de vereiste functiescheiding. Deze vormen van cybercrime kunnen de betrouwbaarheid van de financiële gegevens verlagen (lees ook: het risico op materiële fouten in de controle vergroten) zonder dat dit naar voren komt in een reguliere IT-audit of financial audit.

Welke impact heeft dit nu precies? Hiervoor is het belangrijk eerst te kijken naar welke actoren we in het kader van cybercrime onderkennen ([Herm14]):

georganiseerde misdaad (wereldwijd en moeilijk te traceren en te vervolgen);
overheden (cyberspionage en cyberwar);
hacktivists (geïnspireerd door ideologieën);
interne medewerkers (ontevredenheid over management- en/of organisatieveranderingen);
journalisten (gericht op journalistieke primeurs).

Deze actoren hebben hierbij veelal de volgende motivaties of drijfveren:

industriële spionage – betreffende intellectual property (bijvoorbeeld overheden en concurrenten);
financieel gewin (bijvoorbeeld insiders en/of cybercriminelen);
politiek gewin (bijvoorbeeld overheden, actiegroeperingen en journalisten);
toegang tot ketenpartner (de aangevallen organisatie is slechts ‘collatoral’);
verstoring van operationele processen (van script kiddies tot georganiseerde misdaad).

De onderstaande mogelijke gevolgen leiden tot potentiële financiële risico’s:

verstoringen van de bedrijfsvoering door onbeschikbaarheid van systemen;
verlies van klanten als gevolg van wereldkundig maken van een cyberattack of hack;
verlies of ontvreemden van geld of middelen;
represailles door toezichthouders of contractpartijen (bijvoorbeeld boetes of intrekken van licenties);
verlies van marktaandeel en concurrentiepositie door ontvreemding van intellectual property;

Voor de financial audit maakt dit in de basis niets uit. Zolang deze verliezen correct op de balans staan, kunnen de financiële cijfers nog steeds juist zijn. Hierbij wordt ervan uitgegaan dat deze verliezen ook tijdig (binnen de auditperiode) worden gedetecteerd door de organisatie en/of accountant. Echter, het niet of niet tijdig detecteren van cyberincidenten kan leiden tot continuïteitsrisico’s voor de organisatie en een auditrisico voor de betreffende auditor (zie onder). Het IT-domein van een organisatie is tegenwoordig dermate complex en ondoorzichtig dat de meeste organisaties moeite hebben hackers buiten de deur te houden. In de praktijk blijkt het tevens lastig om te detecteren of en wanneer er sprake is van een inbraak door cybercriminelen en te bepalen wat hun motivatie is, in welke mate digitale gegevens zijn gemanipuleerd en wat de impact op de bedrijfsvoering en de financiële verslaglegging is.

De Nederlandse Beroepsorganisatie van Accountants (NBA) heeft eind 2014 in haar publieke managementletter voor banken ‘Van stabiliteit naar vertrouwen’ ([NBA14]) ook aangegeven dat de dreigingen door cybercriminaliteit uitdrukkelijk moeten worden meegenomen in werkzaamheden van de auditor aangaande de betrouwbaarheid en continuïteit van de geautomatiseerde gegevensverwerking. Opgemerkt wordt dat cybersecurity niet alleen van belang is binnen de financiële of administratieve sectoren, maar dat cybersecurity ook zeker van belang is in bijvoorbeeld de industriële sector. Voor meer informatie verwijzen we naar het artikel van Heil, Hogenboom, Waalewijn en Sprengers elders in deze Compact ([Heil15]).

Het is essentieel te beseffen dat hackers die bij een organisatie hebben ingebroken, vaak direct veel invloed kunnen uitoefenen op het functioneren van de IT-omgeving. Deze IT-omgeving is tegenwoordig vaak opgebouwd uit virtuele systemen – systemen die dus niet fysiek in een datacentrum staan. Het laat zich raden of en hoe organisaties hun IT-omgeving tijdig weer op orde krijgen zonder dat ze ondertussen in financiële en/of operationele problemen komen. Daarom is het noodzakelijk feiten te verzamelen over de werking van de cyberweerbaarheid van de organisatie.

Dreigingen met betrekking tot cyber introduceren de volgende mogelijke risico’s voor de financial audit:

financial misstatement: verkeerde weergave van de financiële cijfers (‘onder de motorkap’ ontvreemd geld);
assets die minder waard blijken of zijn geworden (gestolen of gelekt intellectual property);
onverwachte boetes van toezichthouders (DNB, AFM, ACM, CBP, ECB, SEC, etc.);
out of business door majeure disruptie van de IT-omgeving.

Samenvattend is het dus belangrijk voor de financial auditor om antwoord te krijgen op de volgende twee vragen:

Heeft de organisatie voldoende maatregelen geïmplementeerd om cyberinbraken tijdig te kunnen detecteren en daarop te reageren? Door gebruik te maken van de eerder toegelichte Cyber Maturity Assessment kan dit worden vastgesteld.
Wat als de organisatie al gehackt is en de integriteit van financiële gegevens mogelijk in het geding is?

In de volgende paragrafen wordt verder ingegaan op wat de auditor moet doen wanneer blijkt dat een organisatie al gehackt is.

Wat als zich een hack heeft voorgedaan?

Met de wetenschap dat elke organisatie ooit geraakt gaat worden door een cyberhack is het, zoals eerder aangegeven, van belang dat een organisatie zich proactief richt op tijdige detectie en respons. Maar de auditaanpak moet ook voorzien in het scenario dat zich een hack of ernstig cyberincident heeft voorgedaan. Hoe moet de (financial) auditor hiermee omgaan? Welke zaken moeten dan zeker gecontroleerd zijn voordat een verklaring kan worden gegeven over de getrouwheid van de jaarcijfers? In het geval van een hack of een ernstig cyberincident moet de accountant ten minste de impact op de financial reporting inclusief openbaarmaking beoordelen, alsmede de impact op de interne controle.

De accountant dient hierbij samen met de IT-auditor de volgende zaken nader te onderzoeken om te bepalen of het risico op materiële fouten in de jaarrekening is vergroot:

Vaststellen waar de cybercriminelen zijn geweest in het IT-landschap. Welke componenten zijn (mogelijk) geraakt c.q. geïnfecteerd?
Zijn er bepaalde application controls die niet langer meer als effectief te beschouwen zijn? En zo ja, wat moet er aanvullend nog worden gecontroleerd? Of resteert alleen nog de mogelijkheid om voor de betreffende jaarrekeningposten gegevensgericht te werk te gaan? En in hoeverre zijn de betreffende gegevens nog betrouwbaar? Is er sprake van onrechtmatige onttrekking van gelden c.q. fraude?
Vaststellen in hoeverre intellectueel eigendom is ontvreemd of gelekt. Is er intellectueel eigendom gelekt, dan moet de potentiële waardevermindering in kaart worden gebracht. Dit kan op basis van het reviewen van het forensisch rapport en eventueel het volgen van de reactie van de markt of concurrenten.
Vaststellen in hoeverre contractuele verplichtingen zijn geschonden en of er boetes moeten worden betaald.
Materiële bedragen/zaken dienen te worden opgenomen in de jaarrekening en de managementletter.

Daarnaast kunnen organisaties te maken krijgen met aanzienlijke oplopende kosten en/of andere negatieve gevolgen. Hier volgen enkele voorbeelden:

Herstelkosten, als gevolg van de aansprakelijkheid voor gestolen activa of gegevens en/of het herstellen van veroorzaakte schade aan systemen, en eventuele extra uitgaven of prikkels om klanten of andere zakelijke partners na een cyberaanval te behouden en/of schadeloos te stellen.
Hogere kosten/uitgaven als gevolg van het verbeteren van de cyberweerbaarheid, zoals organisatorische veranderingen, de inzet van extra personeel, het inhuren van derden (deskundigen en adviseurs), het trainen van medewerkers en implementatie van detectie en response tooling.
Verloren inkomsten als gevolg van ongeoorloofd gebruik van informatie, verduistering van activa c.q. diefstal van assets of het niet kunnen behouden of niet kunnen aantrekken van klanten na een cyberaanval. In sommige gevallen kan dit een grote negatieve impact hebben op toekomstige kasstromen en liquiditeit van de onderneming. In extreme gevallen kan dit leiden tot een faillissement van de onderneming.
Kosten met betrekking tot juridische geschillen en/of boetes.
Reputatieschade die het vertrouwen van de klant of investeerder nadelig beïnvloedt, hetgeen ook impact kan hebben op goodwill, handelsmerk, patenten en immateriële activa.

Wellicht moeten eerder gemaakte aannames door de accountant opnieuw bekeken of herijkt worden en er zal ook zeker onderscheid moeten worden gemaakt in de aanpak en inventarisatie van de impact van een cyberaanval afhankelijk van de vraag of de cyberaanval wel of niet voor publicatiedatum van de jaarcijfers bekend c.q. ontdekt wordt.

Voor de toekomstige controlewerkzaamheden moeten onder andere de volgende zaken met de directie van de organisatie besproken worden:

Specifieke aspecten van de bedrijfsvoering die op basis van (interne en externe) threat-intelligence- en scenarioanalyses aanleiding geven tot verhoogde en/of materiële cyberrisico’s en mogelijk extra investeringen vergen om de cyberweerbaarheid te vergroten.
In het geval van uitbesteding van primaire businessprocessen dient te worden vastgesteld of er materiële cyberrisico’s bij derden liggen en in welke mate deze beheerst worden en door wie. Overwogen kan worden ‘the right to audit’ uit te oefenen bij de betreffende provider.
Het al dan niet afsluiten van een relevante (cyber)verzekering om de (financiële) gevolgschade te kunnen beperken.

Toegevoegde waarde van CMA voor de organisatie zelf

Over de toegevoegde waarde van de CMA-methodiek voor de organisatie zelf kunnen we kort en krachtig zijn: CMA maakt snel inzichtelijk op welke vlakken de volwassenheid van de cyberweerbaarheid (inclusief respons) verbeterd moet worden. Als de betreffende zwaktes goed worden opgepakt, zal dit zijn vruchten afwerpen bij een mogelijke volgende cyberaanval. Als directie of raad van bestuur krijgt men antwoorden op relevante vragen zoals deze ([Herm14]):

Hoe heeft mijn organisatie haar cyber risk appetite en -prioriteiten bepaald?
Hoe is mijn organisatie ingericht met betrekking tot cybersecurity?
Investeert mijn organisatie momenteel voldoende in cybersecurity? En krijg ik waar voor mijn geld? En hoe verhoudt dit zich tot mijn peers?
Hoe veilig en robuust is mijn organisatie momenteel? Wordt mijn organisatie nu meer of minder veilig?
Hoe worden risico’s met betrekking tot mijn leveranciers en andere ketenpartners beheerst?

De uitkomsten van de CMA geven de organisatie inzicht en verhogen het bewustzijn ten aanzien van cybersecurity. Op basis hiervan kunnen verbeteractiviteiten worden geïnitieerd, zowel in de lijnorganisatie als door middel van projecten. Daarnaast dient de organisatie ook periodiek de bouwstenen van haar cyberweerbaarheid te bekijken en/of herijken. Het moge duidelijk zijn dat de cybercriminelen niet stilzitten en dat zij continu bezig zijn om nieuwe manieren te vinden om individuen of organisaties succesvol te kunnen blijven aanvallen. Het fenomeen ‘continuous improvement’ is zeker van toepassing voor organisaties met betrekking tot cybersecurity. Want ook voor cybersecurity geldt dat het werk nooit af is, men moet altijd alert blijven en continu blijven verbeteren om de cybercriminelen zo min mogelijk vrij spel te geven en de schade zo veel mogelijk te beperken.

Conclusie

Dat cyber de wereld om ons heen heeft veranderd mag helder zijn. De paradigmaverschuiving met betrekking tot cyberweerbaarheid in combinatie met de razendsnelle groei van cybercrime betekent voor de auditor dat hij zijn auditaanpak op onderdelen zal moeten aanpassen om nog steeds de gewenste toegevoegde waarde te kunnen leveren aan zijn klanten en tevens zijn eigen auditrisico te kunnen dragen. Met de zojuist aangedragen handvatten en door samenwerking met cyberspecialisten en de klant is dit te bereiken.

Literatuur

[Beus12] R. van Beusekom en L. Kers, Cybercrime: Richting definitie, afbakening en positionering, NOREA, 5 maart 2012.

[Heil15] R. Heil, J. Hogenboom, D. Waalewijn en M.J. Sprengers, Auditor, kijk ook naar de industriële systemen!, Compact 2015/3.

[Herm14] J. Hermans, Cyber security, een onderwerp voor aan de bestuurstafel, Compact 2014/1.

[Kasp15] Kaspersky Lab, Carbanak Apt: The Great Bank Robbery, Version 2.1, February, 2015. (Zie ook www.dutchcowboys.nl/cybercrime/grootste-bankroof-cyberbende-carbanak-steelt-1-miljard-dollar-van-100-wereldwijde-financiele-instellingen.)

[Korn09] P. Kornelisse, M. van Veen en M. Smeets, IT-beveiligingstesten als onderdeel in IT-audits, Compact 2009/4.

[NBA14] Nederlandse Beroepsorganisatie van Accountants (NBA), Van stabilisatie naar vertrouwen, publieke managementletter voor banken, december 2014 (signaal 5).

[Netw11] Networking4all, Timeline omtrent de DigiNotar hack, 7 september 2011, http://www.networking4all.com/nl/ssl+certificaten/ssl+nieuws/timeline+omtrent+de+diginotar+hack/

[Rile13] M. Riley, B. Elgin, D. Lawrence and C. Matlack, Missed Alarms and 40 Million Stolten Credit Card Numbers: How Target Blew It, Bloomberg, March 13, 2014, www.bloomberg.com/bw/articles/2014-03-13/target-missed-alarms-in-epic-hack-of-credit-card-data.

[Veri15] Verizon, 2015 Data Breach Investigations Report, 2015, www.verizonenterprise.com/DBIR/2015.

[Veth09] E. Veth, Externe assurance-regels voor het interne IT-audit beroep, EDP-Auditor, nr. 3, 2009.

[Zett14] K. Zetter, Sony got hacked hard: what we know and don’t know so far, Wired, March 12, 2014, www.wired.com/2014/12/sony-hack-what-we-know/.

Van risicoanalyse naar data-analyse in de publieke sector

In november 2014 organiseerde KPMG een rondetafelbijeenkomst over de toepassing van data-analyse in de publieke sector. De doelstelling van deze bijeenkomst was om met relaties uit de publieke sector een open discussie te voeren over de mogelijkheden en beperkingen van data-analyse. Hiertoe hebben diverse sprekers hun visie op een succesvolle toepassing van data-analyse gepresenteerd. Deze visie is aan de hand van praktijkvoorbeelden van de Autoriteit Diergeneesmiddelen en KPMG nader geïllustreerd. In dit artikel een verslag van de belangrijkste uitkomsten van deze bijeenkomst.

Inleiding

Data-analyse staat sterk in de belangstelling, met name vanwege de toenemende beschikbaarheid en de combinatie- en analysemogelijkheden van gestructureerde databases, om op feiten gebaseerde conclusies te trekken of beslissingen te nemen. Data-analyse vormt daarmee een steeds belangrijker onderdeel van de ‘governance’ van organisaties. Al dan niet geïnspireerd door de toepassing van data-analyse in de jaarrekeningcontrole en door mediaberichten over de – onbegrensd klinkende – mogelijkheden van big en open data, zijn veel organisaties overgegaan tot toepassing van data-analyse als onderdeel van ‘verbijzonderde controles’ in het primaire proces en de analyse van transactieverwerking in de bedrijfsvoering.

Waar voorheen steekproeven of enquêtes werden gebruikt, kan voortaan de gehele (gegevens)populatie worden geanalyseerd. Dit als opmaat voor het in de toekomst kunnen benutten van de ontluikende data-explosie met ontwikkelingen als het Internet of Things (sensoren in de vitale publieke infrastructuren).

De eerste succesvolle toepassingen van data-analyse in het bedrijfsleven waren voornamelijk in de financiële, retail- en logistieke sectoren en binnen organisaties bij financiële en marketingafdelingen. De bij deze organisaties in gebruik zijnde ERP-systemen bevatten veel transactiegegevens, die door hun gestructureerdheid relatief gemakkelijk voor data-analyses kunnen worden benut. Al constateren wij in de praktijk nog vooral operationeel georiënteerde data-analyses en nog weinig strategische toepassing – de beantwoorde vragen komen nog beperkt uit het beleid voort.

Data-analyse heeft bij overheidsinstellingen echter tot nu toe minder ingang gevonden dan in bovengenoemde commerciële sectoren. Naast researchinstellingen en UMC’s zijn het in eerste instantie met name uitvoeringsorganisaties en toezichthouders die de uitvoering van hun taken, het voldoen aan wettelijke termijnen of de beteugeling van hun rechtmatigheids- en frauderisico’s op basis van data-analyses willen versterken. In de publieke sector worden eveneens veel gegevens opgeslagen en door het gebruik van het burgerservicenummer (BSN) zijn deze ook eenvoudiger te combineren en te koppelen – mits dit is toegestaan uit wettelijk oogpunt (zogeheten ‘doelbinding’ uit de Wet bescherming persoonsgegevens) of vanuit maatschappelijke verwachtingen.

Om de mogelijkheden van het verder uitbreiden van de toepassing te onderzoeken hebben Ronald Koorn, Henk Hendriks, Koen klein Tank, Stefan Zuijderwijk en Peter Bölscher vanuit KPMG IT Advisory een bijeenkomst over data-analyses in de publieke sector georganiseerd. Bij de bijeenkomst waren deelnemers aanwezig afkomstig van uitvoeringsorganisaties zoals zelfstandige bestuursorganen, agentschappen, inspecties, toezichthouders en (hoger)onderwijsinstellingen. In de paragraaf ‘Uitwisseling van ervaringen’ leest u enkele voorbeelden van door deelnemers en KPMG’ers uitgewisselde ervaringen.

Mogelijke doelstellingen en vormen van data-analyse in de publieke sector

Ronald Koorn startte de bijeenkomst met een inleiding op de gehanteerde doelstellingen en vormen van data-analyse in de publieke sector. Aan de hand van figuur 1 besprak hij hoe data-analyse kan worden toegepast bij het verbeteren van effectiviteit, betrouwbaarheid, rechtmatigheid en doelmatigheid van zowel primaire als ondersteunende processen. Hierbij kan verder onderscheid worden gemaakt in de wijze waarop kan worden gebruikgemaakt van persoonlijke expertise op een bepaald gebied, bedrijfsregels, kunstmatige intelligentie en gestructureerde of ongestructureerde externe data (zie de ringen van de stam in figuur 2). Het analyseren van data aan de hand van bedrijfsregels en gestructureerde data van andere instanties zijn momenteel de eerste stappen die overheidsorganisaties hebben gezet. Wij zien nog marginaal gebruik van ongestructureerde interne of externe data, zoals data van onder toezicht gestelde partijen.

C-2015-1-Koorn-01

Figuur 1. Nut en noodzaak van data-analyse in de publieke sector.

Figuur 2. Data-analyse in de publieke sector: antwoord op maatschappelijke en organisatorische vragen. [Klik op de afbeelding voor een grotere afbeelding]

Voordat de twee praktijkcasussen over data-analyse gerelateerd aan de dienstverlening en aan de bedrijfsvoering werden behandeld, werd ingegaan op de relatie tussen risicoanalyse en data-analyse (zie figuur 3).

Met een risicoanalyse kan worden bepaald in hoeverre bijvoorbeeld organisatie- of beleidsdoelen niet worden behaald, wat de kans hierop is en welke impact dat heeft. Volwassen organisaties hebben op basis van een organisatiebrede risicoanalyse naast key performance-indicatoren (KPI’s) ook key risico-indicatoren (KRI’s) gedefinieerd.
Met een data-analyse kunnen deze KRI’s worden gemonitord, maar kan natuurlijk ook worden geprobeerd antwoorden op specifieke maatschappelijke en organisatorische vragen uit de data te destilleren. Voorbeelden van dergelijke vragen zijn met welke interventies de veiligheid in stadscentra het meest gebaat is, in welke processen gemeenten en provincies hun administratieve lasten het beste kunnen verlagen, of alle omvangrijke inkopen Europees zijn aanbesteed, welke processen lange doorlooptijden en afwijkende betalingen kennen, etc. Daarnaast kan met data-analyses worden vastgesteld in hoeverre de andere getroffen beheersingsmaatregelen al dan niet effectief functioneren (zie de figuren 3 en 4).

C-2015-1-Koorn-03

Figuur 3. Van risicoanalyse naar data-analyse.

C-2015-1-Koorn-04

Figuur 4. Samenhang van beheersingsmaatregelen.

Terwijl data-analyses zich vrijwel uitsluitend richten op databaseniveau, kunnen risicoanalyses zich op alle niveaus van de ‘stack’ van beheersingsmaatregelen richten, van doelen tot aan operationele aspecten (zie ook figuur 4).

Praktijkvoorbeeld van toepassing van data-analyse in het primaire proces

De directeur van de Autoriteit Diergeneesmiddelen, dr. Hetty van Beers, gaf vervolgens een toelichting op de toepassing van proces-, systeem- en data-analyse voor de landelijke monitoring van de reductie van antibioticagebruik in de veehouderij. In 2010 besloot de overheid het gebruik van antibiotica te reduceren om de toenemende resistentie te beteugelen; het antibioticagebruik moest in 2011 met 20 procent gereduceerd zijn, in 2013 met 50 procent en uiteindelijk in 2015 met 70 procent. De Autoriteit Diergeneesmiddelen (SDa) werd door de overheid en private partijen opgericht om standaarden te zetten, te benchmarken, afwijkend gebruik te signaleren en toezicht te houden op de kwaliteit van de data en de registratieprocessen.

Door aan veehouders, diersectoren en dierenartsen benchmarkwaarden en de te hanteren rekensystematiek voor te schrijven en periodiek hierover terug te koppelen hoe hun verbruik van verschillende typen antibiotica zich verhoudt tot die van andere vergelijkbare veehouders, heeft de SDa bewerkstelligd dat het gebruik inmiddels significant is teruggedrongen. Aan het vaststellen van de benchmarkwaarden en het berekenen van het gebruik van antibiotica op bedrijfsniveau liggen een goede analyse, transparante rekensystematiek en een diergeneesmiddelendoseringstabel ten grondslag. Data-analysemethodieken vormen een belangrijk onderdeel van deze aanpak doordat op basis van resultaten van data-analyses het absolute en relatieve antibioticagebruik inzichtelijk wordt gemaakt en de benchmarkwaarden en doseringen worden berekend. Verder vindt toepassing van data-analyses plaats bij het bewaken van de kwaliteit van de gehanteerde data. Ook werd ingegaan op de rol van KPMG, die ondersteuning bood bij het uitvoeren van landelijke proces-, systeem- en data-analyses in diersectoren en bij dierenartsen. Op basis hiervan heeft de SDa beter kunnen bepalen in hoeverre de registratieprocessen en datakwaliteit toereikend zijn voor het bepalen van rekensystematieken en benchmarkwaarden.

Zonder betrouwbare data en landelijke data-analyses zouden geen goede en – per type antibioticum gedifferentieerde – uitspraken en rapportages over antibioticagebruik en reductie ervan aan het ministerie en de Tweede Kamer te doen en maken zijn.

Data-analyse als onderdeel van risicomanagement van ondersteunende processen

Vervolgens presenteerde Koen klein Tank vanuit KPMG de aanpak en succesfactoren van data-analyse in ondersteunende processen. Hij ging nader in op hoe data-analyse op basis van KPMG’s Facts2Value-aanpak kan worden toegepast als onderdeel van risicomanagement van bijvoorbeeld een betalings- of HR-proces. Hiertoe schetste hij hoe data-analyse bijvoorbeeld kan worden gebruikt bij het onderzoeken van de volgende zaken:

Het efficiënt functioneren van bulktransactieprocessen, bijvoorbeeld in een shared-serviceorganisatie (‘worden alle interne en externe klanten binnen SLA-termijnen bediend?’).
Het betrouwbare en integere verloop van operationele transacties, zoals controle op gemandateerde inkopen en factuurbetalingen (‘zijn er invoerfouten gemaakt?’ en ‘zijn er krediet- of declaratielimieten overschreden of spoedbetalingen buiten werktijden doorgevoerd?’).
De effectieve werking van autorisaties en procedures, zoals hiervoor reeds genoemd en in figuur 4 gevisualiseerd. Dit betreft dus niet alleen de theoretische mogelijkheid van het doorbreken van mandaten en functiescheidingen, maar ook het daadwerkelijk doorgevoerd zijn van transacties (‘is het bestellen rechtmatig gebeurd?’ en ‘is het afboeken van dubieuze debiteur of wanbetaler volgens onze richtlijnen gebeurd?’).
Het verloop van het werkkapitaal (‘moeten wij een beroep doen op de bank voor onze te verwachten liquiditeitsbehoefte?’).
Het naleven van wet- en regelgeving (‘zijn er afwijkende betalingstransacties, bijvoorbeeld transacties met bijzondere organisaties of transacties die fraude- of omkopingssignalen bevatten?’).
Het waarborgen van de privacy, vertrouwelijkheid en retentie (‘wie heeft inzage gehad in medische gegevens van medewerkers?’ en ‘hebben wij geen gegevens/documenten opgeslagen die over hun bewaartermijn heen zijn?’).
De kwaliteit van de gegevens, de heilige graal (‘hoeveel keer komen dezelfde klanten en leveranciers voor?’ en ‘hoeveel uitval is er bij een fotovergelijking met een basisregistratie?’).

De visie van KPMG op de toepassing van preventieve controles en detectieve data-analyse in het inkoopproces is in figuur 5 aan de hand van een vergelijking met een snelweg geïllustreerd.

Figuur 5. KPMG’s visie op preventieve controles en detectieve data-analyse: de snelweg. [Klik op de afbeelding voor een grotere afbeelding]

Uitwisseling van ervaringen

Tot slot spraken de deelnemers in een open discussie over de toepassingsmogelijkheden van data-analyse en de uitdagingen hierbij. Vergelijkbaar met wat in het internationale KPMG-onderzoek over data-analyse ([KPMG14]) naar voren kwam, waren de meeste deelnemers van mening dat de toepassing van vergaande data-analyses hun functie zal kunnen veranderen en in de eerste plaats efficiency- en effectiviteitswinst in de bedrijfsvoering tot gevolg kan hebben.

Op basis van hun leerervaringen bespraken de inleiders en de deelnemers de belangrijkste uitdagingen, de do’s en don’ts, voor de toepassing van data-analyse in de publieke sector – in lijn met het bovengenoemde KPMG-onderzoek.

Projectmatige leerervaringen

Er zijn meer data-analysespecialisten nodig; in Nederland moeten we daarom veel investeren in de opleiding van dergelijke specialisten. De grote hoeveelheid aan kleinschalige initiatieven op het gebied van data-analyse zou beter gecoördineerd moeten worden.
Data-analyse moet met steun van het management uit de operationele controlehoek en hobbysfeer komen om belangrijkere beleids- en organisatorische vragen te kunnen beantwoorden. Dan kunnen ook de kwantitatieve analyseresultaten aan kwalitatieve vraagstukken worden verbonden.
De betrokkenheid van zowel ervaren proces-, systeem- als data-analisten is cruciaal om een pilot te laten welslagen door bruikbare resultaten. Bij voorkeur maakt de pilot ook deel uit van een breder organisatietraject met bestuurlijke ophanging (bijvoorbeeld Lean, risicomanagement, fraudedetectie en dergelijke).
Generieke data-analyses voegen weinig toe, die moeten concreet worden toegespitst op specifieke processen en onderwerpen. Het juist vertalen van vage doelen en wensen naar praktisch uitvoerbare controles en analyses vergt veel aandacht om ‘false positives’ te vermijden. Het aantal false positives moet op een acceptabel laag niveau liggen voor voldoende draagvlak. Bovendien is de overheid nog beperkt competent in het definiëren van goed bruikbare risicoprofielen.
Vergeet niet het verandertraject naar een informatiegedreven organisatiecultuur. Vanzelf ontstaat dan het bewustzijn dat ‘eigenaarschap’ en standaardisatie van gegevens onmisbaar zijn.
Zorg dat data-analyse onderdeel is van een breder proces, denk bijvoorbeeld aan de integratie van data-analyses in bestaande beleidsevaluatie, managementinformatie of de Planning & Control-cyclus. Zonder organisatorische inbedding hebben data-analyses weinig overlevingskansen.

Inhoudelijke leerervaringen

Door samenvoeging van verschillende databronnen worden op termijn de uitkomsten en de datakwaliteit beter. Dit kan gezien de ontstane vervuiling wel een meerjarig traject vergen.
Een gegevensautoriteit en gegevenswoordenboek per sector of keten is nodig om te komen tot uitgebreidere gegevensuitwisseling en data-analyses.
Bij het in één database combineren van ‘kroonjuwelen’ is de toegangsbeveiliging van cruciaal belang.
Tevens moet voorzichtig worden omgegaan met het analyseren van gevoelige persoonsgegevens en gegevens over persoonlijk gedrag. Om te voorkomen dat de overheid als Big Brother wordt beschouwd is het beter de gegevens eerst te anonimiseren of pseudonimiseren[Pseudonimiseren is een procedure waarmee identificerende gegevens met een bepaald algoritme worden vervangen door versleutelde gegevens (het pseudoniem). Het algoritme kan voor een persoon altijd hetzelfde pseudoniem berekenen, waardoor informatie over de persoon, ook uit verschillende bronnen, kan worden gecombineerd. Daarin onderscheidt pseudonimiseren zich van anonimiseren, waarbij het koppelen op persoon van informatie uit verschillende bronnen niet mogelijk is (uit: ISO-standaard TS 25237).] voorafgaand aan het uitvoeren van data-analyses – anders zou allereerst regelgeving of expliciete toestemming nodig zijn.
De rol van tooling is essentieel om efficiënte data-analyses uit te voeren; in veel gevallen blijken er al IT-hulpmiddelen in huis te zijn.
Eventueel maatwerk in standaardpakketten is een complicerende factor waar rekening mee moet worden gehouden bij de interpretatie van analyseresultaten.
Als data-analyses op het terrein van bedrijfsvoering met name detectief van aard zijn, dan is het beter om op basis hiervan een aantal preventieve applicatiecontroles in te richten.
Het is van belang kwalitatief goede data op dusdanige wijze beschikbaar te krijgen dat ze kunnen worden toegepast bij data-analyses.

Het visualiseren van uitkomsten is een krachtig middel om bestuurders en managers te overtuigen van de mogelijkheden van data-analyses, met name in het primaire proces.

De meeste deelnemers verwachten de komende jaren nog bezig te zijn met het op poten zetten van goede data-analyses. De vervolgstappen naar Continuous Auditing en Continuous Monitoring of naar volledig – in de processen en systemen geïntegreerd – risicomanagement zien de deelnemers pas op langere termijn plaatsvinden.

Slotoverwegingen

Overheidsorganisaties staan nog aan de vooravond van bredere, gedetailleerdere en doelgerichtere data-analyses. Niet alleen om de bedrijfsvoering te beheersen en te optimaliseren, maar vooral ook om de primaire processen effectiever en efficiënter in te richten. Na een start met data-analyses uitgevoerd op de kernprocessen bij inspecties, toezichthouders en uitvoeringsorganisaties, verwachten wij dat daarna complexere maatschappelijke vraagstukken en beleidsvraagstukken zullen worden aangepakt. Tevens zullen patroonherkenning en heuristische analyses ingang vinden bij de meer volwassen data-analysegebruikers. Hiervoor zal het meestal ook nodig zijn gegevens uit de eigen organisatie en uit andere organisaties of bronnen te combineren en daarvoor zijn verdere standaardisatie van de informatie-infrastructuur van de overheid (governance, data- en uitwisselingsdefinities) en goede rechts- en privacybescherming randvoorwaardelijk.

Omdat ruime praktijkervaring ontbreekt, waren alle deelnemers van mening dat het verder uitwisselen van kennis en ervaring een mogelijke oplossing is voor het succesvol(ler) toepassen van risico- en data-analyses in de publieke sector. Ten slotte spraken alle deelnemers de verwachting uit van een sterke groei aan data-analyseprojecten in hun organisatie.

Literatuur

[KPMG14] KPMG, Driving performance while managing risk: embedding data and analytics in the business model, 2014, http://www.kpmg.com/NL/nl/IssuesAndInsights/ArticlesPublications/Documents/PDF/Big-Data/Driving-Performance-While-Managing-Risk.pdf

[Veld14] M. op het Veld, A. van der Harst en N. Scheps, Data-analytics: Rondetafel Internal Audit Diensten, Compact 2014/2.

Soft controls: IT General Controls 2.0

Organisaties besteden steeds meer aandacht aan soft controls en data-analyse om de kosten van compliance verder te verlagen, maar belangrijker nog om gedrag te verklaren en te beheersen. Dit blijkt enerzijds uit de toenemende behoefte van externe toezichthouders om inzicht te krijgen in cultuur en gedrag en anderzijds uit de technologische mogelijkheden om door middel van data-analyse een hogere mate van compliance te behalen op het gebied van interne beheersing. Grote incidenten en fraudes hebben de afgelopen jaren aangetoond dat het vaak de soft controls waren die haperden, zoals zonnekoningengedrag en/of een gebrek aan (onder meer) aanspreekbaarheid. Dit artikel verkent hoe soft controls binnen een IT-audit kunnen worden geïntegreerd. Het geeft inzicht in de toepassing van soft controls binnen IT-afdelingen en geeft een voorbeeld van het integreren van soft controls in de jaarrekeningcontrole ten aanzien van het IT-domein.

Inleiding

In 2003 verdedigde de Amerikaanse senator Paul Sarbanes in de Senaat zijn wetsvoorstel voor deugdelijk ondernemingsbestuur. Een rechtstreeks gevolg van deze wet is het systematischer inrichten van de interne beheersingsmaatregelen voor de financiële rapportages. Op 30 december 2004 trad de Nederlandse versie, de code-Tabaksblat, in werking. Deze code is van toepassing op alle vennootschappen in Nederland die zijn genoteerd op de Amsterdamse beurs. De code schrijft voor hoe toezicht op het bestuur is geregeld en hoe het bestuur verantwoording moet afleggen. In de eerste jaren na invoering van de wet concentreerden bedrijven zich vooral op het opzetten van een raamwerk van interne beheersingsmaatregelen. Zoals uit figuur 1 blijkt, is in de jaren die daarop volgden de focus verlegd naar het zoeken naar manieren om de interne beheersing verder te optimaliseren en hiermee de kosten van interne beheersing te verlagen. Hierbij zijn organisaties meer gaan steunen op geautomatiseerde beheersingsmaatregelen ([Bast04], [Neis02]).

C-2015-1-Basten-01

Figuur 1. Changing control environment.

Momenteel kijken organisaties naar aanvullende manieren om de effectiviteit van de interne beheersing te vergroten en hierover zekerheid te krijgen. Veelal moeten de kosten van compliance van interne beheersing omlaag en moet de zekerheid omhoog. Hierdoor bestaat de behoefte en de noodzaak om via aanvullende wegen aan zekerheid te komen. Daarnaast geven enkel hard controls niet voldoende zekerheid dat de risico’s van interne beheersing voldoende worden beheerst. Data-analyse en soft controls worden vaak genoemd als nieuwe technieken waarmee je met minder inspanning meer zekerheid kunt verkrijgen. In onze visie neemt de verschuiving van de aandacht naar data-analyse en soft controls in de jaarrekeningcontrole de komende jaren een grotere vlucht omdat data-analyse en soft controls niet alleen beter inzicht verschaffen in de mate van interne beheersing, maar organisaties ook inzicht geven in brede zin om bedrijfsprocessen verder te optimaliseren.

Behalve vanuit de interne organisatie (met name vanuit de interne auditdienst) komt er ook steeds meer aandacht voor soft controls vanuit internationale beroepsgroepen en Amerikaanse toezichthouders. Het COSO-raamwerk, dat in mei 2013 na twintig jaar een nieuwe release kreeg, vraagt expliciet aandacht voor competenties en verantwoordelijkheden. Een van de oorzaken is de toenemende complexiteit van organisaties en hun omgeving.

Ook in Nederland hebben externe toezichthouders (AFM en DNB) en commissarissen steeds meer aandacht voor soft controls. Uit onderzoek ([Lück15]) komt naar voren dat 48 procent van de commissarissen vindt dat de accountant een bijdrage kan leveren aan het beoordelen van de ‘tone at the top’. Na schandalen in de semipublieke sector, onder andere bij Vestia, Rochdale en Amarantis, heeft het kabinet eind 2013 een onafhankelijke commissie opdracht gegeven principes voor ‘behoorlijk bestuur’ op te stellen ([Hals13]). Deze Commissie Behoorlijk Bestuur, met als taak het opstellen van gedragsregels voor professioneel en ethisch verantwoord handelen van bestuurders en interne toezichthouders in de semipublieke sectoren, richt zich voor een belangrijk deel op soft controls.

Dit artikel begint met een definitie van soft controls. Daarna volgt een voorbeeld van de wijze waarop soft controls kunnen worden geïntegreerd in de jaarrekeningcontrole in het IT-domein.

Door meer regels meer ‘in control’?

Hoewel een verschuiving plaatsvindt naar het integreren van soft controls binnen audits, waren soft controls al aanwezig voordat hard controls binnen een organisatie werden geïmplementeerd. Ter illustratie: in het verleden liep de directeur van een grote supermarktketen een rondje door het bedrijf en was op die manier ‘in control’ over de operationele bedrijfsvoering. De afgelopen jaren heeft deze supermarktketen een aantal grote overnames gedaan van winkelketens. De directeur geeft aan dat het voor hem niet uitvoerbaar is om ‘in control’ te zijn door ‘management by walking around’.

De aard van de risico’s bij een groeiende onderneming verandert en de omvang van de risico’s neemt toe. Organisaties die ‘in control’ zijn weten vaak een balans te vinden tussen regels en vertrouwen. Naast compliance komt dit de tevredenheid, innovatiekracht en klantgerichtheid ten goede. Daarnaast wordt hiermee de betrokkenheid van medewerkers vergroot, wat vaak een positief effect heeft op het controlebewustzijn in de organisatie.

C-2015-1-Basten-02

Figuur 2. Verband tussen regels en fouten ([Katz05]).

Op basis van onderzoek ([Katz05]) is geconcludeerd dat er geen lineair verband bestaat tussen het aantal regels en het aantal incidenten. Er bestaat een optimum van beheersing waarmee de kans op incidenten het kleinst is. Mensen hebben blijkbaar behoefte aan houvast en duidelijkheid, maar dit kan ook doorslaan. Voorbij dit optimum vergroten additionele regels en procedures de kans op incidenten omdat men dan door de bomen het bos niet meer ziet en mensen geneigd zijn niet meer zelf na te denken. Vaak wordt geredeneerd dat iemand anders al goed heeft nagedacht over een bepaalde checklist en er dus niet meer hoeft worden nagedacht. De kans op incidenten kan echter niet tot nul worden gereduceerd, waardoor het management vaak de neiging heeft regels toe te voegen. Dit is concreet en tastbaar maar leidt niet zelden tot schijnzekerheid. Het vraagt lef van organisaties om op zoek te gaan naar de juiste balans door regels af te schaffen.

Soft controls

Soft controls kunnen worden gedefinieerd als ‘niet-tastbare gedragsbeïnvloedende factoren in een organisatie die van belang zijn voor het realiseren van de doelen van de organisatie en de eisen en verwachtingen van stakeholders‘ ([Kapt10]).

Organisaties nemen in toenemende mate soft controls mee in hun interne onderzoeken om op een vollediger wijze aantoonbaar ‘in control’ te zijn. Het management van een organisatie formuleert het beleid en stippelt de strategie uit om die vervolgens te vertalen naar kritische succesfactoren. Heus en Stremmelaar ([Heus00]) maken hierbij onderscheid tussen kritische succesfactoren (KSF’s) en kritische organisatievariabelen (KOV’s). Volgens hen heeft een KSF primair een externe focus en neemt die het perspectief van onder meer klanten en toezichthouders als uitgangspunt. Aan de hand van deze factoren kan de organisatie zicht houden op de mate waarin de strategische koers wordt gevolgd en de mate waarin de organisatie daarmee bijvoorbeeld onderscheidend blijft ten opzichte van de concurrentie. Voorbeelden zijn het percentage klantvriendelijkheid en het aantal klachten. Een KOV heeft daarentegen een interne focus. Hierbij wordt gekeken naar sociale, culturele en psychologische variabelen van de organisatie. Deze variabelen zijn van directe invloed op de effectiviteit van bedrijfsprocessen. Het management moet bij de inrichting van processen aandacht besteden aan zowel KSF’s als KOV’s.

Voor organisaties is het een opgave om de KSF’s/KOV’s te monitoren en bij te sturen. Sturing vindt plaats door zowel hard controls als soft controls. Soft controls zijn complementair aan hard controls (zowel data-analyse als process level controls). Een goede kwaliteit van soft controls heeft een positief effect op de effectieve werking van hard controls. Andersom geldt ook dat niet-effectieve process level controls een negatief effect kunnen hebben op gedrag. Een kassa die gemakkelijk toegankelijk is, leidt nu eenmaal eerder tot diefstal dan een kassa die afgesloten is. Het signaal dat uitgaat van een afgesloten kassa is evident: geen ongeautoriseerde toegang.

Inzicht in de kwaliteit van soft controls geeft inzicht in potentiële nieuwe risico’s. Soft controls zijn een belangrijk onderdeel van de in COSO beschreven entity level controls. ‘Tone at the top’, openheid en betrokkenheid bepalen voor een belangrijk deel het controlebewustzijn in de organisatie. Daarmee is de kwaliteit van soft controls (mede)bepalend voor de waarschijnlijkheid waarmee risico’s tot een acceptabel risico kunnen worden verlaagd.

Organisaties schrijven de meerwaarde van soft controls onder andere toe aan de systematische gedragsoorzakenanalyse. Internal-auditafdelingen maken in toenemende mate gebruik van een gedragsoorzakenanalyse om de kiem van een auditbevinding bloot te leggen. Soms wordt hiermee inzicht verkregen in nieuwe potentiële risico’s. Als resultaat van een audit gericht op de effectiviteit van hard controls kan bijvoorbeeld de bevinding worden gerapporteerd dat een procedure en/of richtlijn ontbreekt voor het proces van wijzigingsbeheer. De conclusie zou kunnen zijn dat de procedure en/of richtlijn (al dan niet op schrift) ‘niet effectief’ is. Het is nog maar de vraag of dit het geval is. Bij een oorzakenanalyse kan aan het licht komen dat medewerkers geheel volgens de (externe) norm werken maar dat bijvoorbeeld sprake is van een gebrek aan leiderschap. Denk in dit geval aan een leidinggevende die geen belang hecht aan regels, deze ook niet kent en dus hier ook niet op toeziet. De vraag is in welke mate deze manager betrokken is bij andere normen, zoals de gedragscode of regels rondom data security. Door te letten op soft controls, zoals de houding van het management, komen mogelijk niet eerder geïdentificeerde risico’s aan het licht.

Soft controls en soft-controlinstrumenten

Er is een onderscheid tussen soft controls en soft-controlinstrumenten. Soft controls zijn het best te vergelijken met de eerdergenoemde kritische organisatievariabelen (KOV’s) en beschrijven de context van een organisatie op verschillende niveaus, bijvoorbeeld op organisatiebreed niveau de ‘tone at the top’ en op het niveau van processen of controls de mate van uitvoerbaarheid van of betrokkenheid met hard controls. Soft controls vormen het fundament van iedere organisatie, het gedrag van bestuur, management en medewerkers. Soft-controlinstrumenten zijn de beheersingsinstrumenten die zijn gericht op het stimuleren van gewenst gedrag in een organisatie.

In figuur 3 is het KPMG Soft Controls Model opgenomen. Dit model geeft een schematische weergave van de samenhang tussen hard controls en soft controls. Het model bestaat uit de acht soft controls beschreven door Muel Kaptein ([Kapt11]).

Figuur 3. KPMG Soft Controls Model. [Klik op de afbeelding voor een grotere afbeelding]

Soft controls en soft-controlinstrumenten binnen het IT-domein

Wanneer de IT-auditor in het kader van de jaarrekeningcontrole een onderzoek naar de General IT Controls uitvoert, dan neemt de IT-auditor vaak al een aantal soft-controlinstrumenten mee in de beoordeling van de interne beheersing, zoals de IT-governancestructuur, security awareness en het gehanteerde IT-governancemodel (denk hierbij aan het demand-supplymodel tussen de business en de IT-organisatie of het hebben en naleven van de IT-strategie). Uiteraard heeft de IT-auditor vooraf het object van onderzoek bepaald op basis van een risicoafweging ([Neis02]).

Daarnaast besteedt de IT-auditor op procesniveau vaak impliciet aandacht aan soft controls. Het Capability Maturity Model (CMM) ([CMMI02]) helpt enerzijds om de volwassenheid van processen te meten en anderzijds om goed inzicht te krijgen in de menselijke factor in IT-beheersprocessen. Wanneer we de soft-controlinstrumenten uit het KPMG Soft Controls Model vergelijken met het CMM, dan zien we een overlap van componenten zoals:

gedragscode, ‘tone at the top’ en beleid (relateert aan de soft controls ‘helderheid’en ‘voorbeeldgedrag’);
monitoring en direct supervision (relateert aan de soft controls ‘transparantie’ en ‘aanspreekbaarheid’);
training en bewustwordingsactiviteiten (relateert aan de soft control ‘betrokkenheid’);
functioneringsgesprekken en taken & verantwoordelijkheden (relateert aan de soft control ‘helderheid’).

Figuur 4. Capability Maturity Model (CMM). [Klik op de afbeelding voor een grotere afbeelding]

Zoals uit figuur 4 blijkt, relateren een aantal meetindicatoren van het CMM aan de kwaliteit van soft controls. Zo kan het aspect ‘Mensen-en-vaardighedenmanagement’ (People and Capability Management) gemeten worden aan de hand van personeelsverloop, medewerkerstevredenheid en competenties van mensen. Deze indicatoren geven inzicht in de mate van betrokkenheid (hoe tevreden zijn mensen met hun werk en is tevredenheid mogelijk een reden voor laag personeelsverloop?) en uitvoerbaarheid (krijgen medewerkers de juiste trainingen om hun werk uit te voeren?).

Andere indicatoren/componenten, naast de meetindicatoren uit het CMM, die de IT-auditor helpen om inzicht te geven in de kwaliteit van soft controls zijn bijvoorbeeld:

Sterkte van de relatie tussen business en IT. Hebben business en IT heldere afspraken gemaakt over interne service levels? In welke mate zijn dilemma’s bespreekbaar?
Span of control. Is de afdeling te groot om nog direct supervision toe te passen? In hoeverre is de leidinggevende nog in staat om in voldoende mate betrokken te zijn?
Regeldruk. Hoe ziet de balans tussen regels en vertrouwen eruit?
Functional/technical quality of applications. In hoeverre worden medewerkers geholpen (of juist tegengewerkt) door IT-hulpmiddelen?
(IT-)strategie/visie. In hoeverre bestaat deze en wordt deze door het management uitgedragen en nageleefd? In welke mate zijn de strategie en visie helder voor de medewerkers?

Casus: monitoring en direct supervision

Bij een IT-afdeling van een Europees handelsbedrijf zijn de rechten van IT-medewerkers niet beperkt en hebben zij alle rechten binnen het ERP-pakket (zogenoemde ‘super users’). Het management geeft hiervoor twee redenen. Enerzijds zijn de super users nodig om goede support te kunnen leveren aan eindgebruikers en anderzijds is de beperking van rechten toch maar schijnzekerheid. Immers, zo redeneert het management, de IT-medewerkers kunnen via het OS of de database toch wel in het systeem komen. Kortom, de casus illustreert dat de interne beheersing voor een groot deel berust op vertrouwen in de medewerkers in plaats van op de inzet van hard controls.

Het is voor het management niet haalbaar om het daadwerkelijke gebruik van super users te loggen, maar de afspraak binnen de afdeling is dat IT’ers in een logboek vastleggen wanneer ze door middel van SQL de database hebben benaderd. De regel is dat zij het benaderen van de database samen met een andere persoon doen (sociale controle). Daarnaast zitten alle IT’ers centraal bij elkaar in een ruimte (direct supervision) en niet wereldwijd verspreid, waardoor medewerkers over het algemeen minder snel geneigd zijn om ongeautoriseerde transacties uit te voeren (‘de kassalade staat niet ongezien open’).

Een onderzoek naar de kwaliteit van soft controls geeft een belangrijk inzicht in de effectieve werking van de interne beheersing die voor een groot deel berust op vertrouwen. Relevante vragen in dit onderzoek zijn bijvoorbeeld: in welke mate zijn de bovengenoemde regels helder voor de IT-medewerkers, stimuleert de leidinggevende van de afdeling controlebewust gedrag, zijn de IT-medewerkers betrokken en gemotiveerd om risico’s te beheersen? En spreken zij elkaar aan bij het niet naleven van regels? Om antwoord te krijgen op deze vragen zal de IT-auditor gebruik moeten maken van minder traditionele vragen en auditinstrumenten, waardoor de accountant mogelijk minder gegevensgerichte werkzaamheden hoeft uit te voeren vanwege het verlagen van het restrisico.

Soft controls in het kader van de jaarrekeningcontrole

Wij onderscheiden twee niveaus bij de beschouwing van soft controls in het kader van de jaarrekeningcontrole: het niveau van entity level en het niveau van process level.

Wanneer we naar soft controls kijken op het niveau van entity level, beschouwen wij de kwaliteit van een of meer van de acht soft controls binnen een organisatie. Dit kan bijvoorbeeld door middel van een enquête onder medewerkers binnen een bepaalde thematiek, zoals ‘openheid’ of ‘controlebewustzijn’. De kernwaarden van de organisatie kunnen als referentiekader worden genomen.
Bij soft controls op het niveau van process level kijken we naar soft controls en soft-controlinstrumenten binnen bedrijfs- of IT-processen. Hier wordt vaak een link gelegd naar hard controls. Soft-controlinzichten kunnen input zijn voor de risicoanalyse voorafgaand aan de controlewerkzaamheden. De IT-auditor onderzoekt in het kader van ‘understanding of the IT environment’ wat de kans is op een materiële afwijking in de jaarrekening als gevolg van fraude en/of fouten in het IT-domein. Een goed begrip van de mogelijke oorzaken van afwijkingen is hierbij noodzakelijk. Inzicht in de kwaliteit van soft controls draagt bij aan het verkrijgen van een goed begrip.

In tabel 1 zijn de wijzigingen in de aanpak voor de IT-auditor schematisch weergegeven. De activiteiten in de nieuwe aanpak vragen om een IT-auditor die getraind is om soft controls te kunnen toetsen. De IT-auditor zal meerdere technieken moeten toepassen om zijn conclusie beter te kunnen onderbouwen.

C-2015-1-Basten-t01

Tabel 1. Veranderingen in de activiteiten van de IT-auditor.

De IT-auditor zal minder traditionele vragen moeten stellen en andere auditinstrumenten moeten hanteren die hem helpen in zijn onderzoek naar de kwaliteit van soft controls. Hij zou bijvoorbeeld de auditee een aantal stellingen kunnen voorleggen, voorafgaand aan het interview rondom hard controls. Dit vergt uiteraard ook vanuit de auditee de openheid om hier eerlijk over te antwoorden en vereist dus mogelijk nieuwe vaardigheden van de (IT-)auditor. Voorbeelden van zulke nieuwe vaardigheden zijn:

Medewerkers zijn voldoende kritisch ten aanzien van elkaar met betrekking tot de control ‘autoriseren van gebruikers’.
Medewerkers worden aangesproken op het omzeilen of niet juist uitvoeren van de control ‘de emergency change procedure’.
Aanspreken op het niet naleven van de control ‘security awareness’ gebeurt serieus (niet alleen met een grap).
Fouten rondom de control ‘review functiescheidingsconflicten’ worden niet afgeschoven op anderen.

Ook observaties geven de IT-auditor waardevolle informatie over het gedrag dat medewerkers vertonen. Denk hierbij aan de mate waarin zij adequaat vragen beantwoorden en elkaar aanspreken bij onbehoorlijk wachtwoordgebruik. Dit zijn belangrijke observaties in het kader van interne beheersing.

Een ander instrument is de dilemmasessie. Hierin kunnen ‘brede’ ethische dilemma’s worden behandeld, maar kan men ook specifiek ingaan op dilemma’s relevant voor de IT-audit, bijvoorbeeld in de sfeer van IT-security. Hierin kan het naleven van het informatiebeveiligingsbeleid aan de orde komen, bijvoorbeeld het spanningsveld tussen het halen van deadlines (service level agreements) en een gedegen implementatie van programmatuurwijzigingen in de productieomgeving (emergency change procedures). Dilemmasessies leveren niet alleen waardevolle controlinformatie op, maar vergroten tevens het risicobewustzijn bij de klant.

Casus: testmanagement

Het testmanagement bij een grote bank bleek in eerste instantie goed te zijn geregeld, maar uit onderzoek bleek dat een kritische houding op de testafdeling ontbrak. Dit werd vooral veroorzaakt door de ervaren druk om targets te halen. Een testprocedure, testverslagen, test evidence en formele (user acceptance testing [UAT]) goedkeuringsverslagen waren aanwezig. Ook de gesprekken gaven de bevestiging dat het testmanagement goed was ingericht en dat de procedures werden nageleefd. Echter, toen er enkele soft-controlvragen werden gesteld, kwam een ander beeld naar voren: de testen startten nooit op tijd en ook de benodigde resources werden nooit beschikbaar gesteld. Maar dit had uiteindelijk geen impact op het eindresultaat: de UAT-verslagen werden op tijd aangeleverd en de resultaten waren in bijna alle gevallen positief. Deze situatie is ontstaan doordat de testafdeling doorkreeg dat het hoger management een nieuwe release altijd goedkeurt en hun inbreng bij deze besluitvorming minimaal is. Testen is vaak de laatste stap voordat een nieuwe applicatie, module of change naar productie wordt gebracht. Het hoger management wil deze deadline halen en laat zich niet afleiden door een aantal testbevindingen. Het testteam kan alleen door substantiële testbevindingen het hoger management van gedachten laten veranderen, maar de testafdeling voelde zich niet voldoende gesteund om dit soort krachtige signalen af te geven (eerdere kritische signalen werden niet opgevolgd/gehoord). Daardoor werd er getest op een dusdanige wijze dat de uitkomsten overall positief zijn. Het testteam bleek uiteindelijk door scopewijzigingen, diepgang van testen en het oprollen van testresultaten over voldoende flexibiliteit te beschikken om naar een goed testverslag te kunnen werken, zonder dat het kon worden aangerekend op de aanwezige lacunes in de systemen.

Op basis van inzichten in de kwaliteit van soft controls krijgt de IT-auditor een beter inzicht in de daadwerkelijke risico’s van interne beheersing en kan hiermee een gefundeerde conclusie trekken over de werking van beheersingsmaatregelen binnen een organisatie.

Uitwerking met voorbeelden

In tabel 2 is voor twee typische ITGC-onderwerpen een uitwerking gegeven van mogelijke auditwerkzaamheden op zowel hard controls als soft controls.

C-2015-1-Basten-t02

Tabel 2. Uitwerking van ITGC-onderwerpen met voorbeelden.

Conclusie

Recent uitgevoerde jaarrekeningcontroles tonen de meerwaarde aan van het integreren van soft controls in het domein van General IT Controls. Na ruim tien jaar Sarbanes-Oxley, waarbij organisaties met name de focus hebben gelegd op het implementeren van hard controls, krijgen soft controls en data-analyse de afgelopen jaren meer aandacht. Organisaties hebben de ambitie om aantoonbaar ‘in control’ te zijn over (gedrags)risico’s en de kosten van compliance te verlagen. Aandacht voor soft controls kan nader inzicht verschaffen in de risico’s die een organisatie loopt en input geven voor een risicoassessment in het kader van de jaarrekeningcontrole. Na het testen van de beheersingsmaatregelen kan op basis van een soft controls root cause analysis worden vastgesteld wat de achterliggende oorzaak is van bevindingen zoals het ontbreken of niet effectief zijn van beheersingsmaatregelen. Met dit inzicht kunnen zowel kleine als grote ondernemingen aan de slag om de interne beheersing van risico’s binnen de organisatie verder te versterken. Dit draagt bij aan het succes van de organisatie.

Literatuur

[Bast04] Drs. A.R.J. Basten RE, De invloed van automatisering op AO/IC, Compact 2004/3.

[CMMI02] CMMI Product Team, Capability Maturity Model® Integration (CMMI^SM), Version 1.1, Software Engineering Institute, Carnegie Mellon University/SEI-2002-TR-012. Pittsburg, PA.

[Hals13] F. Halsema, Een lastig gesprek: Advies Commissie Behoorlijk Bestuur, september 2013.

[Heus00] R.S. de Heus en M.T.L. Stremmelaar, Auditen van soft controls, 2000.

[Kapt03] M. Kaptein en V. Kerklaan, Controlling the ‘soft controls’, Management Control & Accounting, vol. 7, nr. 6, pp. 8-13, 2003.

[Kapt10] M. Kaptein en Ph. Wallage, Assurance over gedrag en de rol van soft controls: een lonkend perspectief, Maandblad voor Accountancy en Bedrijfseconomie, vol. 84, nr 12, pp. 623-632, 2010.

[Kapt11] S.P. Kaptein, Waarom goede mensen soms de verkeerde dingen doen: 52 bespiegelingen over ethiek op het werk. Amsterdam: Business Contact, 2011.

[Kapt13] S.P. Kaptein, Soft-controls in de MKB-praktijk: een handreiking, Leidraad voor de Accountant, pp. 80, A.2.7-01-22, 2013.

[Katz05] T. Katz-Navon, E. Naveh and Z. Stern, Safety climate in health care organizations: a multidimensional approach, Academy of Management Journal, 48 (6), pp. 1075-1089, 2005.

[Lück15] Prof. dr. M. Lückerath-Rovers en prof. dr. A. de Bos RA, Nationaal Commissarissen onderzoek 2014: de commissaris en de accountant, januari 2015.

[Neis01] Prof. A.W. Neisingh RE RA, Accountantscontrole en informatietechnologie: ‘bij elkaar deugen ze niet en van elkaar meugen ze niet’, Compact 2002/4.

Fraud Detection Tools That Outsmart Fraudsters

History shows that fraudsters are very innovative and have developed a wide range of schemes to commit and hide fraud, like we have seen in the recent Libor scandals. In order to stop fraudsters, many organizations are looking for effective countermeasures to outsmart them. The increasing amount of available data provides new opportunities for innovative techniques to detect suspected fraudulent behavior. These techniques use characteristics from the data that fraudsters are unaware of or is extremely difficult for them to control. This approach helps fraud investigators to find signs of fraud they did not even know existed. By being innovative themselves, investigators prevent fraudsters’ schemes from succeeding.

Introduction

Analysis of fraud cases shows that the typical fraudster is 36 to 45 years old, generally acting against his or her own organization, and mostly employed in an executive, finance, operations or sales/marketing role ([KPMG13]). Above all, fraudsters are creative. Although creativity cannot be measured, the history of fraud cases reveals how creative the fraudsters are. Fraudsters exploit a wide range of vulnerabilities, from doing business with nonexistent customers, like Satyam did to inflate revenues, to executing complex financial transactions, such as Enron did to hide their debt. When the fraud is detected by investigators, the fraudsters will continue innovating to cover it up. To prevent and detect fraud, organizations need to be more innovative than the fraudsters and always one step ahead of them. We need methods so advanced and complex that they can detect even the most subtle and innovative acts of fraud, yet so simple that they are easy to use.

Any fraud investigation will start by setting out the topics and questions for investigation. Choosing which method to employ to identify possible fraudulent behavior depends on these questions. Which methods are most applicable is further limited by the available data. Several innovative solutions to detect signs of fraud activity using various types of data exist, and more are being developed. The next sections describe some of these solutions.

Innovative methods to detect signs of fraud

Investigators using traditional methods search large volumes of data for known signs of fraud, signs they already know based on their previous experience ([Rijn11]). However, such an investigation will only uncover the tip of the iceberg. To outsmart fraudsters we need methods that will also detect anomalies that may be signs of fraud, signs that investigators were not already looking for and frauds they were not already aware of. In other words, instead of looking for “things I know that I don’t know about the data,” investigators need to find “things I don’t know that I don’t know about the data,” as illustrated in Figure 1.

C-2014-4-Fissette-01

Figure 1. Information extraction pyramid.

The ever-growing amount of data poses challenges for traditional fraud investigations that will only identify a small part of the actual scams. But large volumes of data also presents opportunities for new and innovative detection methods. As data is generated following fraudulent acts, it becomes increasingly difficult for the fraudster to mask the fraud by controlling and manipulating this data trail. New analysis tools and methods can detect subtle anomalies and patterns in large amounts of data, turning the challenge of large volumes of data into an opportunity.

Pattern recognition

There is a class of innovative solutions based on recognizing patterns in data. Pattern recognition itself is not a new concept. In fact, humans perform pattern recognition on a daily basis. For example, recognizing an object as a banana is a pattern-recognition task. Humans learn to recognize bananas based on a combination of features including color, shape and size; the values for these features for a banana are “yellow,” “curved cylinder” and “15-25 cm long.” Pattern-recognition methods are based on the same principle. They use features to make inferences about the data.

The advantage of automatic pattern-recognition methods is that they can be used to read the data to learn the features of a scam. Users of these techniques do not need to define which features and values they are looking for. As a result, these methods identify things you didn’t know that you didn’t know about the data. Just as we recognize bananas based on their features, it is possible to recognize signs of fraud using specific features. For example, features describing pharmaceutical health-insurance claims include the age and gender of the patients, expenses of the claims and the dispatch rate of the medicine. When the values for these features deviate from the expected values, that may indicate fraud with the insurance claims. The insurance claims for one person who received medicine worth 60,000 euros on multiple days in a year stand out, as compared to the pattern of insurance claims of other patients. Pattern-recognition methods are able to identify combinations of a large number of features to detect deviating, possibly fraudulent, behavior.

A Bayesian network is a method that is suitable for detecting deviation from a pattern. A Bayesian network learns the relation between features. Features that are dependent on each other are connected. For example, where a transaction is entered by a user who is an employee, the date and time of that transaction should correspond to the time of day and day of the week that the employee is known to be working. The simple Bayesian network of this example is given in Figure 2.

C-2014-4-Fissette-02

Figure 2. Simple Bayesian network.

A Bayesian network develops probability distributions that explain how the nodes and arrows interact. For example, Figure 3 shows how the user and day of the week are correlated. Since Mary never works on Mondays, the probability that Mary entered a transaction on Monday is zero. Hence Bayesian networks are able to construct probable scenarios from many features of transactions. Subsequently, the network and probability distributions are used to give a score to each possible scenario. This score indicates the likelihood of the combination of specific feature values of that scenario occurring. A very low likelihood score indicates a deviation from a pattern, which may be the result of fraud ([Rijn11]). The likelihood score of a transaction being entered by Mary on Monday is very low. So, when the pattern-recognition method finds such a transaction, it may have found a fraudulent activity. Fraud is confirmed when further investigation of the transaction reveals that Peter the cleaner used Mary’s account to transfer money to a friend’s bank account.

C-2014-4-Fissette-03

Figure 3. Probability of combinations of day of the week and presence of employee.

Process-mining techniques, a subfield of data-mining techniques, extract features from the event logs created by Enterprise Resource Planning (ERP) systems to identify business processes. These features include which activities are executed when and by whom. Process-mining techniques are able to extract the actual processes instead of the designed process. A discrepancy between the actual and designed process may indicate a violation of the procedures and therefore be a sign of fraudulent behavior ([Jans11]). Furthermore, process-mining techniques can show incomplete or incorrect processes, which could pose a risk of fraud.

Visual analysis

Visualization methods combine computational power with human pattern-recognition capabilities ([Keim06]). These methods convert complicated data into a comprehensible visual representation. Humans are able to derive useful information from this visual representation. This principle is already used in simple graphs and bar charts. These graphs and charts summarize data in a way that makes the information easier for people to grasp than if they were to try to understand it from the source data records alone. Complex graphs may be 3-dimensional and add additional information by using color. Figure 4 gives an example of a complex visualization. Increasingly innovative methods produce more advanced visualizations and allow the user to interact with this output and the underlying data. This way visualization methods can reveal unusual patterns that may indicate fraudulent behavior that is not apparent from the original data.

C-2014-4-Fissette-04

Figure 4. Example of a complex visualization.

The tool Visual Ledger is an example of an innovative method that applies visual analysis methods to visualize the series of transactions present in the general ledger. A general ledger records all the transactions relating to a company’s assets, liabilities, equity, revenue and expenses. Business processes (for example, the procurement process) result in predictable series of transactions that affect a series of general ledger accounts. Accountants rely on their knowledge and expertise to know which series are expected. Therefore accountants are able to identify any series of transactions that deviates from the expected norm. It is possible to follow these series manually. However, due to the large number of transactions in a general ledger, manual analysis is only possible for a sample of the data. Using Visual Ledger it is possible to analyze all such series of transactions. Figure 5 shows a schematic overview of the visualization produced by Visual Ledger. The tool allows the user to zoom in on the transaction details between two accounts.

Figure 5. Schematic overview of the visualization produced by Visual Ledger. The tool allows the user to zoom in on transaction details. [Click on the image for a larger image]

The general ledger does not explicitly segregate a series of transactions. The general ledger contains all transactions performed on the general ledger accounts, but does not register which changes belong together or which succeed each other. This information is necessary to detect fraudulent behavior among the transactions. Therefore, the tool first segregates a series of transactions based on the information that is registered in the general ledger. After identifying the series of transactions, a visualization of this series is constructed.

For visualization tools to be easy to use, the visualization needs to be intuitive ([Keim06]). As an example, Visual Ledger shows how cash and cash equivalents flow into and out of the organization. Visualizing all accounts of an organization not feasible, due to the large number of accounts. However, these accounts can be grouped into larger more high-level categories ([Rijn13]). By interacting with the tool, the user is able to retrieve specific account and transaction details. Accountants can use the tool to identify unusual money flows by combining the visualization with their knowledge of what is normal for the organization. The accountant can retrieve the transaction details of the unusual flows to judge whether further investigation is required.

Text analysis

Pattern-recognition and visual-analysis methods are very useful for analyzing structured data. In addition to structured data, organizations have large amounts of unstructured data in the form of textual documents. These documents contain a wealth of information that can also be used to detect signs of fraud. The use of text in fraud investigations is not new. Descriptions of transactions are analyzed as part of ongoing anti-money-laundering measures, and e-mails are searched based on keywords. Innovative text-analysis methods automatically scan texts according to certain characteristics. These characteristics are used to analyze the texts. As a result of unconscious psychological processes, writers disclose identifiable personal characteristics or clues about whether they know the text to be truthful. Therefore, it is potentially possible to identify the author of a text or determine whether a document is likely to be fraudulent ([Fiss13], [Mark14]).

One advantage of these screening tools is that automatic text-analysis methods, unlike manual analysis, are objective. Just like the pattern-recognition techniques, the method defines features based on the data. Text-analysis methods use linguistic features extracted from the texts to detect patterns. Examples of commonly used linguistic features are word counts and grammatical word classes. Figure 6 gives an example of the word counts for two sentences. From these word counts it can be concluded that the sentences are most likely about data, and more specifically about structured data. Grammatical word classes can be extracted automatically to provide additional information about words. Figure 7 gives an example of the word classes for the sentence “The man has a large blue car.” The papers of disgraced scientist Diederik Stapel that contained fraudulent data he had knowingly manipulated used fewer adjectives than his accurate papers on his legitimate research. He also used more words that expressed certainty about the results in his fraudulent papers, as compared to the legitimate papers ([Mark14]).

C-2014-4-Fissette-06

Figure 6. Example of word counts for two sentences.

C-2014-4-Fissette-07

Figure 7. Example of word classes extracted from the sentence “The man has a large blue car.”

Another advantage of these screening tools is that automatic text analysis is very efficient. The manual analysis of texts is time-consuming, considering the large amount of textual documents an organization has. It is not feasible to analyze all these documents. Automatic text analysis overcomes this problem. This provides the opportunity to analyze more and larger documents. For example, a large number of annual reports can be analyzed. In the past, analysis of annual reports has focused on the financial information. However, in the last couple of years the amount of textual disclosures in annual reports has increased. These texts may contain clues indicating the presence of fraud. Currently, a method is being developed to test whether annual reports of companies where fraud was committed can be distinguished from non-fraudulent reports, based on the linguistic features of the texts.

Analysis of digital behavior

Information containing signs of fraud is not only present in the financial data and textual documents of an organization. It is also in the behavior of its employees. A lot of this behavior is captured digitally on websites and social media. Behavioral expressions can be analyzed using open-source intelligence methods. The results of these analyses can be used in several types of fraud investigations.

For example, sentiment-analysis methods can be used to analyze the writers’ emotions. These methods identify whether a piece of text contains a positive or negative emotion, or they detect a more specific emotional state of the writer. These methods can, for example, discern from a message whether the writer was happy, sad or angry. These emotions can be used in subsequent analyses. For example, sentiment can be used to distinguish true hotel reviews from deceptive hotel reviews ([Yoo09]). To prevent fraud within an organization, sentiment analysis can be used to assess the emotions and behaviors of employees. When necessary, the organization can take measures to influence the behavior of its employees, reducing the probability that dissatisfied employees will commit fraud.

Sentiment analysis uses information contained in the messages themselves. However, all documents and social media messages also have metadata that describes the document or social media message. Examples of this type of information include the name of the document author, the time of creation and location of the network on which the document was created. Metadata is stored automatically and is nearly impossible for fraudsters to influence. For insurance companies, the metadata can be very useful in determining whether insurance claims are false. For example, when a policyholder files a claim for car damage that happened in Amsterdam, metadata from social media may show that the policyholder was in New York at the time of the claimed car damage.

Metadata, optionally in combination with the actual messages and other information on websites, can be used to extract information about social networks. These networks determine which people know each other and how close their relationship is. This information can be useful in fraud investigations. For example, when John approves insurance claims a social network can show that he also approved a claim for his neighbor Jane. Figure 8 shows a very simplified social network for John, showing that he is closely related to Jane. Further investigation of the relation between Jane and John shows that they are in a close relationship. The false insurance claim was filed to cover the costs of a joint vacation.

C-2014-4-Fissette-08

Figure 8 .Simple social network showing the relations of John.

Conclusion

Depending on the data available and the questions fraud investigators ask, an investigator can choose among several innovative solutions that are already available (or will be in the future). Each of the previously discussed methods makes use of the large amounts of available data and is able to find signs of fraud you did not know you were even looking for. These methods extract patterns from a combination of a large number of data features. It would be difficult for a fraudster to manipulate all these features in such a way that they would follow the normal patterns. Therefore, these methods have the ability to outsmart the fraudsters. With these solutions we are one step ahead. In the future, methods like the ones described will be able to predict fraud before it even happens, based on the data trails at the very early stages of fraudulent actions. With such methods we are even several steps ahead of fraudsters.

References

[Fiss13] M. Fissette, Author Identification Using Text Mining, De Connectie, 2013.

[Jans11] M. Jans, J. Martijn van der Werf, N. Lybaert and K. Vanhoof. A Business Process Mining Application for Internal Transaction Fraud Mitigation. Expert Systems With Applications, 38:13351-13359, 2011.

[Keim06] D.A. Keim, F. Mansmann, J. Schneidewind and H. Ziegler, Challenges in Visual Data Analysis. In: Proceedings of the conference on Information Visualization IV ’06, IEEE Computer Society, 2006.

[KPMG13] KPMG, Global Profiles of the Fraudster, 2013.

[Mark14] D.M. Markowitz and J.T. Hancock, Linguistic Traces of a Scientific Fraud: The Case of Diederik Stapel, PLoS ONE 9(8): e105937. doi:10.1371/journal.pone.0105937, 2014.

[Rijn11] Q. Rijnders, P. Özer, V. Blankers and T. Eijken, Zelflerende software detecteert opvallende transacties, MAB 3, 2011.

[Rijn13] Q. Rijnders, T. Eijken, M. Fissette and J. van Schijndel, Behoefte aan visuele technieken voor verbetering controle, MAB 6, 2013.

[Yoo09] K. Yoo and U. Gretzel, Comparison of deceptive and truthful travel reviews, Information and Communication Technologies in Tourism 2009: Proceedings of the International Conference. Vienna, Austria: Springer Verlag, 2009.

Agile assessments

Steeds meer organisaties adopteren een agile werkwijze voor het ontwikkelen van software. De overgang van een vooraf gedefinieerd proces naar een empirisch van onderaf gestuurd proces blijkt in de praktijk een reis met vele uitdagingen. Het continue spel van inspectie en adoptie blijft belangrijk om het rendement van agile te behouden of te vergroten. Het is daarom belangrijk hier continu aandacht aan te blijven besteden. Een agile assessment geeft inzicht en levert verbetervoorstellen. Dit artikel behandelt de uitdagingen van agile werken en de aanpak en effecten van een agile assessment.

Inleiding

Steeds meer organisaties adopteren een agile werkwijze voor het ontwikkelen van software. De overgang van een vooraf gedefinieerd proces naar een empirisch van onderaf gestuurd proces blijkt in de praktijk vaak geen sinecure en vraagt inspanningen op het gebied van organisatiestructuur, organisatiecultuur, personeel en techniek. In de praktijk constateren wij dan ook vaak ‘agile in name only’-implementaties die uiteindelijk onvoldoende de werkelijke voordelen van agile ontwikkelmethoden opleveren: het sneller bereiken van business value tegen lagere kosten en een wendbaardere organisatie.

Vaak begint de adoptie van agile met het toepassen van een aantal agile technieken, zoals het introduceren van een Scrum-board en dagelijkse stand-up meetings. Door het zichtbaar maken van de voortgang en het verbeteren van de communicatie worden al snel de eerste voordelen geboekt, maar agile werken is meer dan een Scrum-board en een stand-up meeting alleen. Het gaat om een totaal andere benadering van softwareontwikkeling, waarbij veranderingen worden omarmd en de stakeholders nauw betrokken zijn. Daarnaast dient voortdurend gestreefd te worden naar continue verbetering van zowel het proces als het product om het ultieme doel te kunnen waarmaken: kortcyclische opleveringen, zodat snel(ler) kan worden geprofiteerd van hetgeen is ontwikkeld.

In de praktijk komen we vaak tegen dat de developmentteams wel degelijk agile proberen te werken, maar dat de organisatie om hen heen hier nog niet volledig op is aangepast en soms zelfs weerstand uitoefent tegen deze verandering. Zeker wanneer meerdere teams agile werken, is het van belang dat de organisatie goed is ingericht en worden zaken als transparantie en inzicht belangrijker.

We zien dat veel organisaties op de goede weg zijn, bijvoorbeeld door het zelf uitvoeren van sprintreviews en retrospectives na iedere iteratie of de inzet van Scrum-coaches die ondersteuning bieden aan de teams. In aanvulling hierop adviseren wij organisaties om periodiek ook een onafhankelijke agile assessment uit te (laten) voeren om breder inzicht te krijgen in de verbeteringen aan het agile proces, zodat meer voordelen kunnen worden behaald.

Er zijn diverse methoden voor het uitvoeren van agile assessments. Deze variëren van korte online self-assessments voor individuele teams tot uitgebreide volwassenheidsmodellen die de gehele organisatie bestrijken. Omdat de inrichting binnen iedere organisatie anders is en er verschillende agile werkwijzen worden toegepast, is er in de markt geen algemeen geaccepteerde standaard.

KPMG heeft een agile assessment framework ontwikkeld dat op verschillende dimensies toetst of een agile adoptie geslaagd is in relatie tot de bedrijfsdoelstellingen en dat verbeterpunten onderkent. In dit artikel gaan wij in op het toetsen van agile werken, gebaseerd op het KPMG agile assessment framework, waarbij we speciale aandacht geven aan de grootste uitdagingen die organisaties hierin tegenkomen.

Uitdagingen bij agile werken

Voordat we dieper ingaan op het uitvoeren van agile assessments, willen we eerst kort stilstaan bij de uitdagingen die een agile werkwijze met zich meebrengt. Zoals we in de inleiding ook al benoemden, vereist de adoptie van een agile werkwijze een fundamenteel andere benadering en inrichting ten opzichte van de traditionele manier van softwareontwikkeling (vaak aangeduid met de term waterval- of V-modelmethode), wil een organisatie écht van de in de inleiding genoemde voordelen kunnen profiteren.

Een eerste uitdaging die we vaak terugzien binnen organisaties is door wie agile binnen de organisatie wordt gedragen. Vaak zien we in de praktijk dat de invoering van een agile manier van werken enkel en alleen wordt gedreven vanuit de IT-organisatie, die wel de noodzaak ziet om de manier waarop software wordt ontwikkeld te veranderen, maar de rest van de organisatie niet voldoende meekrijgt om echt agile te kunnen werken. In dat geval is er dan eigenlijk hooguit sprake van een ‘lokale optimalisatie’, zonder dat het hoofddoel wordt bereikt. In sommige gevallen kan dit zelfs op een dusdanige teleurstelling uitlopen dat het gevoel overheerst terug bij af te zijn. Organisaties komen er dan vaak te laat achter dat de adoptie van agile uiteindelijk niet zozeer een operationeel vraagstuk is, maar juist veel meer strategisch van aard en niet alleen tot de IT-afdeling behoort. Agile softwareontwikkeling is geen doel op zichzelf, het is immers volgens het Agile Manifesto ([AM01]) de business value die de belangrijkste driver zou moeten zijn. Het is hier dan ook de business die in de driver’s seat moet plaatsnemen. Ondanks het feit dat de teams grotendeels zelfsturend zijn en daardoor bottom-up worden gedreven, dient de strategische sturing wel degelijk vanuit de businessdoelstelling te komen. Agile als prominent onderwerp op de agenda van de IT-directeur is daarom onvoldoende.

Vraagstukken op strategisch niveau zijn uiteraard nauw verwant met de missie en doelstellingen van de organisatie en geven richting aan de agile implementatie. De kernvraag daarbij is wat business value in dat opzicht voor een organisatie inhoudt. Is een snel veranderende markt en daarmee een kortere time-to-market een belangrijk aspect? Of is het doel meer intern gericht en zijn het de efficiencywinsten die de business value bepalen? Ook kan bijvoorbeeld sneller innoveren een belangrijke drijfveer zijn om agile te willen werken.

Naast strategische aspecten zijn het veelal de operationele uitdagingen waarmee organisaties worstelen. Hier is een goede begeleiding van de teams belangrijk. Om kortcyclisch en in nauw verband met elkaar te kunnen samenwerken zal een organisatie vaak anders moeten worden ingericht. Dit is echt een organisatievraagstuk: is er sprake van een omgeving waarin de teams optimaal kunnen presteren en die aansluit bij de beoogde doelstellingen? Dit gaat vaak over de beschikbaarheid van informatie, tools, medewerkers en sturing. Zoals duidelijk moge zijn, moet een oplossing voor deze vraagstukken gezocht worden binnen de keten van het voortbrengingsproces; van het opstellen van de eerste requirements tot het succesvol in productie brengen van een feature. De wijze waarop de organisatie dit proces heeft ingericht is namelijk bij een agile werkwijze bepalend voor de vraag of het behalen van de businessdoelstellingen sowieso binnen bereik komt.

Daarnaast zijn er ook binnen de ontwikkelteams zelf verbeterpunten aan te wijzen. Aangezien vrijwel iedere agile werkwijze dun is aan de methodekant, lijkt implementeren gemakkelijk. In de praktijk blijkt echter dat agile werken vaak een ‘mindshift’ van zowel ontwikkelaar als product owner vereist. Niet zelden moet van oude ‘gebruiken’ worden overgestapt op een nieuwe, andere manier van werken. Onlosmakelijk verbonden met de ontwikkelteams is de kwaliteit van hetgeen wordt opgeleverd en de manier waarop dit gebeurt. De inzet van voldoende technische hulpmiddelen en tools is een voorwaarde om steeds snel (binnen twee tot vier weken) te kunnen opleveren.

Hier een top tien van veelvoorkomende uitdagingen die we in de praktijk voorbij zien komen:

Het management is niet faciliterend, maar sturend. Bij het nemen van beslissingen wordt er nog te veel gestuurd vanuit het (project)management in plaats van dit over te laten aan de teams zelf.
De product owner wordt verkeerd geselecteerd of heeft niet genoeg mandaat gekregen om zelfstandig beslissingen te kunnen nemen. Hierdoor is er onvoldoende daadkracht of moeten beslissingen later worden herzien.
Er wordt onvoldoende tijd ingeruimd voor de product owner, waardoor deze maar slechts beperkt beschikbaar is voor het beantwoorden van vragen uit een team. Dit gaat ten koste van zowel de kwaliteit van het opgeleverde product als de efficiëntie van het team.
Teamleden zelf worden onvoldoende beschikbaar gemaakt om te werken binnen een team. Er lopen vaak meerdere projecten tegelijk, waardoor er geen sprake is van een vaste teamsamenstelling. Hierdoor heeft het team moeite om continu te verbeteren.
Binnen de sprints wordt nog te veel met miniwatervalletjes gewerkt. Indicatoren hiervoor zijn bijvoorbeeld dat bepaalde taken, bijvoorbeeld het testen, niet altijd af zijn aan het einde van een sprint. Taken worden onvoldoende ‘klein’ gemaakt, waardoor het uitvoeren van de taak langer dan een sprint duurt. Daarnaast wordt er te weinig aandacht besteed aan het automatiseren van taken (bijvoorbeeld regressietesten), waardoor het op lange termijn steeds lastiger wordt om de velocity te kunnen waarmaken.
De release is klaar, maar door het onvoldoende betrekken van bijvoorbeeld de beheerorganisatie kan deze niet direct in productie worden genomen. Hier zijn vaak vele redenen voor te bedenken, bijvoorbeeld dat de beheerorganisatie vooraf nog niet is betrokken of niet in de methodewijziging meegaat. Hieruit blijkt vaak dat de organisatie als geheel nog niet goed is ingericht om agile te werken.
Er wordt onvoldoende aandacht besteed aan het opstellen en zich houden aan de Definition of Done, waardoor later alsnog discussie ontstaat over hetgeen wordt opgeleverd door de teams (bijvoorbeeld het ontbreken van documentatie). Daarnaast wordt de Definition of Done niet met de betrokken partijen afgestemd, waardoor later alsnog herstelwerkzaamheden gedaan moeten worden (het is niet echt af).
De teams meten te weinig. Niet alleen wordt er slecht omgegaan met de velocity, ook wordt weinig tot geen aandacht besteed aan andere metrics (bijvoorbeeld burndowns, kwaliteitskengetallen, aantal defects et cetera), waardoor algehele transparantie ontbreekt.
Er worden geen goede afspraken gemaakt over beheerissues en kritische incidenten die eventueel met voorrang tijdens de lopende sprint moeten worden opgelost. Hierdoor werken deze verstorend en kan het team niet optimaal presteren.
Een agile manier van werken staat of valt daarnaast met het proces van voortdurende verbetering (het proces volgens ‘inspect and adapt’, ook wel bekend als de kwaliteitscyclus van Deming). Continue aandacht voor dit proces is erg belangrijk. In de praktijk zie je dit proces, zeker na een groot aantal sprints, nog wel eens verslappen.

Om te kunnen beoordelen in hoeverre een organisatie geslaagd is in de adoptie van een agile ontwikkelproces en om te bepalen wat de mate van volwassenheid is van deze implementatie, heeft KPMG een assessment framework ontwikkeld. Dit framework toetst op verschillende dimensies in hoeverre de mate van agile adoptie is geslaagd in relatie tot de bedrijfsdoelstellingen.

Welke voordelen biedt een agile assessment?

Het uitvoeren van een agile assessment moet in onze visie bijdragen aan het overwinnen van de uitdagingen waarmee een organisatie te maken krijgt. Deze uitdagingen zijn per organisatie verschillend en zijn afhankelijk van vele factoren. Het bepalen van deze factoren moet dus een integraal onderdeel zijn van de aanpak, net als het bepalen van de algehele doelstelling van de assessment: wat zijn de primaire redenen voor het opstarten ervan? Bij de uitdagingen hebben we al een aantal van deze voorbeelden beschreven.

Vooropgesteld moet worden dat het doel van de assessment geen ‘audit’ is waarbij wordt beoordeeld op ‘goed’ en ‘fout’. Het is met name de bedoeling om inzichtelijk te maken welke principes worden toegepast, wat de volwassenheid is van deze principes en in welke mate de organisatie daarmee in staat is om effectief te werken.

Een van de belangrijkste uitgangspunten bij een agile assessment is dat er rekening moet worden gehouden met de fase van volwassenheid waarin de implementatie zich bevindt. Het is niet realistisch om een implementatie te beoordelen op het hoogste volwassenheidsniveau als de organisatie daar nog niet naartoe is gegroeid. Bij het bepalen van de mate van volwassenheid gebruiken we meestal het in figuur 1 weergegeven, vrij op CMMI gebaseerde, model.

Figuur 1. Model voor de mate van agile volwassenheid. [Klik op de afbeelding voor een grotere afbeelding]

Een integraal onderdeel van de assessment is het concreet aanwijzen van verbeterpunten, zodat het niet blijft bij bevindingen alleen. Het is enerzijds van belang om die gebieden te identificeren waar de organisatie als geheel zich kan verbeteren, maar anderzijds ook om te kijken waardoor de individuele teams beter kunnen gaan presteren.

Waar coaches een goed middel zijn om de daadwerkelijke implementatie binnen de teams te bewerkstelligen, is een assessment meer bedoeld om met een onafhankelijke blik en met iets meer afstand naar de implementatie te kijken en ook de strategische vraagstukken daarbij te betrekken.

De methode die KPMG hiervoor gebruikt, is met name hierop gericht en wordt in de volgende paragrafen verder toegelicht.

Methode

De in dit artikel gepresenteerde methode voor een agile assessment geeft niet alleen inzicht, maar levert tevens duidelijke verbetervoorstellen op. Een organisatie kan op basis hiervan zelf beslissen welke verbeteringen worden doorgevoerd en op welke termijn. Omdat het Agile Manifesto als basis is genomen, is de assessment toepasbaar op iedere agile methode (XP, Scrum et cetera), ook wanneer binnen een organisatie verschillende methoden door elkaar worden gebruikt. Daarnaast is deze aanpak schaalbaar (van één team tot grotere programma’s).

Inzicht over drie assen

De methode geeft de organisatie inzicht over drie assen/dimensies/stromen:

organisatie & processen;
tools & technieken;
cultuur & gedrag.

Organisatie & processen

Bij het onderzoeken van de organisatie en de processen wordt allereerst goed gekeken naar de plaats van de afdeling, het programma of het project in de organisatie. Hierbij wordt tevens gekeken hoe dit past binnen het portfoliomanagement van de organisatie en hoe dit rijmt met de agile werkwijze die wordt gebruikt. Een essentieel onderdeel hierbij is ook hoe de ontwikkelteams samenwerken met andere stakeholders (product owner, ondersteunende afdelingen et cetera) en of hier verschillen en/of overeenkomsten tussen de teams zijn aan te wijzen.

Thema’s die aan deze stroom gerelateerd zijn:

betrokkenheid van de business, de rol van de product owner en andere stakeholders;
inrichting van de organisatie, de teams en de manieren van samenwerken;
inrichting van de processen (architectuur, ontwerp, ontwikkeling, testen, releases, planning, beheer et cetera), ook in relatie tot de organisatie.

Ook besteden we in deze stroom aandacht aan de rol van innovatie & architectuur en aan manieren om vroeg betrokken te raken bij vernieuwingen vanuit de business en om de time-to-market te verkorten.

Tools & technieken

In deze stroom kijken wij naar de tools en technieken die worden gebruikt om het agile werken te ondersteunen. Het gaat hier om zowel fysieke (ruimte, Scrum-board, pokerkaarten) als softwarematige tools (inrichting ontwikkelstraat, mate van procesautomatisering, dashboards, verzamelen van metrieken, testtools et cetera).

In deze stroom wordt zo onder meer onderzoek gedaan naar:

de technieken die de teams gebruiken in het afstemmingsproces (manier van plannen, gebruikte tooling et cetera);
de transparantie waarmee gegevens over het proces en de geleverde kwaliteit beschikbaar zijn;
de (onafhankelijke) wijze waarop metrieken worden bepaald;
mogelijkheden voor verdere automatisering van het proces en ondersteuning van de ontwikkelaars.

Cultuur & gedrag

Het invoeren van een agile proces is niet alleen het opzetten van een nieuw proces, nieuwe teams en nieuwe rollen. Het is ook het invoeren van een nieuwe manier van denken, waarbij wijzigingen worden omarmd, waarbij teams zelfsturend zijn, waarbij moet worden gewerkt op basis van richting en ruimte. Dit betekent in veel gevallen een verandering van gedrag en cultuur. In deze stroom gaat de aandacht uit naar bewustwording, openheid en transparantie en het geven van richting en ruimte.

In deze stroom wordt onderzoek gedaan naar:

hoe het team omgaat met veranderende prioriteiten;
of er open wordt gecommuniceerd;
de mate van zelfsturing binnen de teams;
hoe de sfeer in het team is en hoe het team omgaat met het oplossen van problemen (impediments);
of de status en het product voor alle betrokkenen inzichtelijk zijn;
hoe evaluaties (retrospectives) zijn ingericht en hoe het team omgaat met continue verbetering.

Assessment is gebaseerd op de agile principes

Omdat agile processen per definitie empirisch van aard zijn, wordt niet gekeken naar de mate waarin een bepaald proces is geïmplementeerd, maar naar de mate waarin wordt voldaan aan een aantal agile principes. Deze manier van toetsen maakt het mogelijk dat verschillende implementaties met elkaar kunnen worden vergeleken en biedt een praktisch handvat voor het daadwerkelijk verbeteren van een geïmplementeerd proces in de context van de betreffende organisatie.

In figuur 2 wordt een voorbeeld gegeven van de onderzoeksvragen gebaseerd op deze principes.

C-2014-3-vBrummelen2-02

Figuur 2. Voorbeeld van onderzoeksvragen gebaseerd op agile principes ([AM01]).

Figuur 2 (vervolg). Voorbeeld van onderzoeksvragen gebaseerd op agile principes ([AM01]). [Klik op de afbeelding voor een grotere afbeelding]

Aanpak

De aanpak is erop gericht om in een korte tijd een analyse van de situatie uit te voeren om zo het verbeterpotentieel in kaart te brengen. Hierbij wordt onderscheid gemaakt tussen quick wins en verbeteringen die op een langere termijn te behalen zijn.

C-2014-3-vBrummelen2-03

Figuur 3. De fasen van de KPMG agile assessment.

Voorbereiding

In de voorbereidingsfase ligt de nadruk op het bepalen van de scope en doelstelling van het onderzoek en het verkrijgen van inzicht in de organisatie en de omgeving. Aangezien iedere organisatie anders is ingericht, is onze ervaring dat in de voorbereidende fase veel afstemming nodig is tussen de onderzoekers en de opdrachtgever, wil deze laatste het maximale kunnen halen uit het onderzoek. In de voorbereidende fase moet de juiste focus worden aangebracht, zoals het bepalen van de belangrijkste onderzoeksgebieden en eventuele aandachtspunten. In gezamenlijk overleg moeten de onderzoeksdoelstellingen worden bepaald, zodat de organisatie later zelf in staat is de eventuele verbeterpunten zelfstandig op te pakken.

Onderzoek

Tijdens het onderzoek ligt de voornaamste focus op het verzamelen en analyseren van informatie. Op basis van de in de voorbereidingsfase gestelde doelen wordt de ‘diepte’ van het onderzoek bepaald. In principe wordt er altijd informatie verzameld door gebruik te maken van onder andere deze instrumenten:

Interviews of workshops met een representatieve doorsnede van de organisatie. Denk hierbij bijvoorbeeld aan het (hogere) management, de business en de product owner(s), de verantwoordelijke projectmanager(s), teamleden (waaronder de Scrum-master), een verantwoordelijke vanuit de beheerorganisatie en eventueel andere relevante betrokkenen. Het doel van deze interviews is om een goed beeld te krijgen van de processen, maar ook om vragen te stellen over de cultuur en het gedrag.
Vragenlijsten die (eventueel anoniem) kunnen worden ingevuld door teamleden. Deze vragenlijsten zijn ondersteunend aan de interviews en zorgen ervoor dat eventuele onderwerpen die niet in de interviews naar voren zijn gekomen worden afgedekt.
Onderzoek van documenten of andere relevante artefacten binnen het (ontwikkel)proces (op basis van een quickscan). Voorbeelden zijn: bedrijfsplannen (strategie), design- en architectuurdocumentatie, releaseplannen, product backlogs, sprint backlogs, documentatie (ontwerpdocumenten, technische documentatie, deploymentdocumentatie, testscripts), team- en managementrapportages (burndowns, dashboard, metrieken et cetera).
Inventarisatie van het gebruik van technische hulpmiddelen in het ontwikkelproces: welke ondersteunende tooling wordt er gebruikt voor ontwerp, ontwikkeling, testen en procesondersteuning?
(Optioneel) onderzoek van de softwarecode. Door de softwarecode te analyseren kunnen we problemen in de kwaliteit beter zichtbaar maken.

Validatie

Tijdens de validatie worden de verschillende bevindingen geverifieerd en in samenhang bestudeerd en wordt de volwassenheid op ieder principe beoordeeld. Daarnaast worden hieraan verbetermogelijkheden gekoppeld. De gevonden issues en verbetermogelijkheden worden besproken met de opdrachtgever (inclusief eventuele andere verantwoordelijke personen), waarbij de opdrachtgever zijn reflectie op het onderzoek kan geven. Naar aanleiding van de bespreking worden de verbetermogelijkheden verder uitgewerkt en wordt de conceptrapportage opgesteld.

Rapportage

In de eindfase van de opdracht worden de conceptrapportage en de aanbevelingen met de opdrachtgever besproken en wordt de rapportage afgerond. Eventueel is het mogelijk om op basis van de definitieve rapportage met een aantal sleutelpersonen binnen de organisatie een challengesessie te organiseren waarin op basis van de aanbevelingen een eerste stap kan worden gezet om te bespreken hoe deze kunnen worden geïmplementeerd.

Onderzoek agile softwareontwikkeling bij een grote ICT-dienstverlener

In opdracht van een spin-off van een financiële dienstverlener ontwikkelde een grote ICT-dienstverlener een internetsysteem waarin klanten direct zaken konden doen in een innovatief proces. Om ervoor te zorgen dat daadwerkelijk werd geïnnoveerd was gekozen voor een agile aanpak waarin de opdrachtgever nauw was betrokken bij het formuleren van de systeemeisen. Ondanks de aanpak ontstond er twijfel of er wel voldoende voortgang werd gemaakt.

Nadere beschouwing maakte duidelijk dat een sprint van vier weken aan de lange kant is, dat een goede Definition of Done (en dus zekerheid over een werkend product) ontbrak en dat gedurende de sprint de ‘collaboration’ met de opdrachtgever/product owner niet optimaal functioneerde. Het team werd aangestuurd op KPI’s die slechts een deel van de prioriteiten van de opdrachtgever omvatten. Ten slotte was de realisatie van de belangrijkste – en meest risicovolle – user stories uitgesteld.

Op basis van deze bevindingen heeft de opdrachtgever belangrijke wijzigingen in het team en proces doorgevoerd.

Beoordelen van een agile implementatie bij een grote foodservice supplier

Bij een grote foodservice supplier met klanten in de horeca, catering en zorg is een assessment uitgevoerd op een agile implementatie omdat men graag verder wilde verbeteren. De organisatie had agile Scrum binnen haar organisatie geïntroduceerd voor de realisatie van een nieuw e-commerceplatform. Bij de ontwikkeling van het platform waren meerdere teams betrokken. Op basis van het agile assessment framework van KPMG is op meerdere gebieden de implementatie onder de loep genomen. Op basis hiervan zijn verschillende verbeterpunten geïdentificeerd die aan de directie zijn gepresenteerd. De organisatie is vervolgens zelf met de verbeterpunten aan de slag gegaan. Ongeveer zes maanden na afronding van de assessment heeft er nogmaals een kort onderzoek plaatsgevonden. Hieruit bleek dat door de doorgevoerde verbeteringen met name in de testhoek, positieve resultaten zijn geboekt.

Resultaten

Als we kijken naar de resultaten van de assessments die we hebben uitgevoerd, zien we de genoemde uitdagingen in meerdere of mindere mate terugkomen. Dit is mede afhankelijk van het stadium van volwassenheid waarin de implementatie zich bevindt. De meeste organisaties blijven steken bij het derde stadium van volwassenheid. Slechts een enkele keer wordt het vierde of vijfde stadium bereikt. Daar ligt een kans voor veel organisaties om naar het volgende stadium toe te groeien.

Ongeacht het stadium van volwassenheid worstelen veel organisaties nog met een aantal fundamentele waarden uit het Agile Manifesto. Voorbeelden zijn:

Het mandaat van de product owner is in veel gevallen nog verkeerd belegd.
Er wordt nog te weinig vertrouwd op zelfsturing van de teams.
Voldoende zichtbaarheid naar alle lagen van de organisatie ontbreekt.
In de oplevering (demo) van een sprint wordt vaak software getoond die niet is ‘afgemaakt’ – wat mogelijk (deels) wordt veroorzaakt door het feit dat taken niet voldoende klein zijn gemaakt. Het gevolg is wel dat hierdoor onduidelijkheid blijft bestaan over de daadwerkelijke status en voortgang van het project.
Er wordt nog te weinig gebruikgemaakt van de technische mogelijkheden die er zijn om effectiever te werken en de kwaliteit te verhogen, zoals geautomatiseerd testen en continuous integration.

In agile assessment worden niet alleen de negatieve bevindingen genoemd. We zien bij jonge implementaties van agile ook vaak positieve punten waardoor al snel voordelen van de nieuwe werkwijze behaald worden. Hier kan door te kijken naar het volgende volwassenheidsniveau de continue verbetercyclus worden ingezet.

Conclusie

De afgelopen tien jaar heeft een massale adoptie van een agile werkwijze binnen organisaties plaatsgevonden en is de volwassenheid van de implementaties toegenomen. Echter, het continue spel van inspectie en adoptie blijft belangrijk om het rendement van agile te behouden of te vergroten. Het is daarom belangrijk om hier continu aandacht aan te blijven besteden.

De hier beschreven assessmentmethode is toepasbaar op alle agile methoden, zoals Scrum, XP en Kanban. Met een relatief beperkte inspanning wordt met deze methode objectief vastgesteld hoe goed de processen functioneren. Gezien de opname van ‘continuous improvement’ in de agile principes behoeft het geen verbazing te wekken dat deze assessments vaak veel verbetervoorstellen opleveren. Hier maken de teams dan ook vaak goed gebruik van.

Bovenal tonen deze assessments vooral aan dat organisaties de agile principes serieus en goed willen toepassen. Het is dan ook goed om vast te stellen dat met de tijd organisaties op een steeds hoger agile maturity level gaan functioneren. Deze organisaties slagen er daarmee in daadwerkelijk en aantoonbaar business value te realiseren met softwareontwikkeling!

Literatuur

[AM01] AgileManifesto.org, Manifesto for Agile Software Development, 2001.

20/20 Vision

Frank Rizzo joined KPMG in 1990 and performed many different client-focused and management roles. He led KPMG’s IT Advisory practice in South Africa from 2007 till 2012 and was also a member of the global IT Advisory team in the same period. Frank also led the IT Advisory Risk Consulting practice for Europe, the Middle East and Africa from 2011 to 2013. Currently Frank is the Technology sector leader for KPMG in Africa, leading the firm’s Data and Analytics initiatives across Africa.

Visual acuity is a measure of the spatial resolution of the visual processing system. Normal visual acuity is commonly referred to as 20/20 vision, the metric equivalent of which is 6/6 vision. At 20 feet or 6 metres, a human eye with nominal performance is able to separate lines that are one arcminute apart (equivalent to lines that are spaced 1.75 mm apart)[http://en.wikipedia.org/wiki/Visual_acuity].

So why the optical reference to kick off an article on the evolution of KPMG’s IT Advisory practice?

Well, let me start with a quick introduction: I joined KPMG in Johannesburg in 1990. I started off in the Audit practice, but quickly found a home in the firm that aligned with my true passion, which is Information Technology. In 1992, I transferred to a small, growing department called “Computer Audit Department” – we were very creative with our naming conventions in the 90’s…

Over the years, I have been privileged to be part of a dynamic and fast-growing practice that has now evolved into our global IT Advisory practice. I have also had the opportunity to work across the African continent; and while the pace of technology adoption has been slow in the past, this is accelerating rapidly. In a fast-changing environment, one must always be aware of the internal and external changes and the pace of change. It is too easy to get focused ondelivering great work, only to look up and realize that the world has moved on.

This brings me neatly to the topic of this article: Vision. In the technology world, you need to look in the rear-view mirror to learn lessons from where you have already been. But the most important aspect to keep an eye on is the road ahead. In fact, one needs to always look over the horizon to try and predict the unknown and prepare for different scenarios.

So what will the world look like in 2020?

One needs to consider the current trends and extrapolate these to see how the world will look. Unfortunately, this is not enough. You also need to look beyond your industry and your current environment to understand where the next challenge will be coming from. Countries across Africa are experiencing a “boom” in internet connectivity. This is creating a great opportunity for African countries to “leapfrog” the rest of the world and quickly implement innovative technology. In fact, there was a great article that suggested that the next internet billionaire will be from Africa[http://www.wired.co.uk/news/archive/2011-11/04/get-rich-move-to-africa].

In 2013, the technology world is shaped by six customer-driven trends. A lot has been written on these trends, and KPMG is working hard to assist our clients navigate through these trends. It is interesting to me that these are “customer driven” trends. Looking to 2020, I believe we will see even more “consumerization” of technology, as customers become more and more technologically savvy and continue demanding technology-enabled delivery of goods and services from businesses.

The six customer-driven trends are:

Big Data
Social Media
Mobile
Advanced automation
Cloud
Cyber security

If these are the current trends, what can we expect in 2020?

Well, the first point is that all of the above trends are interrelated. The lines will continue to blur between these trends, and business technology will need to be increasingly agile to cope with the changes and demands on their infrastructure.

While these trends are interrelated, they also conflict, to some extent. As we automate processes more, the human touch gets replaced. This is great for efficiency, but what about customer intimacy? Enter the world of social and mobile.

But as we engage with our customers on these platforms, what does it mean for risk and security?

This is the balancing act that needs to be achieved by business and technology.

So let’s take it to the next level: what about wearable computing?

This is really embracing the mobile trend and adding personalization. And while I am personalizing my experience in interacting with business, I increasingly expect the business to treat me as their only customer.

What happens with privacy and security and trust?

Again, there is a balance that needs to be achieved.

With advanced automation and big data comes the “Internet of Things.” Machine-to-machine interaction will be mainstream by 2020. This ushers in a new discipline covering “robot ethics.” I am a big fan of Isaac Asimov – by 2020, a lot of current science fiction will be science fact. How will our clients set out the “rules” for their machines?

How will we balance automation and the personal touch?

As Moore’s law continues to apply and we develop faster and smaller machines, new solutions will be found for current problems. Of course, we will also create new problems and challenges that need to be addressed.

So what skill sets will be required to address these new problems and challenges?

The body of technology professionals will need to be even more diverse in 2020. The singularity[http://en.wikipedia.org/wiki/Technological_singularity] is still some way off, so countries will still need to develop and nurture the organic hardware and software that joins the technology industry: i.e., people! As we move towards 2020, I see people from many more disciplines working in technology-related areas.

There has never been a more exciting time to be involved in the IT sphere. Digitalization is changing many things. For businesses to grow, they will need to dedicate even more time to innovation. My challenge to people that enter the IT profession is to look through an “innovation lens” at any work that you are doing at the moment. Ask yourself, “How could we improve this? Considering my business problem, what new solutions could we be developing?” Keep innovation front of mind and share ideas with your colleagues and peers on a global scale. The variety of skills and experience in the IT industry gives us a unique “laboratory” to test new ideas and develop new solutions. Let’s use our collective vision to shape our future!

The Future is Certain – IT Advisory and Audit Still Going Strong

Rob Fijneman joined KPMG in 1986 and performed many different client facing and management roles. He led KPMG’s IT advisory practice in the Netherlands from 2004-2009 and was a member of the global IT Advisory team in the same period representing the region Europe, Middle East and Africa. Currently he is lead partner for 3 global accounts. As a professor at Tilburg University he is leading a Master of Science program in IT Auditing and is guest lecturer for Information Management and Accountancy.

“Well we know where we’re goin’

but we don’t know where we’ve been

and we know what we’re knowin’

but we can’t say what we’ve seen

and we’re not little children

and we know what we want

and the future is certain

give us time to work it out.

We’re on a road to nowhere

Come on inside

Takin’ that ride to nowhere

We’ll take that ride”

We’re on a road to nowhere. It was 1985 when the Talking Heads recorded that song, and it still resonates throughout our practice today. Although we do not have all the answers, and we never will, our intention is to be forward-looking, and we are willing to take that ride.

Ten years earlier, around 1974, KPMG launched the first IT audit practices, demonstrating the need for a specialized service to support the financial auditor. IT became relevant in supporting the financial back-office processes, and the regular financial auditor was not able to cope with the technical details. Since that time, the developments have been tremendous, of course encouraged by the push for technology, which continues to this day. IT is fully embedded in everyday life and in economic reality. Today companies are shifting to become such things as the first fully digital insurer or a digital hospital, among other examples.

The IT audit and assurance portfolio has evolved to support the full CIO and CFO agenda. The life cycle of IT, starting from strategy through to handling legacy systems, from development to operation and maintenance, from conceptualizing business cases to improving IT cost efficiency, from narrow IT support to full stakeholder management, is now the working domain for the modern IT advisor and assurance provider. IT has become a Board agenda item, and a well-equipped IT auditor must play a role on this level. It is not only about having the technical skills, but many other competencies are required to be a top specialist in this field.

Tilburg University conducted a retrospective of 25 years of IT auditing education and research in 2013. As part of that retrospective, an interview cycle was performed to discuss driving forces for our profession. What will the IT landscape look like in 2025, and what contributions are expected from the IT audit and advisory function? Being dynamic and moving forward creates huge opportunities for our profession, while staying in an “as-is mode” will probably be hugely downplayed. At KPMG we strongly embrace the dynamic and forward-looking approach, as most transformations will be based on technology. This identifies the need for IT specialists who can work with the following 5 driving forces:

Full transparency. In the past year more data was produced than in all years before. Such data increases social transparency. Consumers can find answers to their questions in a flexible way. There is no place any longer for secret data and hiding information. This creates huge opportunities for an IT auditor in terms of validating the quality of data and processes; on the other hand, the need for IT audit and advice could decrease dramatically if consumers are empowered to find their own answers.
Shared values. Today’s society will shift towards implementing the shared value approach of Harvard’s Professor Porter. Companies are not only driven by maximizing profit, but also by people with global concerns, which needs to be reflected in the reporting. This has inspired integrated reporting, which at KPMG we define as a “True Value” approach. How will the IT auditor and advisory services contribute to these concepts? How can we make sure our services are embracing the shared values? Big data approaches can be of enormous help in this space. Our current assurance services, focused on providing assurance about the quality of historic data, will not be enough. We must provide assurance about the quality of data at every moment in time.
Earned trust. We do not rely any longer on institutes. In today’s world we tend to trust other individuals. On the Internet we rely on public opinion as a basis for buying services or products. In the corporate world we still see waves of legislation and compliance rules in reaction to incidents, whereas in general we want to decrease the volume of legislation and rules. The decreasing importance of institutes also positions the IT auditor and advisor differently. Of course your home base helps in creating credibility, but your individual behaviors and skills are much more important. How well do you perform as a team member, and which new services do we need to develop to earn the trust of society?
Always in beta. Information Technology always has inherent flaws. This basically triggers the need for ongoing IT audits. Instead of performing these audits afterwards and fixing problems from the bottom up, we will be forced to act from the top down, ensuring the system is secure by design. How can we contribute to the definition and implementation of secure solutions? The forward-looking agenda for information risk management not only covers incident handling, but also covers topics like risk appetite, worst-case scenario, and agility to respond. The IT auditor needs to play a role as a partner in the business.
Not an “either-or” but “we need it all” society. We will need in-depth specialists to validate the details of new and embedded IT solutions and controls. It is expected that the need for specialists will increase. On the other hand, we also need generalists who can identify the full value chain and make sure all specialized answers can be integrated into answers for our clients. This will create huge dynamics in which assurance products probably will also change. Only providing assurance for discrete topics covering historic data is not acceptable in the new world.

There are huge opportunities for IT audit and advisory: that’s the optimistic approach. It is about matching the demands of the future, in dialogue with all stakeholders. Our IT auditors and advisors are equipped for this journey. We certainly will drive these services towards 2024, which for KPMG will mark a special anniversary: 50 years of providing IT audit and advisory services.

Access Control Applications for SAP

Many organizations want to get a better grip on the management of SAP authorizations in order to get rid of their “authorization issues”. This has stimulated an increased use of integrated Access Control applications over the last few years. This article elaborates upon the advantages of using integrated Access Control applications, and lists a number of factors that can improve the success in implementing these applications.

Introduction

In the last decade, organizations have come to pay more attention to internal control and risk management in ERP systems such as SAP. This increased attention is partly but not solely the result of stricter legislation. Actual daily practice has shown that authorization related controls – as a part of internal control – are still not functionally sound. Users have been assigned undesirable combinations of authorizations, and a relatively high number of users are authorized to access critical functional transactions or system functionality. In the past, management frequently initiated efforts to reconfigure their authorization processes and procedures. Unfortunately, it often turned out that problems with the assigned authorizations resurfaced after some years, which allows for undesirable segregation of duty conflicts to show up again, while the costs of control remain high.

Over the past few years, the market has responded to these issues, and a number of different integrated Access Control applications have been launched. These offer extensive opportunities for managing (emergency) users, authorization roles and facilitate the (automatic) assignment of authorization roles to users. In addition, all these applications provide support with controls, such as preventative and detective checks on segregation of duty conflicts. In addition, these applications make it easy to see a clearer picture of the actual access risks, by means of reports and dashboards.

This article focuses on the functionality of Access Control applications (hereafter called “AC applications”) and the preconditions for a successful implementation of these applications.

Why are authorizations so important?

To describe authorization management, this article adopts the definition of Fijneman et al. ([Fijn01]), which is based on the IT management process:

“… All activities related to defining, maintaining, assigning, removing and monitoring authorizations in the system”

The authorization management process can subsequently be divided into the following sub-processes:

User management: all activities, including controls, related to assigning and withdrawing authorizations, as well as the registration in the system. In a practical context, the term “provisioning” is commonly used. User registration takes place on the basis of source data: for example, as recorded in an HR system. One part of user management is issuing passwords and managing special users, such as system and emergency users.[System users are users that are used by (another) system to establish an interface between systems or are required for batch purposes. An emergency user is a user which is used in cases of disaster, and often has more access rights. ] Recurring assessments and checks of the assigned authorizations also form a major part of user management.
Role management: all activities, including controls, required for the definition and maintenance of authorizations within the system. There is a strong relationship between the role-management process and the change-management process. Here too, recurring checks of the authorization roles are essential.

Authorizing access to a person or object in any SAP system is usually based on arrangements made beforehand: a policy is established for granting access, for example. These arrangements are made by the management, as a rule, and in virtually all cases they aim to ensure that risks or threats to an organization remain on an acceptable level.

Authorizations are an integral part of the internal control system of an organization. “Segregation of duties” is based on the principle of avoiding conflicting interests within an organization. The aim is to ensure that, within a business process, a person cannot carry out several successive (critical) tasks that may result in irregularities – accidentally or on purpose – that are not discovered in time or during the normal course of the process ([ISAC01]). It is essential to an organization to identify any issues related to segregation of duties and take appropriate action. The causes of segregation of duty conflictsare discussed in the next section.

Authorization issues

Many organizations find that managing authorizations within SAP is a major challenge, and that assigning authorization roles and preventing segregation of duty conflicts are time-consuming matters that result in high administration costs. Common problems in this context are:

a large number of unknown and unmitigated risks related to segregation of duty violations
authorizations that are not in line with the users’ role and responsibilities in the organization (business model)
excessive authorizations for system administrators and other “special” users.

Overall, these issues have their origins in the following causes:

insufficient insight into SAP authorization roles, in the business as well as the IT organization
insufficient insight into the assigned authorizations
insufficient insight into the impact of organizational changes on existing authorizations
lack of attention to update authorizations in times of organizational change
insufficient insight into potential issues related to the segregation of duties
lack of control ownership
unclear responsibilities within the organization, so that it is not clear who is allowed to do what
unable to resolve authorization issues due to the complexity and lack of knowledge of the SAP Authorization concept
non-compliance with procedures;

AC applications can solve the majority of the issues that concern user and role management. In the case of role assignments, functionality exists to configure approval workflows. In addition, the workflow can include a preventative control that in case of segregation of duties violations the related risks must be approved by the financial manager beforehand. Workflows can likewise be configured for changes within authorization roles; in such cases, similar approval is required before the changes become effective. At the same time, the applications offer support when it comes to the periodic or ad-hoc checks and evaluations of the assigned authorizations in the system.

Access Control applications

In the past, AC applications were primarily used by IT auditors who developed these applications themselves. This arose from the need to carry out audits on the logical access security of SAP in a more effective and efficient manner. This functionality predominantly involved the offline identification and detection of assigned authorizations and segregation of duty conflicts. Examples of these kind of applications are the KPMG Security Explorer and the CSI Authorization Auditor, which can be used for the periodic evaluation of the assigned authorizations. However, there is an increased need of management and the IT organization to manage the authorizations more efficiently. Within organizations, it has given rise to the goal of using “integrated” AC applications within the context of managing user roles. This will also enable preventative checks in an efficient manner.

There are various solutions on the market in the field of integrated AC applications for SAP. Table 1 provides a short description of three well-known AC applications.

C-2013-3-eng-Spruit-t01

Table 1. Examples of Access Control applications.

Integrated Access Control functionality vs. controls

To stay in control over SAP authorizations, it is necessary to implement and embed certain controls in the organization and system. These controls can be identified with the help of a generally accepted information security standard. AC applications can offer support in this context by providing functionality that enable:

Insight in access risks related to segregation of duties violations and assignment of critical authorizations. This enables organizations to monitor and evaluate the assigned authorizations on a continuous basis.
Controlled assignment of authorizations to users, including the documentation of mitigating controls in case segregation of duty violations are breached.
Controlled authorization role changes.
Controlled use and review of “super users”.
Controlled password self-service reset functionality.
Documentation of the risks and rules related to critical access and segregation of duties.

Process efficiency and cost reduction

Apart from more “control-related” reasons to use AC applications, organizations also apply them for reasons of cost reduction and process optimization. Organizations can, for example, automate large parts of the user management process. Workflows and mobile apps enables the business to request, approve and assign authorizations without the involvement of user administrators.

Integrated AC application also contains a password self-service functionality, which enables a staff member to reset his or her password him-/herself, without involving the helpdesk.

Implement AC Applications

Figure 1 represents our recommended approach to implement AC applications. It is important to note in this context that an implementation is not limited to the technical implementation itself. Typically the aim of a project is to resolve issues in the existing authorization concept, as well as improving the related governance and processes. Our method is based on the following stages:

Laying the foundation – Risk Identification and Definition In this stage, the desired segregation of duties and critical activities are defined, as well as the policy for dealing with a segregation of duty violations and user of emergency users.
Laying the foundation – Technical Realization In this stage, the rules defined in the previous stage are translated into authorization objects and transaction codes. The AC Application is configured to monitor the segregation of duties and critical activities in the system and the “emergency user” functionality is implemented to allow quick wins in the Get Clean stage.
Getting Clean – Risk Analysis In this stage the defined rules are used to analyze to what extend the desired segregation of duties are in place. Identified segregation of duty violations or users with access to critical activities will be reported.
Getting Clean – Risk Remediation In this stage, the aim is to remove identified risks by making changes in the assigned authorizations or in the roles itself. Quick wins can be realized by using advanced data analysis techniques from the KPMG F2V methodology. These analyses extend beyond the determination of whether or not a user has executed a transaction, as they also determine whether or not an actual change or entry has been made in the system.
Getting Clean – Risk Mitigation In this stage, the aim is to mitigate the remaining risks, by the implementation of mitigating controls in the organization and the documentation of these controls in the AC application.
Staying Clean – Continuous Management The aim of this stage is to optimize user management and role management processes by utilizing the functionality of AC applications
Staying Clean – Continuous Monitoring This stage involves the definition and implementation of procedures for ongoing monitoring of assigned authorizations and segregation of duty conflicts.

Figure 1. Recommended method for implementing Access Control. [Click on the image for a larger image]

Integration with other Continuous Control Monitoring applications

A number of AC applications are compatible with Continuous Control Monitoring (CCM) applications. SAP Access Control can be integrated with for example SAP Process Control which makes it possible to determine the effectiveness of the mitigating controls assigned in SAP Access Control via the “test of effectiveness” functionality of SAP Process Control. In addition, workflows from Process Control can be configured to review the logical access security, where reports from SAP Access Control are shown. Security Weaver and ControlPanelGRC also offer integration opportunities with their Process Auditor and Process Controls Suite.

Access Control and the IT auditor

Companies and organizations that implemented integrated AC applications prefer that the (external) auditor rely on the controls and reports of the AC application. Reasons are the desire to reduce the audit fee, but also using one and the same set of rules is also considered as a benefit. Auditors cannot simply depend on the functionality and reports of the AC applications, but first need to gain a certain degree of assurance with regard to the accuracy and completeness of the reports and the setup of the AC application, which slightly changes the audit object. This is represented in diagram form in Figure 2.

C-2013-3-eng-Spruit-02

Figure 2. Shift in the audit object.

Conditions for relying on AC application functionality and reports

Before depending on the reports and another functionality of AC, an auditor wants the organization to meet a number of requirements:

Segregation of duties
- All conflicts with regard to the segregation of duties that are relevant to the auditor and accountant have been incorporated into the segregation of duty matrix used by the application.
- The defined segregation of duty conflicts need to be translated correctly and completely into transaction codes, authorization objects with fields and values, in order to prevent false negatives, as described earlier by Hallemeesch and Vreeke ([Hall02]).
The AC application has been configured to guarantee that:
- Approvals are provided by the right approvers (e.g. users are not able to approve requests for themselves)
- the segregation of duties check is performed on up-to-date data
- change logs are activated to enable an audit-trail.
Procedures
- The actual usage of super-user authorizations is reviewed
- Controls are in place to ensure that the AC application is not by-passed
- Exceptions for by-passing the AC application have been defined and documented
- Change management procedures for configuration and segregation of duty matrix changes have been defined and implemented
Authorizations
- Authorizations within the AC application are assigned based on the roles and responsibilities of the organization.

Control activities

If an auditor has been able to determine that his or her conditions are met, the auditor can make use of a process-driven audit approach instead of a data-driven one.

After the first review, there will typically be no need for an auditor to assess the segregation of duties matrix year after year. However, subsequent review will focus on the change-management. In such cases, the auditor should carry out the following actions:

check the change-management process of the segregation of duties matrix
assess the changes and “change log” of the segregation of duties matrix.

Lessons learned

In terms of functionality the integrated AC applications offer adequate controls to realize the control objectives and are therefore a good option to help achieve these objectives. At the same time, they also offer opportunities in terms of process optimization and improve efficiency.

To succeed in getting and staying in control over SAP Authorizations with the support of an AC organization the organization would do well to:

set clear objectives. The potential implications of an Access Control implementation are often far-reaching. It is important, therefore, that clear goals are set at the start of the project and that, on the basis of these objectives, a decision is taken to determine which components of the AC application are within the project’s scope. Realizing the project should be supported by a step-by-step approach.
clean the authorizations beforehand, where possible, by implementing quick wins. With the help of “SAP statistics” and data analysis, unused authorizations can be deleted beforehand, and super-user functionality can be replaced by an “emergency” account. This will greatly reduce the amount of work during the Access Control project.
pay ongoing attention to the “human factor” whenever the AC application is being used – even though the applications contain controls to reduce the number of “errors” due to known risks or user mistakes in the field of authorizations. Devoting attention to this “human factor” will guarantee the acceptance and correct use of the application, even after project completion.
carefully define the “golden rules” that are aligned with the business processes and the setup of the SAP system. The rules that define the desired segregation of duties and critical authorizations are crucial to a successful implementation.
remain vigilant with respect to breaches on segregation of duties and the use of “super-user” functionality. Execute periodic evaluations to avoid a false sense of being in control. Also establish processes that validate the effectiveness of mitigating controls.

C-2013-3-eng-Spruit-03

Figure 3. lessons learned in using AC applications.

To avoid surprises at the end of an Access Control implementation project, an organization would do well to enable a role for the auditor during the project, so that it is possible to capitalize on the auditor’s findings during the implementation.

Next steps

The current AC applications offer no solutions for advanced data analyses of actual usage by users. There is limited functionality that shows whether a user has executed an activity, but there is no functionality that actually analyze whether a user entered or changed certain transaction or master records. It is therefore impossible, for example, to determine whether users have processed invoices for orders they have placed. For this type of analysis, one still has to depend on transaction monitoring applications, as used in audits or with relative new solutions like SAP Fraud Management.

References

[ALE01] http://www.alertenterprise.com; 2010.

[Bien01] Bienen, Noordenbos and Van der Pijl, IT-auditing Aangeduid (IT Auditing Defined): NOREA Geschrift nr. 1 (NOREA Document no 1), NOREA 1998.

[CON01] http://www.controlpanelgrc.com/; 2010.

[Fijn01] Fijneman, Roos Lindgreen and Veltman, Grondslagen IT Auditing (Foundations of IT Auditing), p. 66ff, 2005.

[Hall02] Hallemeesch, Vreeke, De schijnzekerheid van SAP Authorizationtools (The False Security of Authorization Tools), 2008.

[ISAC01] ISACA, CISA Review Manual 2008, 2008.

[SAP01] http://www.sap.com/solutions/sapbusinessobjects/governance-risk-compliance/accessandauthorization/index.epx; 2010.

[SCW01] http://www.securityweaver.com; 2010.

Continuous Auditing & Continuous Monitoring (CA/CM): How to Overcome Hesitation and Achieve Success

This article describes the main outcomes of a CA/CM survey, a CA/CM success story and important lessons learned for a CA/CM implementation. The survey was conducted within the EMA region (Europe, Middle East, and Africa) and was intended to determine the current status and future expectations of CA/CM within organizations. The main conclusion was that, although organizations understand the benefits of CA/CM, current adoption of CA/CM is still low due to hesitation. Based on the survey results we concluded that the problem was not any negative attitude toward CA/CM; rather, the low adoption was mainly caused by not knowing how to apply CA/CM to the organization and how to determine the business case for it. We have included a CA/CM success story where, based on events, the need and business case for CA/CM were evident. This organization implemented CA/CM throughout the whole organization to prevent fraud and also found other cases for using CA/CM. The final part of this article describes important lessons learned for successful CA/CM implementations to help other organizations achieve their own CA/CM success stories.

Introduction

Organizations are nowadays faced with increasing pressure, both internal and external, to provide assurance on financial reporting and on the reliability and effectiveness of their business processes. For example, we will describe a case where the client paid a fine of 150 million euros for failing to follow government regulations. At the same time, organizations want to have more insight into how risks are mitigated throughout the organization. In the current economic climate this assurance and insight must be obtained with a high degree of efficiency, and new IT developments are increasingly used to achieve this. Implementing Continuous Auditing or Continuous Monitoring (CA/CM) not only contributes to obtaining efficient assurance and insight, but often also provides insight into potential ways to establish reliable and efficient business processes.

The added value that CA/CM provide for organizations

In general, CA/CM adds value by improving compliance with laws and regulations and by supporting business goals. From a technology perspective, CA/CM enables a high degree of automation for monitoring systems and data, and implements closed-loop mechanisms for any exceptions detected. As a monitoring mechanism, CA/CM helps to detect irregularities in system configurations, processes and data, either from a risk or a performance perspective. Potential benefits of CA/CM include:

Enhanced and more timely oversight of compliance across the enterprise;
Improved efficiency and effectiveness of the control environment through automation, leading to cost-reduction opportunities;
Business improvement through reduced errors and improved error remediation, allowing reallocation of resources to activities that add value;
The ability to report more comprehensively on compliance with internal and regulatory requirements

C-2013-3-Scherrenburg-01

Figure 1. Sample compliance monitoring dashboard for IT. Source: BWise IT GRC solution.

The definition of CA and CM[[KPMG2008]]

Continuous auditing (CA) is the collection of audit data and indicators by either the external auditor or the internal auditor in information technology (IT) systems, processes, transactions and controls on a frequent or continuous basis throughout a period of time.

Continuous monitoring (CM) is a feedback mechanism used by management to ensure that controls operate as designed and that transactions are processed as described. This monitoring method is the responsibility of management, and forms an important component of the internal control structure.

Main outcomes of the CA/CM survey

CA/CM is winning ground within organizations that aim for continuous control and continuous performance. The level of awareness, the increasing availability of tools and the aim for greater efficiency in assurance are important drivers for further investigation into what CA/CM can bring to the organization.

Examples of CA/CM tools

BWise Continuous Monitoring & Audit Analytics
SAP Fraud Management
RSA Archer
Aptean Event Management Framework
IDEA Caseware Monitor
Data2Act
ACL AuditExchange
Oversight Systems
SecurityWeaver

This section summarizes the outcome of an online EMA survey. The online survey was rolled out across the EMA region and contains responses from 718 individuals. The respondents are primarily from internal audit departments as well as from boards of directors, operational/line management in the office of the CFO, and finance and risk management sectors throughout the organization.

Respondents do understand the benefits of CA and CM. As depicted in Figures 2 and 3, 89% of the respondents realize that CA aims to bring comprehensive assurance with greater coverage across the organization; and 90% understand that CM enables the detection and correction of irregularities and helps to identify process improvements. However, understanding the benefits of CA/CM alone cannot drive it forward. Strategic drivers include the pressure to strengthen governance, enhance performance and accountability and improve oversight for global operations. Operational drivers include the occurrence or risk of fraud and misconduct and process improvement through the identification of irregularities on a continuous basis. External drivers include the expanding regulatory and risk environment, scrutiny from rating agencies, and an uncertain economic environment.

C-2013-3-Scherrenburg-02

Figure 2. Benefits from CA.

C-2013-3-Scherrenburg-03

Figure 3. Benefits from CM.

CA/CM is considered to be most valuable in scenarios where processes are repetitive and susceptible to risk, e.g., financial management reporting (82%). These processes are often transaction-based and supported by applications with structured data. On the whole, CA/CM helps to foster a culture focused on efficiency. For example, organizations can use CM to help align components of the purchase-to-pay cycle so vendors are not paid too early but in line with the terms of the contract. Automating manual processes to detect issues early can save remediation costs. Obviously, preventing errors from occurring improves the overall business process efficiency as well.

Eighty five percent of the respondents stated that the internal auditors introduced CA/CM into the organization and that they are also seen as its main beneficiary (85%). Operational/line management is not often the initiator (59%) of CA/CM but certainly enjoys its benefits (85%). Internal audit often triggers CA/CM initiatives because it has experience with data analytics from a control testing perspective and CA constitutes the next logical step. Operational/line management is not often the first initiator of CA/CM but does benefit from it. This may be due to the fact that operational/line management does not solely act from a risk perspective – it is primarily responsible for the organization’s core business processes. However, operational/line management realizes that its responsibilities extend further and include internal controls, which are often closely linked to CA/CM.

The current state of adoption is low. Only 9% of respondents have both CA and CM embedded across their organizations. However, a remarkable 83% have at least considered implementing CA/CM. The main reason for this gap is that organizations find it difficult to quantify the benefits of CA/CM to justify the business case for its implementation. The first step towards adoption is to build a business case to secure support from senior management and to outline the objectives, scope, expected costs and projected benefits of CA/CM. Starting on a small scale (e.g., by experimenting with tools on pilot projects) allows management or internal auditors to test the CA/CM concept first. The next step is to draw up a road map to be able to fully achieve the objectives of the CA/CM implementation.

Respondents consider the limited insight into the CA/CM tooling available on the market as the largest barrier to the adoption of CA/CM (69%). As illustrated in Figure 4, it is not always clear what suitable CA/CM tooling should consist of. From our perspective, CA/CM tooling includes at least: data extraction (from source systems), data analysis, case management (to make exceptions actionable) and reporting (e.g., via dashboards). Advances in technology have paved the way for increased use of CA and CM in organizational processes, transactions, systems, and controls.

The success of a CA/CM initiative is highly dependent upon the effective implementation and use of the right technology tools. In the same way, those tools will only be successful if used effectively. Currently 75% of the respondents are using IT tools, with only 13% of them using business intelligence (BI) dashboards and 10% using dedicated CA/CM tools. Furthermore, CA/CM is partly a technology solution and this obviously requires expert knowledge.

Organizations need to evaluate how suitable the features, functions and capabilities of any tool are for their needs before engaging a specific tool provider. They should take steps to increase their knowledge and become more familiar with the concepts of CA/CM in order to overcome specific barriers to the implementation of CA/CM.

C-2013-3-Scherrenburg-04

Figure 4. Barriers to adoption.

Organizations are changing from just being interested in CA/CM to actually investing in CA/CM-related projects. In the next two years, the percentage of organizations that are not investing in CA/CM will decline from 37% to 19%, while 62% expect to commence projects valued at up to €250,000 (Figure 5). Organizations are eager to learn, but shy away from high up-front investments. Some companies have successfully managed the cost challenges associated with CA/CM by integrating these into wider project budgets. For companies looking to implement CA/CM, pilots can deliver results quickly and potentially help CA/CM to become auto-financing. An investment in CA/CM fits well in the context of a larger business intelligence initiative where CA/CM can provide critical business decision-making capabilities. In most other cases, an incremental approach based on an ROI analysis may be more appropriate.

C-2013-3-Scherrenburg-05

Figure 5. Past and future investments in CA/CM.

The key observations of the EMA survey are:

Respondents do understand the benefits of CA and CM. They realize that CA aims to bring comprehensive assurance with greater coverage across the organization. Many believe CM is set up to detect and correct process irregularities and helps to identify process improvements;
CA/CM is considered to be most valuable in scenarios where processes are repetitive and susceptible to risk, e.g., financial management reporting;
Most of the respondents stated that the internal auditors introduced CA/CM into the organization and that they are also seen as its main beneficiary. Operational/line management is not often the initiator of CA/CM but certainly enjoys its benefits;
The current state of adoption is low. However, a remarkable number of respondents have at least considered implementing CA/CM;
Respondents consider the limited insight into the CA/CM tooling available on the market as the largest barrier to the adoption of CA/CM. It is not always clear what suitable CA/CM tooling should consist of;
Organizations are changing from just being interested in CA/CM to actually investing in CA/CM-related projects.

Case study: large-scale implementation of CA/CM

Background

The client was accused of paying bribes. This accusation led to comprehensive investigations by the government. The bribes were paid to secure new deals. An estimated total of 14 million euros in bribes was paid in the period between 2002 and 2005. As result of the investigations, the client had to pay a fine of 150 million euros for failing to follow government regulations. In addition to the fines, the client received a lot of negative publicity and a number of board members and employees were terminated.

Design and build phase

The public prosecutor said that there was no sufficiently effective internal control system for detecting bribes. Therefore, a solution to monitor the entire purchase-to-pay process had to be introduced. The design phase resulted in 23 blueprint documents regarding system architecture, data analytics, security, training, etc. In the design phase a lot of attention was paid to the flexibility and scalability of the solution, in order to make the solution applicable for future extensions such as order-to-cash controls, IT controls and business performance indicators.

Due to very specific client requirements, the solution existed of a combination of software applications and databases (Figure 6) instead a of commercial off-the-shelf CM software. Key requirements were connection to multiple source systems, both SAP and non-SAP and integration with Microsoft SharePoint for case management and reporting. The scheduling tool was used to trigger the data extraction and data analytics processes in the backend. The data analytics rules (queries) were build in an Oracle database (the standard database at this client). The results of the data analytics were pulled into a Microsoft SQL Server database to allow integration with Microsoft SharePoint.

C-2013-3-Scherrenburg-06

Figure 6. Conceptual overview of CM architecture

To monitor the entire purchase-to-pay process 40 controls were defined in two categories: process controls and access controls. The process controls consisted of master data controls (e.g., changes to bank accounts), transactional controls (e.g., direct invoices), customizing controls (e.g., changes to three-way-match settings) and transactional analysis to detect violations in the segregation of duties (e.g., posting of an invoice and purchase order by the same person). The access controls consisted of personnel authorizations (e.g., who is authorized to process payment) and segregation of duties (e.g., who is authorized for both posting purchase orders and invoices). Figure 7 depicts an overview of the main controls in the different sub-processes of the purchase-to-pay process. As described in the previous section, we think that for companies looking to implement CA/CM, pilot projects can deliver results quickly and potentially help CA/CM to become auto-financing. As an example, organizations can start a pilot project with only one source system and select the most critical controls of the purchase-to-pay process to implement.

C-2013-3-Scherrenburg-07

Figure 7. Overview of controls in the purchase-to-pay process.

During the development phase significant effort was put into building workflows to provide follow-up when alerts were triggered, to escalate the level of alert in some cases, and to reduce false alarms. For some alerts a dynamic workflow was used: the person who triggered an alert in the source system (e.g., SAP) was also the person who received the alert. This led to a reduction in workload: i.e., the person who could best explain and solve the alert was directly involved in the follow-up.

For each alert a second person (often the boss of the first person) would be informed about the alert, as part of ensuring disclosure of alerts. This person was also responsible for reviewing the explanation and possible remedial action by the first person. In addition, an escalation workflow was triggered in case no timely follow-up was performed. Escalation included multiple steps with particular time intervals (e.g., 30 days). The last escalation step was informing the CFO.

In case an alert was a false alarm, an exception or override could be created. An exception could be based on information identified by the alert-triggering mechanism indicating that an alert is unnecessary. The fields in the alert on which the exception could be created were predefined (e.g., vendor) and the content of the field could not be changed: e.g., if an alert contained information about vendor ABC, no exception could be created for vendor XYZ. The creation of each exception triggered a new workflow for approval because it was a critical function (future alerts were excluded). Each year internal audit reviewed all exceptions, to ensure that only appropriate exceptions were created.

Roll-out phase

After the implementation of the CM solution the next step was to do a roll-out of the solution to the different sites and countries including Germany, France, Switzerland, Denmark, US, China. Two implementation teams were created (one for each division) that travelled to the countries where the client had local sites. A typical roll-out included the following phases: preparation, delta concept, configuration, test & acceptance and go-live. The preparation phase included the explanation of the CM solution, the controls and the roll-out process to the local site.

The purpose of the delta concept, which consisted of a number of workshops with the purchasing and finance department, was to verify whether the controls in the CM solution were applicable for the local site (e.g., a control might not be applicable because the local business process was different). Based on the delta concept it was decided which controls could be implemented for the local site and which exceptions could already be configured (e.g., exclusion of specific general-ledger accounts). Secondly, a dry run was performed on the controls with actual data from the site. The alerts created based on the dry run were reviewed with the business, and settings were adjusted in the CM solution to remove false positives that would trigger false alarms.

In the test & acceptance phase the user acceptance test was performed. People from the purchasing and finance department had to post bookings in the source systems. We knew that some would lead to alerts and some not. These people were then asked to check the CM solution to see whether an alert had been created or not. Furthermore, in this phase the people were also trained in using the CM solution.

The final phase of the roll-out was the Go-live. When the CM solution produced stable results (i.e., an appropriate number of alerts) for a couple of weeks in a row, a decision was made to perform a complete go-live or to do a partial go-live (a limited set of controls).

Results and critical success factors

The implementation of the CM solution was a success: a lot of irregularities were detected via the CM solution, although most were related to human errors instead of fraud. After some initial skepticism at the local sites, people starting seeing the advantages of such a powerful tool. It reduced manual work in monitoring controls and it detected human errors. As result of positive feedback, plans are now being made to expand the usage of the CM solution to more areas than controls alone: for example, to improve business performance. The critical success factors of this project were:

Building a CM solution of standard technology components already in use by the client
The buy-in of the client’s key stakeholders and project members
A flexible and scalable solution regarding growth, functionality and multi usage
A lot of attention on end-user acceptance (e.g., through reducing false alarms)

In the next part we will describe lessons learned based on this and other CA/CM implementations.

Implementing CA/CM: The lessons learned

Organizations should realize that effective implementation of CA/CM can take time and effort. A variety of challenges can be expected along the way. Implementing CA/CM goes beyond technology. It is about changing the nature, speed and visibility of information on risk and performance. This should ultimately transform the way in which business decisions are being made and monitored. But most of all, implementing CA/CM is about understanding the extent to which CA/CM can transform processes, risk and controls, technology, and people.

Lessons have been learned from CA/CM implementations at different organizations:

C-2013-3-Scherrenburg-08

Figure 8. Lessons learned for achieving successful CA/CM implementations.

1 Start with smaller pilot projects to explore the potential of the CA/CM concept

For companies looking to implement CA/CM, pilot projects can deliver results quickly and potentially help CA/CM to become self-financing. An investment in CA/CM fits in well in the context of a larger business intelligence initiative where CA/CM can provide critical business decision-making capabilities. In most other cases, an incremental approach based on an ROI analysis may be more appropriate.

To enhance the impact of the pilot project it is critical to only select controls or KPI’s for CA/CM that directly result in significant reduction of critical risks or in business performance improvements. After a successful pilot the actual CA/CM implementation can include more controls and KPI’s to have wider coverage of risks and potential performance improvements.

2 Manage cost challenges by integrating CA/CM pilots into wider projects

One way that some companies are getting round the issue of cost is to build CA/CM into wider projects, such as major ERP or GRC implementations or upgrade projects. Typically these projects have significant budgets and expenditure on CA/CM is small in comparison. This moves the cost burden away from cost centers (like internal audit) that have very little spare budget. It can also expand the potential value, by recognizing the benefits of business process efficiency and by ensuring that control and compliance efforts of different compliance functions are coordinated, using the same methods and tools ([KPMG2010]).

3 CA/CM is largely just automating manual labor, which can be used as a business case

During the current economic downturn, budgets are tight and competition for funding is tough. The first step towards adoption is to build a business case to secure support from senior management and to outline the objectives, scope, expected costs and projected benefits of CA/CM. Automating manual processes to detect issues early, prevent escalation of problems and decrease the manual analysis or intervention needed can save retrospective remediation costs. Obviously, preventing errors from occurring improves the overall business process efficiency as well. Typically, areas that tend to have the greatest return on investment (ROI) in an initial CA/CM implementation include manual journal entries, time and expense, tax, purchase-to-pay, order-to-cash, and inventory management.

4 Get involvement from business owners, compliance regulators, and assurance providers directly from the start of the project

We have found that internal audit is often the catalyst to get CA up and running, and that CA can be implemented successfully without CM. But, in the long run, management typically ends up adopting some of those responsibilities commonly associated with CM, thus allowing audit to provide assurance over the effectiveness of management’s CM processes and helping prevent the lines of responsibility from becoming blurred.

5 Investigate whether you can leverage software you have already purchased

CA/CM is partly a technology solution, so it obviously requires expert knowledge. At the same time there appears to be uncertainty about what functionality CA/CM tooling actually provides. From our perspective, CA/CM functionality includes at least data extraction (from source systems), data analysis, case management (to make exceptions actionable) and reporting (e.g., via dashboards). Organizations often have “in-house” tooling which includes one of these functionalities. If this is the case, then investigating whether they can leverage this software may be a more appropriate alternative than implementing expensive CA/CM tools.

6 Integrate CA/CM as much as possible in the existing management reporting structures

Typically, CA/CM is most valuable in scenarios where processes are repetitive and susceptible to risk (e.g., financial management reporting). These processes are often transaction-based and supported by applications that run on structured data. CA/CM tooling implemented on applications that run on structured data can easily be modified and extended to meet specific management reporting requirements.

7 The number of false alarms should be at an acceptable level to ensure buy-in from the end-user

Before significant resources are allocated to monitoring controls and transactions, management will need to consider whether the existing controls are the most effective to be able to address the underlying risks. In addition, management should give careful consideration to what should be measured, where the necessary data resides, and the quality of the data. Simply “switching on” rules that may exist within a standard technology tool without refining them could result in an unmanageable number of “exceptions” or “false positives” requiring attention, in turn resulting in increased inefficiencies as well as a false sense of assurance. Similarly, “switching on” poorly designed rules may also result in a false sense of assurance.

8 Visualizations can help the business to identify trends and improvement opportunities

CA/CM gives managers and auditors greater visibility into processes, activities, and transactions. However, visualizing the information in dashboard form gives business greater visibility into processes, activities, and transactions. In addition, visualized information can generate other specific benefits for the enterprise: e.g., identifying trends and improvement opportunities.

C-2013-3-Scherrenburg-09

Figure 9. Example CA/CM dashboard for accounts receivable including trends (Source: BWise CM).

9 Organizational change and moving towards an information-driven culture is key

Organizations should understand that CA/CM is not only about implementing tooling; it is a change in the way of working where you have to redefine your objectives, roles and responsibilities and the way to handle the “informative” outcome. Moreover, implementing CA/CM is about understanding the extent to which CA/CM can transform processes, risk and controls, technology, and people in an integrated way. When implementing CA/CM, organizations typically follow several stages of maturity, starting with the introduction of data analytics techniques to support existing manual procedures. Depending on the drivers behind CA/CM, the end state may be CA/CM systems that are fully embedded and used throughout organizations.

Role of external auditor/advisor regarding CA/CM

As elaborated in the previous section, management and internal audit understand controls, but there is often a lack of understanding regarding the concept of CA/CM and its benefits. They may not be aware of the emerging field of CA/CM software. Therefore there is an opportunity for external auditors and advisors, who bring a broader focus on improving the business and who recognize CA/CM as low-hanging fruit, to recommend specific CA/CM solutions that can impact the business in a positive way. The external auditor/advisor with knowledge and experience in data analytics, control monitoring, KPI’s and reporting dashboards can help clients to point out these benefits and explain how CA/CM could be applied in their organization.

Besides that, external auditors/advisors can play an important role before, during and after the implementation of CA/CM. They can use their expertise and industry knowledge to help organizations with CA/CM in different ways:

Building a business case for CA/CM including effects on ROI;
Designing a CA/CM framework that supports strategic management objectives;
Assist in designing and implementing CA/CM (e.g., creating dashboards, scorecards, analytics, and management protocols);
Optimizing controls and performing root-cause analyses for control failures;
Evaluating the CA/CM methodology and/or project; and
Providing training on CA/CM and the usage of CA/CM tooling.

Conclusion

The survey showed that there is a high degree of awareness of the potential benefits of CA and CM to organizations. Despite the interest to-date, only a limited number of organizations have been involved in an enterprise-wide adoption of CA/CM practices, largely due to the lack of a suitable business case or their inability to effectively measure the benefits of such initiatives. However, with the growing interest in risk assessment and compliance monitoring, there are strong prospects for CA/CM practices to be adopted by more businesses in the foreseeable future.

The survey further revealed that the functions across an organization gained added value from CA/CM practices, irrespective of whether they were the initiators. Beyond other functions, internal audit remains the main initiator and beneficiary of CA/CM. Other services, such as operational/line management, are not usually the first initiators of CA/CM, but benefit from it.

Most respondents believe that CA/CM is best suited to support processes such as “financial management reporting,” regulatory reporting and “treasury and cash management.” Typically, the areas that tend to have the greatest return on investment (ROI) included “manual journal entries,” “time and expense,” “purchase-to-pay,” “p-cards,” “order-to-cash” and “inventory management.”

Our recommendation is that to fully benefit from each CA/CM initiative, management should focus on achieving a healthy ROI, while focusing on lowering exposure to risks. Pilot projects, with a limited set of analysis and connections, may deliver results quickly and potentially help CA/CM to become self-financing, thus fuelling the business case for adopting an enterprise-wide CA/CM program.

Finally, we believe that organizations that are interested in CA/CM need guidance and sufficient information on the benefits and techniques associated with CA/CM. Here’s where external auditors and advisors come into play. The success of a CA/CM initiative largely depends on its effective implementation and integration in day-to-day operations, as well as the judicious, appropriate and effective use of technology.

Organizations should realize that effective implementation of CA/CM can take time and effort. A variety of challenges can be expected along the way. No matter how they choose to launch the effort, organizations should look to define the desired end-state for their CA/CM efforts. Organizations should understand that CA/CM is not only about implementing tooling, it is a change in the way of working where you have to redefine your objectives, roles and responsibilities and the way to handle the outcome. Moreover, implementing CA/CM is about understanding the extent to which CA/CM can transform processes, risk and controls, technology, and people in an integrated way.

Based on our practical experience in supporting organizations before, during and after the implementation of CA/CM initiatives, we strongly believe that this will be a way forward to create greater transparency in an efficient and sustainable way. With the evolution of CA/CM we predict an organizational shift regarding the providers of assurance and analysis: from internal audit and risk management (3rd and 2nd line of defence) towards management (1st line of defence), as illustrated in Figure 10.

C-2013-3-Scherrenburg-10

Figure 10. Organizational shift regarding the providers of assurance and analysis.

References

[KPMG2008] KPMG, “Continuous Auditing and Continuous Monitoring: Transforming Internal Audit and Management Monitoring to Create Value,” 2008.

[KPMG2010] KPMG, “Continuous Auditing and Monitoring: Are Promised Benefits Now Being Realized,” 2010.

Beheersing uitbesteding in de pensioensector

Pensioenfondsen hebben een groot deel van hun processen uitbesteed aan pensioenuitvoerders. Door de afstand tot de uitvoering heeft een pensioenfondsbestuur geen directe controle op de uitbestede processen. Het uitbesteden heeft daarmee een directe impact op de inrichting van het risicomanagement van een pensioenfonds. Partijen worstelen met een goede inrichting van risicomanagement toegesneden op de risico’s van het pensioenfonds. Voor de beheersing van de uitbestede dienstverlening zijn daarmee niet alleen rapportages van de serviceorganisatie van belang, maar vormt het creëren van een balans tussen regels en vertrouwen (trust rules) een belangrijke basisvoorwaarde.

Uitbestedingsrisico

Het risico dat de continuïteit, integriteit en/of kwaliteit van de aan derden uitbestede werkzaamheden dan wel door deze derden ter beschikking gestelde apparatuur en personeel wordt geschaad.

DNB Handboek FIRM 2005 (http://www.toezicht.dnb.nl/4/2/1/50-203958.jsp)

Inleiding

Pensioenfondsen besteden een groot deel van hun processen uit aan serviceorganisaties. De motivatie voor deze uitbesteding ligt in governancediscussies (splitsing beleid & uitvoering), kostenverlaging, ontbrekende kennisniveaus in de eigen organisatie en uiteindelijk het beperken van risico’s ([Wess10]). Vervolgens worden door de serviceorganisatie zelf ook nog de nodige processen uitbesteed aan subserviceorganisaties. Processen die in de praktijk uitbesteed worden, betreffen vaak het (fiduciair) vermogensbeheer en de IT-processen.

Door de uitbesteding draagt het pensioenfondsbestuur als opdrachtgever de directe invloed en verantwoordelijkheid over de uitbestede activiteiten over aan de serviceorganisatie als opdrachtnemer. Ondanks dat het pensioenfonds op afstand komt te staan blijft het pensioenfondsbestuur, als hoogste orgaan, (mede op grond van de Pensioenwet (artikel 34 PW)) eindverantwoordelijk. Het beheersen van het uitbestedingsrisico vormt daarmee voor het pensioenfonds onderdeel van zijn (integrale) risicomanagement.

Om het uitbestedingsrisico voor het pensioenfonds te beheersen is in de praktijk een raamwerk van afspraken en maatregelen ingericht. Zo zijn afspraken vastgelegd in bijvoorbeeld uitvoeringsovereenkomsten, service level agreements (SLA’s) en vermogensbeheer- en mandaatovereenkomsten. De serviceorganisatie doet periodiek verslag over de door haar uitgevoerde activiteiten en behaalde doelen in bijvoorbeeld SLA-rapportages, risicorapportages en performancerapportages en meestal jaarlijks met een Service Organisatie Controle (SOC)-rapport. Bij deze laatste categorie wordt door pensioenfondsen ook zekerheid gevraagd van een onafhankelijke auditor. Het pensioenfonds moet in zijn risicoanalyse minimaal het risico van uiteenlopende belangen bij uitbesteding adresseren ([Pens12]).

Pensioenfondsbesturen worden door incidenten rondom bijvoorbeeld de kwaliteit van pensioenadministraties ([AFM10] en [DNB12]) steeds vaker door deelnemers en toezichthouder aangesproken op hun verantwoordelijkheid. Als reactie hierop signaleren wij dat de teugels naar serviceorganisaties strakker worden aangehaald en rapportages en prestaties kritischer worden bezien. De serviceorganisaties gaan met deze toenemende vraagstelling op verschillende manieren om. Bij sommige serviceorganisaties resulteert dit in uitgebreidere tussentijdse risicorapportages, bij andere resulteert dit in uitgebreidere SOC-rapportages met nog meer beheersingsmaatregelen op onderdelen waar incidenten zijn gesignaleerd.

Uiteindelijk resulteert dit in een toename van controlemaatregelen, meer verantwoordingsrapportages en een toenemende vraag naar onafhankelijke toetsing (zekerheid) bij verantwoordingen. Wij stellen ons daarbij regelmatig de vraag of dit uiteindelijk resulteert in meer ‘control’ en of incidenten daardoor niet meer voorkomen. Of is daar iets anders voor nodig? Worden alle risico’s nu afgedekt en is duidelijk voor pensioenfondsen welke risico’s niet worden afgedekt?

Wat vinden de pensioenfondsen zelf van de SOC-rapporten?

In de beheersing van uitbesteding nemen SOC-rapporten een prominente plaats in. In oktober 2012 heeft KPMG een onderzoek uitgevoerd onder honderd pensioenfondsen ([Pens13]). In dit onderzoek blijkt dat pensioenfondsen aangeven dat SOC-rapporten voldoende bijdrage leveren aan de interne beheersing. De SOC-rapportages worden echter vooral ervaren als product voor de accountant. Aangezien de oorsprong van dergelijke rapporten (SAS 70) ligt in de accountantswereld is dit ook logisch. Mede hierdoor kiezen serviceorganisaties er veelal voor om uitsluitend verantwoording af te leggen over de processen die van belang zijn voor de financiële rapportage (jaarrekening) van hun opdrachtgevers. Door de auditor wordt hierbij gerapporteerd op basis van Standaard/ISAE 3402. Een bredere scope van processen buiten financial reporting is daarbij mogelijk onder Standaard/ISAE 3000 ([Beek10]).

In het onderzoek ([Pens13]) blijkt ook dat op de inhoud, toegankelijkheid en vertaling naar de relevantie voor het pensioenfonds er ruimte is voor verbetering. Onderwerpen als compliance en integriteitsbeleid worden node gemist. Hieruit blijkt dat SOC-rapporten een duidelijker rol krijgen in de governance van het pensioenfonds en pensioenfondsen op zoek zijn naar een bredere scope van risicoverantwoording en toegankelijker rapportages.

Op welke wijze zijn verbeteringen in ‘in control’ te realiseren?

In de principaal-agenttheorie worden belangentegenstellingen verondersteld tussen opdrachtgever en opdrachtnemer. Het is daarom interessant deze belangentegenstellingen tussen pensioenfonds en serviceorganisatie nader te beschouwen.

SOC-rapporten zijn in het verleden vaak op basis van inzichten van de serviceorganisatie opgesteld. Een echte afstemming hierover met de opdrachtgevers (pensioenfondsen) vond zelden plaats. Inmiddels zien wij in de praktijk steeds vaker dat afstemming plaatsvindt tussen pensioenfonds en serviceorganisatie, maar een geïntegreerde, op risico gebaseerde, aanpak ontbreekt veelal. Daarbij worden vaak kleine wijzigingen of toevoegingen gemaakt in de inhoud van het rapport. Niet-relevante beheersingsmaatregelen worden veelal niet verwijderd. Hiermee wordt de uiteindelijke toegankelijkheid van een SOC-rapport niet vergroot. Sterker nog, controleraamwerken dekken mogelijk niet alle relevante risico’s van het pensioenfonds af en verliezen aan efficiency voor de serviceorganisatie. Hetzelfde geldt ook voor de tussentijdse risicorapportages. Een fundamentele afweging over welke risico’s voor het fonds relevant zijn en met welke diepgang deze dienen te worden afgedekt, zou hieraan een positieve verandering kunnen geven.

Om tot deze effectiviteit- en efficiencyslag in controleraamwerk, risicorapportages en SOC-rapporten te komen is het van belang om belangentegenstellingen tussen opdrachtgever en opdrachtnemer in ogenschouw te nemen. Door de belangentegenstellingen te kennen kan hierop in het controleraamwerk en de rapportages worden ingespeeld. Vanuit het pensioenfonds verhoogt dit de effectiviteit van het toezicht op uitbesteding en voor de serviceorganisatie biedt dit de mogelijkheid om focus aan te brengen. In figuur 1 is een aantal belangrijke tegengestelde belangen in de relatie tussen pensioenfonds en serviceorganisaties weergegeven.

C-2013-2-Toledo-01

Figuur 1. Spanningsvelden van ‘in control’ in de relatie tussen pensioenfonds en serviceorganisatie.

Met de bredere doelstellingen van de uitvoerder in het achterhoofd dient het pensioenfondsbestuur vervolgens een analyse van zijn eigen risico’s te vervaardigen. In deze risicoanalyse worden risico’s en (maximaal) gewenste exposures geformuleerd. Deze dienen vervolgens samen met verwachtingen en eisen in een actieve dialoog met de serviceorganisatie te worden gecommuniceerd. In de praktijk zien wij steeds meer raamwerken ontstaan, die de diverse compliancebehoeften afdekken zoals jaarrekening, SLA, etc. Hoe handzamer dit risk- en controleraamwerk des te beter kan dit dienen als communicatiemiddel naar de uitvoerder toe.

Het governance-, risk- en controleraamwerk van de serviceorganisatie ligt daarbij idealiter in het verlengde van het raamwerk van het pensioenfonds. Het zou nog beter zijn om te komen tot een geïntegreerd framework (zie figuur 2). Immers, daar waar sprake is van een gedeeld risicobeeld kan optimaal op elkaar worden ingespeeld. Indien een serviceorganisatie de risico’s van het fonds niet belegt in het eigen risk- en controleraamwerk, dan zal hier een focus van het pensioenfonds op moeten liggen. Het pensioenfonds zal dan voor aanvullende acties staan in het kader van de controle op uitbesteding. Daar waar de opdrachtgever dit wenselijk vindt kan om (aanvullende) externe assurance door de auditor van de serviceorganisatie worden verzocht.

C-2013-2-Toledo-02

Figuur 2. Een praktische uitwerking van een geïntegreerd en gedeeld controleraamwerk.

Dialoog tussen pensioenfonds en serviceorganisatie

Om te komen tot een geïntegreerd risico- en controleraamwerk is een actieve dialoog tussen pensioenfonds en serviceorganisatie noodzakelijk. De risicoanalyse van het pensioenfonds kan daarbij als basis dienen. In deze risicoanalyse worden risico’s en (maximaal) gewenste exposures geformuleerd. Deze worden samen met verwachtingen en eisen gecommuniceerd aan de serviceorganisatie. Door in deze dialoog te komen tot een gedeeld risicobeeld kan het pensioenfonds zichtbaar en effectief in control zijn en kan de serviceorganisatie op een efficiënte wijze maximaal klantbelang nastreven. Deze dialoog is schematisch weergegeven in figuur 3.

C-2013-2-Toledo-03

Figuur 3. Toenemende eisen van pensioenfondsen en serviceorganisatie vragen om een nieuwe visie op ‘in control’.

Balans tussen regels en vertrouwen

Uitbesteding en de beheersing van uitbestede processen kan pas succesvol zijn als partijen in een partnership met een gezamenlijk doel opereren. Transparantie en vertrouwen in elkaar zijn daarbij belangrijke voorwaarden. Er is immers een grens aan het uitbreiden van beheersingsmaatregelen in het controleraamwerk, zowel in de balans tussen het aantal hard en soft controls als in termen van de totale kosten van interne beheersing.

Om hierin een optimum te bereiken is naar onze mening een actieve dialoog tussen partijen noodzakelijk. Een dialoog gebaseerd op wederzijds vertrouwen waarbij de volgende twee vragen de aandacht vragen:

Zijn de investeringen in risicobeheersing doeltreffend en leiden ze daadwerkelijk tot een lager risicoprofiel?
Schiet risicobeheersing haar doel niet voorbij en leidt zij tot ongewenste effecten, zoals een cultuur van angst en toenemende juridisering?

De ervaring leert dat het rapporteren over interne beheersingsmaatregelen en de werking hiervan niet alleen tot goede beheersing leidt. Mogelijke belangenverstrengeling wordt niet opgelost door de uitbreiding van de risico- en controlematrix. Incidenten kunnen nog steeds voorkomen. Het aangaan van de dialoog met elkaar over root causes van geconstateerde deficiënties en incidenten is vaak effectiever en efficiënter dan het toevoegen van meer beheersingsmaatregelen. Vaak is het instellen van meer beheersingsmaatregelen het gevolg van een gebrek aan transparantie en daardoor vertrouwen in elkaars deskundigheid. Het is daarom belangrijk om te komen tot een situatie waarin vertrouwen regeert en waarbij wordt uitgegaan van het halen van een gezamenlijk doel.

Om dit te bereiken heeft KPMG ([Wall09]) negen trust rules geformuleerd waarmee concreet gewerkt kan worden aan een goede balans tussen regels en vertrouwen. Deze zijn weergegeven in figuur 4.

C-2013-2-Toledo-04

Figuur 4. Een goede balans tussen controls en trust: implementeren trust rules.

Concrete voorbeelden van hoe het pensioenfonds een goede balans tussen regels en vertrouwen kan creëren zijn onder meer:

Geef elkaar verantwoordelijkheid en vertrouwen: schriftelijk vastleggen van afspraken in een uitbestedingsovereenkomst over de werkzaamheden en verantwoordelijkheden die worden uitgevoerd.
Definieer gezamenlijke doelstellingen en bouw vertrouwen op met goede regels: stel een Service Level Agreement op tussen pensioenfonds en serviceorganisatie om verschillen van inzicht over de gewenste informatie te voorkomen en gezamenlijke doelstellingen te definiëren. Hierin kunnen bijvoorbeeld ook overlegstructuren worden afgesproken tussen pensioenfonds en serviceorganisatie.
Zet in op geïnformeerd vertrouwen, niet op blind vertrouwen: rapportages zijn afgestemd op verwachtingen en eisen van het pensioenfonds, bijvoorbeeld op basis van een dashboard dat is gebaseerd op de risicoanalyse van het pensioenfonds. Transparantie is van belang.
Maak contact persoonlijk: periodieke afstemming/gesprekken tussen pensioenfonds en serviceorganisatie om de dienstverlening te evalueren en indien nodig te verbeteren.

Mocht het voorkomen dat er fouten worden gemaakt door de serviceorganisatie of dat afspraken niet worden nagekomen, dan is het van belang om in gesprek te gaan over deze incidenten. Een cultuur waarin fouten bespreekbaar zijn zal hierdoor worden gecreëerd, zodat daaruit lering kan worden getrokken. Essentieel is dat misbruik van vertrouwen in deze situaties meteen gede-escaleerd moet worden, omdat dit het gezamenlijke doel in de weg staat. Dit is gerelateerd aan de trust rule ‘ga mild om met misverstanden en maak korte metten met misbruik’.

Conclusie

Het pensioenfondsbestuur is verantwoordelijk voor de uitbestede processen aan een serviceorganisatie. Om tegemoet te komen aan de toenemende eisen vanuit het maatschappelijk verkeer en de toezichthouder op het punt van ‘in control’ zijn, is een gestructureerde aanpak vereist. Een actieve dialoog en afstemming tussen pensioenfonds en serviceorganisatie is van belang om duidelijkheid te creëren over de risico’s, wensen, eisen en eventuele spanningsvelden in de relatie. Alleen dan kunnen de risico- en controleraamwerken van pensioenfonds en serviceorganisatie effectief zijn en zich beperken tot de risico’s die relevant zijn. Bovendien worden hierdoor waarborgen gecreëerd dat tussentijdse risicorapportages en SOC-rapporten aansluiten op de wensen van de pensioenfondsen.

Goede beheersing in een outsourcingsrelatie bevat meer dan alleen het inrichten van beheersingsmaatregelen, rapportages en verantwoording afleggen. Er dient een cultuur te zijn waarin incidenten en verbeterpunten openlijk kunnen worden besproken en root-causes kunnen worden achterhaald. Dit is alleen mogelijk indien een goede balans tussen regels en vertrouwen wordt gecreëerd. De negen trust rules bieden hiervoor handvatten.

Literatuur

[AFM10] Autoriteit Financiële Markten, Rapport Juistheid UPO, oktober 2010.

[Beek10] Drs. Jaap van Beek RE RA en drs. Marco Francken RE RA CISA, SAS 70 herzien, focus ISAE 3402 blijft op beheersingsmaatregelen financiële verantwoording, Compact 2010/1.

[DNB12] De Nederlandsche Bank, Quinto Pensioenfondsen, april 2012.

[Pens12] Pensioenfederatie, Integraal risicomanagement: Handreiking integraal risicomanagement voor pensioenfondsen, juni 2012.

[Pens13] De Pensioenwereld in 2013, KPMG, 2013.

[Wall09] Prof. dr. P. Wallage RA, prof. E. Roos Lindgreen en dr. M. Kaptein, Trust rules, Negen uitgangspunten voor een betere balans tussen regels en vertrouwen, KPMG, 2009.

[Wess10] Ir. H.J. Wesselman, ing. F.L. Lipper BSc en drs. P.C. Geerts MMC, Optimalisatie van primaire processen door uitbesteding: een realiteit of een idee-fixe?, Compact 2010/2.

SOC 1-rapportages

Het uitbesteden van processen heeft altijd impact op de beheersingsomgeving van de uitbestedende organisatie. Hoewel sommige controleactiviteiten niet meer hoeven te worden uitgevoerd, zal nog wel moeten worden vastgesteld in hoeverre de serviceorganisatie haar zaakjes op orde heeft. Gelukkig is er al weer enige tijd een wereldwijde standaard voor de beoordeling van de interne beheersing van serviceorganisaties. In dit artikel wordt aan de hand van een inventariserend onderzoek verslag gedaan van de eerste ervaringen met de nieuwe standaard en van de mogelijkheden voor global reporting.

Inleiding

Er kunnen verschillende oorzaken zijn waardoor het management van een organisatie zich voor de strategische keuze ziet gesteld om administratieve processen, het beheer van IT-systemen, gegevensverwerking of delen daarvan uit te besteden aan serviceorganisaties. Als de beslissing uiteindelijk is genomen, de serviceorganisatie is geselecteerd en de activiteiten zijn overgegaan, dan houdt de verantwoordelijkheid van het management voor deze processen echter niet op te bestaan. De uitbestedende partij (de gebruikersorganisatie) verwacht van de serviceorganisatie wel dat deze processen heeft ingericht om de risico’s te beheersen die verband houden met de uitbestede activiteiten.

Om comfort te krijgen over de uitbestede activiteiten kan de gebruikersorganisatie bij de serviceorganisatie vragen om een assurancerapport, ook wel aangeduid als Service Organisatie Control (SOC)-rapport. De serviceorganisatie legt door middel van een SOC-rapport verantwoording af over het door haar geïmplementeerde systeem van interne beheersing over de aan haar klanten geleverde diensten. Het is daarbij belangrijk dat de serviceorganisatie vooraf afstemming heeft met de gebruikersorganisaties over de scope en inhoud van de SOC-rapportage.

In het verleden werden SOC-rapporten veelal opgesteld op basis van de Amerikaanse SAS 70-standaard. Over de voorbereiding op de overgang van rapporten op basis van SAS 70 naar rapporten op basis van de internationale standaard ISAE 3402 of standaard ISAE 3000 is al veel geschreven, onder meer in [Beek11] en [KPMG10].

De standaard ISAE 3402 dient te worden gebruikt voor de beoordeling van de interne beheersing van processen die van belang zijn voor de financiële verantwoording. Voor de overige beheersingsmaatregelen (niet gerelateerd aan financiële verantwoordingsprocessen) kan gebruik worden gemaakt van de assurancestandaard ISAE 3000. De ISAE 3402-standaard is feitelijk een nadere concretisering van de ISAE 3000-standaard. Het stramien van ISAE 3402 kan echter in ISAE 3000 ook worden gevolgd om over de beheersing van andere processen te rapporteren ([Beek11], [KPMG12]).

SOC-rapportages

Om de herkenbaarheid en voorspelbaarheid van SOC-rapportages ten aanzien van IT-gerelateerde processen te bewerkstelligen heeft de Amerikaanse beroepsorganisatie voor accountants, het American Institute of Certified Public Accountants (AICPA), een drietal categorieën van SOC-rapportages gedefinieerd ([KLLP12]):

SOC 1^SM – een rapportage over de beheersingsmaatregelen bij een serviceorganisatie die relevant zijn voor de interne beheersing van financiële verantwoordingsprocessen. SOC 1-rapporten worden in de Verenigde Staten uitgebracht in overstemming met SSAE 16 die valt onder de standaard AT 801 (zie ook tabel 1). Buiten de Verenigde Staten zouden deze rapporten onder de internationale standaard ISAE 3402 kunnen worden uitgebracht.
SOC 2^SM – een rapportage over de beheersingsmaatregelen bij een serviceorganisatie die relevant zijn voor informatiebeveiliging, beschikbaarheid, integriteit van gegevensverwerking, vertrouwelijkheid of privacy. In de Verenigde Staten worden SOC 2-rapporten uitgebracht onder standaard AT 101. Buiten de Verenigde Staten zouden deze rapporten onder de internationale standaard ISAE 3000 kunnen worden uitgebracht.
SOC 3^SM – een Trust Services rapportage voor serviceorganisaties. Evenals de SOC 2-rapporten kunnen deze onder AT 101 respectievelijk ISAE 3000 worden uitgebracht. Een SOC 3-rapport kan voor een breder publiek worden gebruikt dan een SOC 2-rapport.

Deze drie verschillende rapportages adresseren een bredere set aan specifieke behoeften van gebruikers, zoals risico’s met betrekking tot informatiebeveiliging, privacy of beschikbaarheid van systemen. Daarnaast zoeken serviceorganisaties naar betere manieren om zekerheid te verschaffen over hun beheersingsomgeving.

SOC-rapportages bieden de serviceorganisaties een gestructureerde manier van rapporteren. In tabel 1 zijn de verschillen en overeenkomsten van de drie SOC-rapportages opgenomen.

C-2013-2-Perk-t01

Tabel 1. Verschillen en overeenkomsten tussen de SOC-rapportages.

Wat is het effect geweest van de wijziging in de standaarden op het SOC-rapport?

Door het vervangen van de SAS 70-standaard dienden serviceorganisaties te heroverwegen op basis van welke standaard zij verantwoording zouden afleggen over de interne beheersing van de aan haar uitbestede processen. De keuze voor ISAE 3402 betekent dat de serviceorganisatie rekening zou moeten houden met een aantal nieuwe of gewijzigde elementen in het SOC-rapport, zoals de managementbewering, het omgaan met subserviceorganisaties en het gebruikmaken van werkzaamheden van internal audit.

Inmiddels hebben de serviceorganisaties en serviceauditors in 2011 en 2012 ervaringen opgedaan met de assurancestandaarden. Reden om een inventariserend onderzoek uit te voeren naar de toepassing ervan in de praktijk en om te onderzoeken welke topics er nu spelen rond SOC-rapportages. Onderstaande uitkomsten zijn gebaseerd op een wereldwijde survey onder serviceauditors, gesprekken met serviceorganisaties in Nederland en uit eigen ervaringen met betrekking tot de servicerapporten over 2011 en 2012. In totaal zijn ruim 230 serviceorganisaties uit diverse sectoren (zoals pensioenfondsen, beleggingsinstellingen en IT-serviceproviders) in het onderzoek betrokken.

Type SOC-rapportage

De serviceorganisatie legt door middel van een SOC-rapport verantwoording af over het door haar geïmplementeerde systeem van interne beheersing over de aan haar klanten geleverde diensten. Het is daarbij belangrijk dat de serviceorganisatie vooraf afstemming heeft met de gebruikersorganisaties over de scope en inhoud van de SOC-rapportage.

Uit ons onderzoek is gebleken dat in veruit de meeste gevallen ervoor is gekozen om de SAS 70-rapportage te vervangen door een ISAE 3402. Ongeveer één op de zes serviceorganisaties heeft wel de overgang naar ISAE 3000 overwogen, maar heeft uiteindelijk toch gekozen voor ISAE 3402. De ondervraagde serviceorganisaties hebben aangegeven dat in veel gevallen de communicatie tussen serviceorganisatie en gebruikersorganisatie beperkt is geweest met betrekking tot de vorm van het rapport en dat is in onze ogen een gemiste kans. Beide partijen zijn immers gebaat bij een rapportage die het meest geschikt is voor de verantwoording over de processen die zijn uitbesteed en over de afspraken die daarover zijn gemaakt. Goede communicatie over de scope en vorm van het SOC-rapport vergroot de doeltreffendheid ervan. Wanneer informatiebeveiliging en beschikbaarheid van een specifiek systeem belangrijk zijn voor de diensten die een serviceorganisatie levert, dan is de gebruikersorganisatie het meest gebaat bij een SOC 2- of SOC 3-rapport. Uit de wereldwijde survey blijkt dat in de Verenigde Staten bijna 4% van de betreffende serviceorganisaties al bezig is met een SOC 2- of SOC 3-rapport en dat nog eens 36% geïnteresseerd is om een dergelijk rapport uit te brengen. Ook buiten de Verenigde Staten blijkt bij één op de drie serviceorganisaties interesse te bestaan in een SOC-rapport op basis van de ISAE 3000- in plaats van de ISAE 3402-standaard.

Managementbewering

De meest opvallende toevoeging aan het SOC-rapport is de opname van een managementbewering. In de managementbewering verklaart het management dat de in het rapport opgenomen beschrijving van de processen en systemen een getrouw beeld weergeeft. Tevens verklaart het management dat de interne beheersingsmaatregelen op afdoende wijze zijn opgezet en (bij een Type 2-rapport) gedurende de verslagperiode effectief werkten.

Het verantwoordelijke management baseert zijn uitspraken op de uitgevoerde management controls. Uit onze inventarisatie is gebleken dat veel serviceorganisaties al een proces hadden geïmplementeerd waarbij gebruik wordt gemaakt van rapportages van de eigen interne auditafdeling of van periodieke ‘In Control’-statements door het lagere management. Het opnemen van een managementbewering is voor deze organisaties geen aanleiding geweest om meer monitoring controls toe te voegen aan het interne beheersingsraamwerk. De overige organisaties hebben wel in enkele gevallen monitoring controls specifiek aan het raamwerk toegevoegd.

De meeste organisaties hebben aangegeven dat zij de betreffende management controls hebben beschreven onder het hoofdstuk dat de interne beheersingsstructuur beschrijft. Zij hebben daarin echter niet aangegeven dat deze management controls zijn gebruikt om tot de managementbewering te komen. Transparantie op dit punt zou derhalve nog verder kunnen worden verbeterd.

Uit de interviews met de serviceorganisaties is verder gebleken dat geen enkele organisatie is afgeweken van de voorbeeldtekst in de standaard. De managementbewering is in de meeste gevallen ondertekend door één of meer C-level functionarissen. In ongeveer een kwart van de gevallen is de managementverklaring getekend in naam van de serviceorganisatie. Het komt daarnaast bij ongeveer één op de zes serviceorganisaties voor dat de managementbewering niet is ondertekend.

Intern beheersingsraamwerk

Eén van de verplichte onderdelen van het SOC-rapport is de systeembeschrijving. Hierin beschrijft het management van de serviceorganisatie onder meer de soorten diensten en het interne beheersingsraamwerk. De verwachting bij de introductie van de ISAE 3402-standaard was dat de serviceorganisatie meer aandacht zou besteden aan het beschrijven van het risicomanagementproces, bijvoorbeeld door de risico-inschattingen op te nemen ter ondersteuning van de managementbewering of door het opnemen van meer monitoring controls in het beheersingsraamwerk. Uit de wereldwijde survey blijkt echter dat in slechts 34% van de gevallen sprake is geweest van een uitbreiding van de betreffende sectie in het rapport.

De ondervraagde serviceorganisaties hebben verder aangegeven dat de overgang naar ISAE 3402 geen aanleiding is geweest om belangrijke wijzigingen door te voeren in het interne beheersingsraamwerk, aangezien er meestal al een proces is waarbij de relevantie en de effectiviteit van het raamwerk ten minste jaarlijks worden beoordeeld. Wel hebben de organisaties aangegeven dat er nu meer aandacht is om de belangrijke wijzigingen in het raamwerk ook te vermelden in het hoofdstuk van het SOC-rapport waarin de beschrijving van het systeem van de serviceorganisatie is opgenomen, terwijl dat in het verleden misschien minder consistent werd gedaan.

Interne auditfunctie

In de ISAE 3402-standaard is de rol van de interne auditfunctie beter uitgewerkt dan bij SAS 70. Indien de serviceorganisatie beschikt over een interne auditfunctie, dient de serviceorganisatie inzicht te krijgen in de aard van de verantwoordelijkheden van de interne auditfunctie. Ook dient zij na te gaan welke werkzaamheden de interne auditfunctie uitvoert met betrekking tot het interne beheersingssysteem. De serviceauditor kan er onder bepaalde voorwaarden voor kiezen om gebruik te maken van de werkzaamheden van interne auditors. De serviceauditor blijft echter ook in deze gevallen de ongedeelde verantwoordelijkheid houden voor het oordeel in het SOC-rapport.

Ondanks de specifieke aandacht voor de interne auditor in de ISAE 3402-standaard is onze ervaring dat er in de praktijk nauwelijks sprake is van wijzigingen in de rol van de interne auditor bij SOC-rapportages.

Overige trends

Ondanks dat een wereldwijde standaard is geïmplementeerd voor SOC-rapportages, zien wij dat er nog steeds verzoeken worden gedaan om de rapportage op grond van de Amerikaanse standaard op te stellen. Een SSAE 16-rapport kan echter alleen door een CPA worden uitgevaardigd en dan alleen nog in het rechtsgebied waarin de CPA gecertificeerd is. De noodzaak voor een Amerikaans rapport is er door de wereldwijde standaard ook niet meer. De verschillen tussen ISAE 3402 en SSAE 16 zijn minimaal en daardoor is het SOC-rapport door de auditor van de Amerikaanse gebruikersorganisatie goed te gebruiken, ook indien deze gebruikersorganisatie onder de Sarbanes-Oxley wetgeving valt.

Tijdens de gesprekken met de serviceorganisaties hebben wij ook enige aandacht besteed aan het gebruik van tooling voor de vastlegging van interne beheersingsmaatregelen, managementtestactiviteiten en controleactiviteiten. Het beeld dat wij hebben aangetroffen bij de ondervraagde organisaties is erg diffuus. Alle smaken van uitsluitend beheersingsmaatregelen in een spreadsheet tot aan een volledig geïmplementeerde GRC-tool zijn wij tegengekomen. De komst van de nieuwe SOC-standaarden is in ieder geval geen trigger geweest voor serviceorganisaties om wijzigingen aan te brengen in de mate waarin zij gebruikmaken van tooling.

Wij hebben ook proberen te onderzoeken of de overgang naar ISAE 3402 een effect heeft gehad op de kosten per beheersingsmaatregel. Het blijkt echter dat, in ieder geval bij de ondervraagde serviceorganisaties, nauwelijks tot geen inzicht bestaat in de kosten op dat niveau.

Samenvatting

Uit ons inventariserende onderzoek blijkt dat de komst van ISAE 3402 niet heeft geleid tot grote verschillen ten opzichte van het SAS 70-tijdperk. De beoogde veranderingen, zoals meer aandacht voor risicomanagement en een bredere rol voor interne auditors, zijn nog niet over de gehele linie gerealiseerd door de serviceorganisaties. De nieuwe standaard heeft wel gezorgd voor meer duidelijkheid welk type rapport het meest geschikt is voor welke situatie. De communicatie daarover tussen gebruikersorganisatie en serviceorganisatie kan echter nog worden verbeterd, hetgeen de doeltreffendheid van het rapport ten goede zou komen. Wij zien derhalve nog een vrij groot potentieel voor verbeteringen in het rapporteren over uitbestede diensten.

Global reporting

Naast het verschaffen van helderheid over de vorm waarin serviceorganisaties verantwoording kunnen afleggen biedt ISAE 3402 nog een belangrijk voordeel, namelijk één wereldwijde standaard voor de beoordeling van de interne beheersing van serviceorganisaties. In het SAS 70-tijdperk was het nog zo dat deze van huis uit Amerikaanse standaard in verschillende delen van de wereld op andere manieren werd ingevuld. Met de ISAE 3402 heeft men één standaard waarvan men op globaal niveau gebruik kan maken. Dit biedt tevens perspectief voor wereldwijde gebruikersorganisaties die voor hun diensten op meerdere locaties vergelijkbare SOC-rapportages willen ontvangen.

In de afgelopen periode is niet alleen het management van serviceorganisaties druk bezig geweest om zijn begrip van SOC-rapportages te verbeteren om zo meer in control te raken, ook organisaties die overwegen om diensten uit te besteden zijn daarmee bezig. SOC-rapportages worden niet langer gezien als een kostenpost om met een aantal klanten zaken te kunnen doen; het is een vereiste geworden om werk te winnen, zeker bij de grote corporate organisaties. Deze organisaties hebben veelal vakkundige inkoopafdelingen of zelfs gespecialiseerde vendor-managementonderdelen die het hebben van een SOC-rapport als knock-out criterium stellen om überhaupt te worden meegenomen in (wereldwijde) proposaltrajecten. Bovendien kunnen deze vendor-managementafdelingen specifieke procedures ingeregeld hebben voor de beoordeling van SOC-rapportages, het opvolgen van eventuele tekortkomingen en het opnemen van specifieke beheersingsdoelstellingen en beheersingsmaatregelen.

Een SOC-rapport is naast een op de klant gerichte weergave van de serviceorganisatie en haar interne processen, een kans om klanten te herinneren waarom ze zaken doen met de serviceorganisatie en hoe de voortzetting van de dienstverlening waarde toevoegt aan de gebruikersorganisatie.

Wanneer grote wereldwijde organisaties processen hebben uitbesteed aan een serviceorganisatie met meerdere locaties dan kan het zo zijn dat voor elk van de locaties een apart rapport opgesteld dient te worden. Het is daarbij dan van belang dat deze rapportages beschikbaar zijn voor alle locaties, effectief zijn en – natuurlijk – betrekking hebben op dezelfde inhoud. Met andere woorden, de rapportages moeten identiek aan elkaar zijn met uitzondering van de locatie.

Onze ervaring dat er veel offerteverzoeken aan serviceorganisaties gedaan worden voor de wereldwijde portfolio van SOC-rapporten, volgt deze trend. We zien daarbij dat het noodzakelijk is dat de serviceorganisatie een passende serviceauditor heeft om effectieve rapportages te kunnen leveren die consistent zijn over de verschillende locaties. Deze serviceauditor beoordeelt niet alleen de SOC-rapportage en kan efficiencyvoordelen behalen door de leercurve, maar kan daarnaast ook additionele inzichten verschaffen in de samenhang en consistentie van de processen over de verschillende locaties heen.

Om een wereldwijde portfolio van SOC-rapportage te beheren is het voor een serviceorganisatie van belang een centre of excellence (COE) of vergelijkbaar onderdeel op te zetten. De COE is daarbij verantwoordelijk voor de volgende aspecten:

Awarenesstraining. Voor een serviceorganisatie is het van belang dat niet alleen de mensen op de werkvloer vertrouwd zijn met het SOC-rapport, maar ook ondersteunende afdelingen als Marketing, Sales en Locatie Management dienen voldoende kennis te hebben.
Ondersteuning in proposaltrajecten. Afdelingen als Marketing, Sales en zelfs Juridische Zaken zijn niet altijd bekend met de subtiele verschillen in SOC-rapportages en aanverwante zaken, zoals ‘right-to-audit’-clausules en de verschillende mogelijke typen van SOC-rapporten. Tijdens proposaltrajecten kan het COE helpen met het uiteenzetten van de toegevoegde waarde die de SOC-rapportages bieden voor de potentiële klant.
Afhandelen van aanvragen voor het toepassen van de ‘inclusive’ methode. Wanneer de serviceorganisatie wordt beschouwd als een subserviceorganisatie voor een klant die zelf ook weer een serviceorganisatie is, dan kan deze klant verzoeken om de diensten van de subserviceorganisatie onderdeel te laten zijn van zijn SOC-rapport (aangeduid als de ‘inclusive’ methode). Een voorbeeld hiervan is het geval dat een serviceorganisatie datacenter hosting services verleent aan een salarisverwerkende organisatie. De inclusive methode heeft specifieke eisen die moeten worden bewaakt om de subserviceorganisatie te beschermen.
Beheersing van de jaarlijkse controlecyclus. Met elke rapportagecyclus moeten de systeembeschrijving en beheersingsmaatregelen worden beoordeeld en aangepast aan de huidige situatie. Dit in aanvulling op de coördinatie van het proces rond de managementbeweringen en van de logistieke details, waaronder tijd, resources en documentatie.

Het COE zal ook verantwoordelijk zijn voor de keuze welke rapportagestandaard de serviceorganisatie gebruikt om het interne beheersingsraamwerk op te baseren. Soms is het duidelijk welke standaard moet worden gebruikt en soms zijn er verschillende mogelijkheden die moeten worden geëvalueerd (zie figuur 1). In dit proces moeten ook lokale standaarden worden meegenomen die wellicht beter kunnen worden afgedekt door een internationale standaard.

C-2013-2-Perk-01

Figuur 1. Selectie van de juiste standaarden voor het wereldwijde beheersingsraamwerk[De circulaire 08/7 van de Financial Market Supervisory Authority (FINMA) beschrijft de voorwaarden voor de uitbesteding van bedrijfsactiviteiten binnen de bancaire sector.].

Om te waarborgen dat de serviceorganisatie effectieve rapportages aan haar klanten kan verstrekken met dezelfde inhoud voor al haar locaties, dient de serviceorganisatie wereldwijd één beheersingsraamwerk te implementeren. Dit vereist dat het COE een raamwerk voorschrijft dat standaardeisen omvat, terwijl daarnaast een weloverwogen afweging moet worden gemaakt om eventuele lokale wet- en regelgeving mee te nemen.

Er zijn momenteel verschillende voorbeelden van serviceorganisaties die overgaan naar een wereldwijd raamwerk voor de SOC-rapportages. Dit proces (zie figuur 2) begint meestal met het combineren van de verschillende lokale kaders, hetgeen vaak een uitdaging is aangezien de lokale entiteiten een verschillende taal, lokale regelgeving of klantbehoeften kunnen hebben (zoals privacywetgeving, arbeidsrecht, milieuwetgeving). Bovendien kan de implementatie van de beheersingsmaatregelen tussen locaties verschillen door het gebruik van afwijkende ondersteunende IT-systemen.

C-2013-2-Perk-02

Figuur 2. Proces naar een wereldwijd raamwerk voor SOC-rapportage.

In grotere organisaties is het onvermijdelijk dat er een aantal variaties tussen locaties bestaat. Deze variaties leiden tot verschillen tussen het wereldwijde beheersingsraamwerk en het beheersingsraamwerk van de verschillende locaties. Om te voorkomen dat dit resulteert in het rapporteren van deficiënties, moeten deze verschillen worden geanalyseerd en opgelost voorafgaand aan de rapportageperiode. Als alternatief kan het COE een vrijstellingsproces starten of compenserende controls implementeren.

Na elke implementatie van nieuwe beheersingsmaatregelen kan het enige tijd duren voordat deze maatregelen effectief werken. Om deficiënties van de effectieve werking van beheersingsmaatregelen zo vroeg mogelijk te detecteren kan een ‘readiness assessment’ worden uitgevoerd voor elk van de locaties. Een readiness assessment resulteert in een scorekaart waarop problemen per locatie worden aangetoond zodat het management een actieplan per locatie kan opstellen. Tevens wordt hiermee duidelijk welke locaties klaar zijn voor de audit op basis van het wereldwijde raamwerk.

Samenvatting

Wij zien dat de vraag vanuit de gebruikersorganisaties naar een wereldwijd raamwerk voor SOC-rapportages over verschillende locaties heen toeneemt. Het is daarbij voor de serviceorganisaties van belang dat ze op centraal niveau processen inrichten voor het aansturen van de audit, het creëren van awareness en om de variaties tussen de locaties weg te nemen. Dit zal resulteren in een standaardaanpak en -raamwerk voor SOC-rapportages voor alle locaties om zo aan de wensen van de klanten te voldoen.

Conclusie

Met de implementatie van wereldwijde SOC-standaarden en de incorporatie daarvan in lokale standaarden hebben de regelgevende instanties de kaders geschapen voor transparante verantwoording over uitbestede dienstverlening. Uit het inventariserende onderzoek is naar voren gekomen dat de beoogde veranderingen van de nieuwe standaard in de praktijk nog niet in de gehele linie zijn opgepakt door serviceorganisaties. Er is daardoor nog een vrij groot potentieel voor verdere verbeteringen in het beheersingsraamwerk.

De nieuwe standaarden komen op het juiste moment, nu een trend ontstaat waarbij wereldwijde gebruikersorganisaties hun diensten voor meerdere locaties bij één serviceorganisatie willen onderbrengen en daarover vergelijkbare SOC-rapportages willen ontvangen. Het is daarbij voor de serviceorganisatie van belang dat zij een COE inregelt om het rapportageproces te coördineren en om de verschillen tussen locaties te beheersen. De trend richting global reporting in combinatie met het nieuwe palet aan wereldwijde standaarden voor SOC-rapportages biedt een extra kans voor communicatie tussen service- en gebruikersorganisatie en voor het beheersen van de risico’s met betrekking tot de uitbestede diensten.

Literatuur

[Beek11] Drs. J.J. van Beek RE RA en drs. M.A. Francken RE RA CISA, SAS 70 revised: ISAE 3402 will focus on financial reporting control procedures, Compact 2011/0.

[KLLP12] KPMG LLP, Effectively using SOC 1, SOC 2, and SOC 3 reports for increased assurance over outsourced operations, 2012.

[KPMG10] KPMG Advisory N.V., Praktijkgids SAS 70 deel III, SAS 70 verdwijnt: het moment voor herevaluatie, 2010.

[KPMG12] KPMG Advisory N.V., Praktijkgids 4, Service Organisatie Control-rapport, ISAE 3402, 2012.

Older posts

Newer posts