Verdieping: ‘Onafhankelijkheid is een ingewikkeld begrip hoor.’

 Verdieping: ‘Onafhankelijkheid is een ingewikkeld begrip hoor.’

Voor het onderzoek naar de eindevaluatie van de missie in Uruzgan (hier te lezen bij De Correspondent) sprak ik uitgebreid met een voormalig medewerker van de Afghaanse organisatie The Liaison Office (TLO). Zij heeft het evaluatieproces in een proefschrift geëvalueerd. Het was een spannend gesprek dat niet alleen de evaluatie-sector een spiegel voorhoudt, maar de journalistiek evengoed. 

De voormalig TLO-medewerker is mede-auteur van de belangrijkste bouwsteen van de eindevaluatie van de missie naar Uruzgan. Dat is de politieke verantwoording over vier jaar Nederlandse betrokkenheid in Afghanistan. Daarbij staan dus de levens van 24 Nederlandse militairen, een onbekend aantal Afghaanse burgers en 2,5 miljard euro belastinggeld op het spel: zijn die ‘investeringen’ terecht geweest? De regering en besteller van het rapport wil graag dat het antwoord op die vraag 'ja' luidt. Maar zo eenvoudig is het niet. 

Waarom is het zo moeilijk harde data te verzamelen in Afghanistan?

"Uruzgan, en Afghanistan in het algemeen, kent geen obsessieve registratietraditie zoals wij die hebben, en al zeker geen cijfermatige. Er is bijvoorbeeld geen betrouwbare bevolkingscensus. Als je een evaluatie wil doen, heb je echter wel een ijkpunt nodig. Omdat er geen database bestaat zoals wij die kennen en nodig achten voor het genereren van data en kennis, moeten wij  de onderzoeksindustrie in Afghanistan – die zelf maken. En dan gaat het om schattingen van bevolkingsaantallen, maar ook om het maken van kaarten van de regio. Om een basis te creëren, moet je een infrastructuur aanbrengen die niet alleen data genereert maar ook het vertrouwen in die data. Dat kost veel tijd.   

In vier jaar is het niet gelukt om alle neuzen dezelfde kant op te krijgen, de menselijke neuzen noch de hardware. Dat is iets dat het gros van de mensen zich niet realiseert wanneer ze evaluatiedata uit Afghanistan tot zich nemen, en uit heel veel andere plekken op de wereld trouwens, inclusief Nederland. Dat leidt tot een moeilijke vraag: Als ik – als een van de makers van dat rapport – al zoveel moeite heb met het begrijpen van de data die aan het rapport ten grondslag ligt, hoe kunnen andere mensen zich daar dan op verlaten? Hoe kunnen politieke beslissingen op basis van dit soort moeilijk te begrijpen werkelijkheden en data genomen worden? 

En je moet een oplossing verzinnen voor nog een ander probleem: het feit dat veel van de gebieden waar de internationale gemeenschap de meeste interesse in heeft, onbereikbaar zijn voor internationale onderzoekers. Die spreken de taal niet, of kennen de omgangcodes niet, of zijn vrouw of op een andere manier meteen een doelwit. De oplossing die onze organisatie hiervoor vond was lokale surveyors in te zetten. Daar zaten alleen ook weer haken en ogen aan. Zij spraken bijvoorbeeld maar beperkt Engels, of konden niet heel goed lezen en schrijven. Bovendien was het niet zeker of zij wisten wat voor onze opdrachtgevers goede data was of dat ze de relevantie van onze vragenlijsten goed in konden schatten, De internationalen van de organisatie maakten dan vragenlijsten voor deze surveyors die op de een of andere manier een balans moesten vinden tussen het verkrijgen van zoveel mogelijk informatie en het omgaan met die onderzoeksbeperkingen. Dat is niet alleen ingewikkeld, maar het levert ook vrij beperkte inzichten op."

Ging je mee met data-verzamelaars?

"Nee. De surveyors hebben wel training gekregen. In twee dagen training kun je helaas niet van deze mensen volleerde, kritische onderzoekers naar de maatstaven van de internationale interventie maken. Je kunt ze uitleggen bijvoorbeeld dat ze kunnen doorvragen als ze niet tevreden zijn met het antwoord op een vraag. Maar ga maar eens na wat een subtiele inschattingen daarbij komen kijken. Die heb je niet aangeleerd in een paar dagen waardoor je twijfel over de waarde van de antwoorden uiteindelijk niet weg kunt nemen.  
Dat principe van dat ik niet mobiel ben, maar wel weet wat goede data is, en dat de dataverzamelaar wel mobiel is en niet weet wat goede data is, dat is een structureel groot probleem. 

We hebben niet al onze informatie via vragenlijsten verzameld hoor. We hebben heel veel interviews gehouden. Die leveren een heel ander soort informatie op. Die interviews gaven in plaats van droge snapshots juist hele rijke en specifieke inzichten in wat het betekent om in Uruzgan te leven.  

Analyses maken op basis van beide data die waardevol en duurzaam zijn is super ingewikkeld. Daar is tijd en toewijding voor nodig. En die zijn schaars in een wereld waar het internet of de elektriciteit er voortdurend uitligt, die geregeerd wordt door deadlines, waar samenwerken moeilijk is, maar ook, waar de doorloop van internationals groot is, waardoor er maar weinig mensen zijn die kennis echt opbouwen. Onze eigen organisatie had met deze issues te kampen, en was daarmee echt niet anders dan andere organisaties in Afghanistan."

Hoe gaat dat dan vervolgens?

"Nou, voor het rapport dat we over de Nederlandse missie schreven hebben we heel veel dingen geteld: scholen, health clinics, vrouwelijke verloskundigen, enzovoorts. Naast dit soort getalsmatige kennis hebben we ook politieke analyses gegeven. Dat alles bij elkaar is een collectie van statements geworden die samen een impressie geven van de missie. Tegen de achtergrond van wat ik net vertelde is het dus niet makkelijk om een simpele stempel van succes of mislukking op de missie te drukken. Daarmee is onze kennis niet waardeloos, maar is er juist zorgvuldigheid geboden om deze waardevol te maken. 

Neem het percentage van meisjes dat in Uruzgan naar school gaat: 6,2%. Publicatie van zo’n getal laat weinig los over het feit dat zo’n getal gebaseerd is op heel veel schattingen, omdat bevolkingsgetallen niet bestaan. Het laat ook weinig los over het feit dat sommige etniciteiten of regio’s meer meisjes naar school gaan dan ergens anders, of dat meisjes misschien niet naar school gaan omdat alle scholen in de buurt dicht zijn, of dat meisjes wel geschoold worden maar dan thuis of in de moskee. En, misschien belangrijker nog, het getal laat ook weinig los over het feit dat mensen in Uruzgan zelf meisjesonderwijs om een veelvoud van redenen veel minder belangrijk vinden dan bijvoorbeeld de aanleg van goede wegen of bruggen. Maar omdat het Nederlandse publiek en de Nederlandse missie, en de hele internationale missie, meisjesonderwijs een van de allerbelangrijkste zaken vinden publiceren we dit getal prominent in het rapport. 

Ik wil alleen maar zeggen dat dataverzameling en data-analyse geen kwestie is van gewoon het veld ingaan en registreren wat je ziet, maar dat er doorlopend afwegingen gemaakt moeten worden over wat je wil en kunt registreren binnen de kaders van de praktische mogelijkheden, je verwachtingen van het veld en de opdracht."

Kun je daar een voorbeeld van geven?

"We hebben bijvoorbeeld staatjes gemaakt over hoe de verdeling tussen pro-government en pro-taliban was in de regio. En hoe dat ten tijde van de Nederlanders is veranderd. Er zijn daar percentages aan gegeven en dat waren inschattingen gebaseerd op een tweedeling waarbij je je kunt afvragen wat daarvan het effect is. Wij als organisatie weten misschien wel hoe genuanceerd de relaties liggen en hoe veel van de conflicten lokale kwesties zijn. Maar die nuance is soms niet makkelijk te communiceren noch te staven met heel concrete getallen of verhalen. En dan kiezen we er maar voor om die tweedeling van taliban versus overheid aan te houden. En dat heeft weer bepaalde effecten op mensen die geen enkele voorkennis hebben of zorgvuldigheid met betrekking tot beeldvorming willen betrachten. Het is niet eenvoudig om een balans te vinden tussen heterogene data en een relatief coherent verhaal."

Zijn er stemmen in het rapport die weinig gehoord worden?

"Of het rapport representatief is op basis van statistische principes vind ik niet zo interessant, het zou wel interessant als dat rapport in Pashtu (red. de lokale taal) zou zijn vertaald."

Wat zou het gevolg zijn?

"Discussie. We hadden kunnen zeggen: dit was dan onze inschatting, wat denken jullie? En dan had je met mensen om de tafel kunnen zitten. Dat idee is ooit geopperd maar nooit uitgevoerd. Alle Afghanen die aan het woord zijn gelaten zijn geanonimiseerd, volgens de gebruikelijke onderzoeksprotocollen, maar daarmee is hun authenticiteit of herkenbaarheid, en daarmee ook de urgentie van hun verhaal, ook minder geworden."

Wat hadden we daardoor begrepen, dat we nu niet begrijpen?

"Dat de evaluatiekennis maar beperkte doelen kan dienen. Als we denken dat evaluaties in Afghanistan een volledige representatie van de werkelijkheid kan bieden dan zitten we ernaast. Gesprekken met real live Afghanen, niet die archetypische figuren die het nieuws bevolken, kunnen dat laten zien. Evaluatierapporten zijn niet anders dan missies, ook al doe je nog zo je best, je kunt de rommeligheid van de werkelijkheid nooit uitsluiten."

Als dat rapport in het Pashtu was vertaald, hadden we een discussie kunnen voeren. We hadden kunnen zeggen: ‘Dit was dan onze inschatting, wat denken jullie?’ Dat is nooit gebeurd.
— Oud-onderzoeker The Liaison Office (TLO)

WIe was de opdrachtgever?

"De ambassade."

Accepteerden ze jullie eerste versie?

"Ja, ze vonden het een mooi rapport. Maar ze vonden wel dat bepaalde tonen, bepaalde conclusies, die erin stonden niet altijd gebaseerd waren op de juiste inzichten. Daar waar wij vonden dat het glas halfleeg was, vonden zij het glas halfvol. 

Op basis daarvan hebben we gedacht, hoe zit dit nu? We hebben ons nog op onze ethiek aangevallen gevoeld maar hebben vervolgens die passages bekeken en op de een of andere manier zo herschreven dat ze wat ons betreft nog steeds recht deden aan de werkelijkheid, maar dat ze ook op de een of andere manier iets dichter bij het verhaal van de ambassade kwam. 

Daar waar wij schreven: ‘Nu de Nederlanders weggaan staat Uruzgan op springen’ of iets in die trant, wilden zij niet die conclusies trekken. Het grootste verschil is geworden dat Nederland in de laatste versie van het rapport meer als een alwetende actor naar voren kwam, alsof de missie vaak goed voorbereid en in controle was geweest. Natuurlijk waren er ook dingen mislukt, maar dan altijd wel alsof het een berekende casualty was, of te verwachten gezien de moeilijke omstandigheden in Uruzgan. Het leek niet alsof Nederland in sommige opzichten achter de feiten aan had gelopen. Zonder voor ons gevoel af te doen aan onze eigen inzichten hebben we een balans gezocht tussen onze interpretatie en hun interpretatie. Daarmee hebben we niet ineens een heel positief verhaal of iets dergelijks geschreven, maar we hebben wel hun kanttekeningen serieus genomen."

Waardoor het gemakkelijker kon worden uitgelegd aan het parlement en de bevolking? Dat was het belang wat erachter zat bij de ambassade?

"Nou ja, de ambassade was niet gebaat bij heel veel aandacht voor de missie denk ik. Afgezien daarvan bestond er een algemene Uruzgan-moeheid in Nederland. Dus daar waar Buitenlandse Zaken niet wilde dat hier politiek gedoe over zou ontstaan zat de Nederlandse media, het Nederlandse publiek, ook niet echt op dit verhaal te wachten."

Het grootste verschil is geworden dat Nederland in de laatste versie van het rapport meer als een alwetende actor naar voren kwam, alsof de missie vaak goed voorbereid en in controle was geweest.

Wat zou er zijn gebeurd als jullie niet waren meegegaan in de suggesties van de ambassade?

"Geen enkel verschil. Het rapport is namelijk nauwelijks opgepikt. Er waren maar weinig journalisten op de persconferentie en het verhaal nauwelijks aan bod gekomen in de media. Ik denk dat een super positief of negatief verhaal praktisch gezien dus geen verschil zou hebben gemaakt. Dat is een belangrijke boodschap. Ook al heb je inhoudelijk nog zo’n belangrijk verhaal, je hebt wel aandacht nodig anders wordt die niet verspreid.

Inhoudelijk gezien moesten we na de versie gedeeld te hebben sowieso nog aan de slag met het rapport. Het was namelijk nog veel te technisch en daardoor niet meteen geschikt als communicatiemiddel."

Had de ambassade het geaccepteerd als je het niet verder zou willen aanpassen? Hoe was die verhouding tussen uitvoerder en onderzoeker?

"Wij waren aangeslagen omdat de kritiek leek te suggereren dat wij geen onderzoeksethiek zouden hebben. Alsof wij niet met veel zorgvuldigheid naar Uruzgan waren gegaan en daar allerlei ideeën en meningen hadden geregistreerd en in het rapport hadden gezet. Zij leken te suggereren dat wij ons werk niet goed hadden gedaan."

Wat gaven ze dan terug?

"Dat wij bepaalde statements wel heel makkelijk hadden opgeschreven. Als een soort sweeping statements die heel gemakkelijk concludeerden dat de toekomst van Uruzgan ongewis was. Daarvan dachten we nou, dat weerspiegelt niet hoe wij ons werk hebben gedaan. Voor ons was deze interactie een onderhandeling over hoe wij het best de werkelijkheid van Uruzgan konden opschrijven. Daarmee erkenden we hen als een belangrijke informant in het geheel."

Dat snap ik, maar dat moet je dan toch onafhankelijk als onderzoekers doen?

"Dat hebben we ook gedaan. Het is niet zo dat we met hen aan tafel die tekst hebben herschreven. Wij hebben hun statements voor kennisgeving aangenomen en we hebben die tekst aangepakt. We hebben de inleiding en verschillende delen helemaal anders opgeschreven, om een beter verloop van het verhaal te krijgen. De eerste versie was gewoon technisch. Daarna was er een betere tekst."

Op advies van de opdrachtgever. Dat neem je dan mee?

"Ja. Maar waar jij deze interactie ziet als bewijs van manipulatie waarbij de integriteit van de onderzoeker en de ambassade op het spel staat, probeer ik je te vertellen dat die vraag misschien wel legitiem is, maar dat wij met een ander probleem zaten: hoe maken we een goede tekst die recht doet aan onze inschattingen van de staat van Uruzgan en tegelijkertijd tot een publiek van leken spreekt?"

Jullie zijn betaald door de ambassade om dit te doen. Noem je het toch onafhankelijk?

"Ja, onze organisatie werd door iedereen betaald. We hadden een hele lijst aan opdrachtgevers en daar zijn veel ambassades bij."

Maakt dat ze niet minder onafhankelijk?

"Daar maak ik mezelf geen zorgen om. Wat zit er achter die vraag? Ik kan me bijvoorbeeld ook afvragen of jouw interesse in dit verhaal integer is, aangezien jij betaald wordt vanuit een journalistieke logica waarin een verhaal met een scoop of een scherp randje beter verkoopt dan een nietsig verhaal."

Evaluatierapporten zijn net als missies: al doe je nog zo je best, de rommeligheid van de werkelijkheid kun je nooit uitsluiten.

Ik vraag het vanwege de opmerking van een NGO-medewerker. Hij vroeg zich af of TLO in staat is onafhankelijk te evalueren, want ze zitten te dicht bij de ambassade. Ze zijn ‘heel close’ was het woord hij gebruikte. 

"Ik vind het lastig om dat te zeggen. Kijk, de organisatie heeft zich zorgen gemaakt om wat de Nederlanders er van vonden. Dat was inderdaad een issue. Dat moest wel opgelost worden, maar om dan te zeggen dat ze afhankelijk waren, alleen omdat ze op bepaalde fronten de mening van de Nederlanders hebben aangetrokken… Maar goed, het is niet zo dat ik vind dat TLO en de Nederlanders alleen maar het belang van de waarheid verdedigden ofzo. Helemaal niet. Voor de persconferentie werd bijvoorbeeld een briefing gehouden met de presentatoren van onze organisatie. Er werd hen verteld: ‘Jongens, wat er ook gebeurt, je moet het verhaal ophouden dat jullie een onafhankelijke organisatie zijn. Op het moment dat mensen jou gaan vragen of jullie hebben moeten schaven aan het rapport omdat de Nederlanders dat wilden, moet je nee zeggen. Omdat jullie onafhankelijkheid belangrijk is.’ Dit is waarschijnlijk omdat de persconferentie een accountability-moment was dat Buitenlandse Zaken zonder gedoe wilde laten passeren. 

En dat hebben de presentatoren toen ook heel braaf gezegd. En het is niet zo dat Nederland en TLO niet gewoon bezig zijn geweest met het managen van hun imago. En hun bredere context. Dat is natuurlijk het geval. En dat is niet zo gek als je weet dat de journalistiek een zorgvuldig opgesteld verhaal weer helemaal uit z’n verband kan trekken omdat een verhaal met een randje nou eenmaal beter scoort dan oeverloze nuance. 

Afhankelijkheid en onafhankelijkheid zijn ingewikkelde begrippen hoor. Onze organisatie, en de ambassade, en de ontwikkelingsindustrie, en de security industrie: als je iets wil in Afghanistan dan ontkom je elkaar niet en dat beïnvloedt hoe dan ook hoe wij Afghanistan kennen."

Hoe zou je de invloed dan beschrijven? 

"We hebben onderzoek op basis van hun vragen uitgevoerd. Ik bedoel, daar begint de invloed al. Ze geven een opdracht: wij willen dat je onderzoek doet naar onderwijs, health care, dat soort thema’s en hoe dat dan zit in Uruzgan. We hebben dat gedaan voor ze. We hebben een verhaal opgeschreven, dat in een rapport gezet. Een aantal drafts intern eraan gewijd, op een gegeven moment was de draft zo goed als compleet, dat is toen doorgestuurd naar de Nederlanders. Die hebben daar met een aantal mensen naar gekeken, daar commentaar op gegeven, wij hebben dat verhaal afgemaakt.

Het is niet zo gek om hen om hun mening te vragen, omdat zij speler zijn in dat veld. Als dat vervolgens betekent dat wij letterlijk en klakkeloos overnemen wat zij zeggen, dan wordt het een ander verhaal. Zo was het niet."

Maar ze vonden het wel nodig om bij de persconferentie vooraf een briefing te geven. Waarom was dat?

"Nou, jij bent journalist, waarom denk je dat dat nodig is?"

Ik kijk vooral naar de rol van dat rapport als een noodzakelijk argument in een politieke verantwoording. Het gaat naar de kamer, krijgt er heel veel status als onderdeel van de eindevaluatie, en uiteindelijk gaat er een handtekening onder van de Tweede Kamer: ‘we hebben het redelijk gedaan in Uruzgan’. Je bent heel snel een middel dat je niet wilt zijn als onafhankelijk onderzoeksbureau.

"Ja, in dat proces van accountability."

Vind je dat er in die accountability-lijn recht wordt gedaan aan de data en de status van die data in het rapport?

"Als je bedoelt of iemand interesse had in het rapport, dan nee. Bovendien, het rapport moest iets bewerkstelligen in de relatie tussen de Nederlandse overheid en het Nederlandse publiek. De Nederlandse overheid heeft  zich nooit hoeven  verantwoorden aan de NAVO of aan de Afghaanse overheid of aan de mensen in Uruzgan.

Als je bedoelt of het rapport zijn werk gedaan heeft op politiek niveau, dan ja, ironische genoeg wel. Noch het Nederlandse publiek noch de Nederlandse overheid kon het op dat moment een bal schelen wat er in Uruzgan gebeurd was – als we er maar gauw weg zouden zijn en als we er op politiek niveau maar snel vanaf waren. En dat gebrek aan interesse kwam politiek gezien waarschijnlijk goed uit."

Onze organisatie, en de ambassade, en de ontwikkelingsindustrie, en de security industrie: als je iets wil in Afghanistan dan ontkom je elkaar niet en dat beïnvloedt hoe dan ook hoe wij Afghanistan kennen.

Tijdens de presentatie was iedereen meer met Wilders bezig? Met wat voor idee keek je daar naar? Was je er bij?

"Nou, ik weet dat zij met z’n allen wel uitkeken naar dat moment. Dat wil zeggen, zowel Buitenlandse Zaken als mijn directeuren en ik. We dachten, dat is wel een mooi onderzoek geweest, is een mooi rapport geworden, er staat veel in. Het was toch ook voor Buitenlandse zaken, een pop geweest die mooi was aangekleed om in de etalage te zetten. Het was natuurlijk wel zo dat die pop onderdeel was van een speelterrein waar allerlei andere kinderen die pop misschien uit elkaar wilde trekken, maar, die pop die was wel heel mooi. Die pop-metafoor kwam overigens van een medewerker van Buitenlandse Zaken.

Het was heel jammer dat niemand iets deed met dat verhaal. Bette Dam deed iets voor de WereldOmroep en Peter ter Velde heeft een van de directeuren gesproken voor Radio 1. En voor de rest is het niet op TV geweest, niet in de kranten. Wel een beetje op websites overgenomen, maar dan alleen het persbericht. Dat was echt heel verdrietig. Zo’n belangrijke missie. Niet alleen dat dat onderzoek best wel gaaf was geweest, met data waar je van alles van kon vinden. Het zou zo leuk zijn geweest als er echt een debat was geweest over wat deze kennis nu precies voorstelde. Maar dat kwam er niet. Afgezien van het feit dat we het onderzoek graag hadden gedeeld met een grote groep mensen ging dit onderzoek ook over die missie waar we al die soldaten hun leven voor hadden verloren. En waar al die mensen in Uruzgan een beter leven door hadden gekregen - of niet. En niemand die zich daar ook maar een halve seconde om bekommerde. In plaats daarvan waren we bezig met Geert WIlders en de CDA coalitie. En dat is wel cynisch.

Wat ik nu wel interessant vind is dat er nu ineens hernieuwde interesse voor Afghanistan is. Waar komt dat ineens vandaan denk jij?"

Ik denk simpelweg omdat het een aantal jaar geleden is. Naarmate het verder achter ons ligt, wordt terugkijken eenvoudiger. We hebben meer afstand. Er zitten nieuwe mensen aan de knoppen. En 10 jaar is een mooi haakje. 

"Misschien is dat wel een goede manier van nadenken over evaluaties. Dat evaluaties niet afhangen van een moment. In 2010 hadden we het eindevaluatierapport, en nu zes jaar laten stellen we de vraag opnieuw: wat is er gebeurd in Uruzgan? Wat betekent dat? Wat hebben ervan geleerd? 

Dat kan nog wel een paar keer gebeuren. Rekenschap afleggen kost tijd, en de vraag of 'we het goed hebben gedaan' moet keer op keer weer gesteld worden. Het zou heel mooi zijn als je accountability op een andere manier zou kunnen inrichten. Niet die focus op of dat rapport nu wel of niet onafhankelijk is. Daarmee houd je een idee van  verantwoordelijkheid in stand die in geen verhouding staat tot hoe de missie en onze kennis van Afghanistan tot stand komen. Politieke verantwoording zoals we dat nu kennen, zeker zoals dat gemedieerd wordt door de journalistiek, is misschien niet in alle gevallen zinvol of nuttig."

Is dat zo, heeft hier niemand wat aan gehad?

"Vind je van wel?"

Nou ja, de politici hebben er wel wat aan gehad.

"Je bedoelt dat er geen koppen zijn gerold. Ja."

Heeft zo’n rapport nog een andere functie dan verantwoording?

"Toen dit rapport geschreven was, zijn er een paar dagen vol meetings georganiseerd om de presentatoren van het rapport de kans te geven een en ander toe te lichten. Toen zijn ze naar ambassades gegaan, naar defensie, naar het parlement, naar verschillende formele en informele diners, rondetafel gesprekken. Allemaal momenten waarop geïnteresseerde mensen vragen konden stellen: wat weten we? Wat kunnen we leren? Tegen de achtergrond van de publicatie van het evaluatierapport is dat gebeurd wat maar aangeeft dat hoewel dat rapport redelijk dichtgetimmerd was, de kennis waarop die gebaseerd is wel zijn weg heeft gevonden naar mensen die daar behoefte aan hadden en daar iets mee hebben kunnen doen."

Het zou heel mooi zijn als je accountability op een andere manier zou kunnen inrichten. Politieke verantwoording zoals we dat nu kennen, zeker zoals dat gemedieerd wordt door de journalistiek, is misschien niet in alle gevallen zinvol of nuttig.

Wat zou er in de toekomst qua evaluatie anders moeten?

"Een evaluatie zou een manier moeten vinden om recht te doen aan de verschillende meningen die bestaan over wat een missie geslaagd of gefaald maakt. Het 'probleem van Uruzgan' of 'het probleem van Mali' wordt echt niet door iedereen hetzelfde begrepen. Een saffraanboer, een lokale NGO, een Nederlandse soldaat, een beleidsmedewerker in Den Haag, een moeder van twee kinderen in Brabant: iedereen heeft andere verwachtingen van het probleem en de oplossing. Al die verschillende mensen willen graag het goede doen, en denken dat ze het goede doen, en toch gaat het mis. En dat ligt wellicht besloten in de manier waarop die mensen met elkaar communiceren, maar ook in de manier waarop we zelf over succes, falen en de verantwoordelijkheid daarvoor denken."

Je voelde je in je ethiek aangevallen. Is er een onafhankelijk monitor die daarin meekijkt?

"Nee. Kom daar maar eens om in Afghanistan. Er valt wel wat voor te zeggen hoor. Maar het geeft een beetje een verkeerd idee van hoe onderzoek werkt in de praktijk. Als je een auditer inschakelt dan impliceert het een beetje alsof onderzoeksprotocollen een vanzelfsprekendheid bieden. Alsof je data als appels van de bomen in Uruzgan kunt plukken, kunt verwerken in een appeltaart en die voor kunt schotelen aan het ministerie. Het is ingewikkelder. Het is leuk als er een auditer mee zou gaan, maar meer omdat het altijd beter en leuker is als er twee mensen in plaats van een zich over een probleem buigen."

Je werkt in een moeilijk te begrijpen omgeving, maar je wordt wel geacht er iets begrijpelijks van te maken. 

"Ja. Terwijl de input heel veelzijdig is, moet er wel een helder rapport op tafel komen. Er zijn allemaal mensen die daar aan meeschrijven. Of dat nu daadwerkelijk schrijvers zijn, of dat ze moeten ondertekenen, of zich moeten bezighouden met de vorm of de inhoud van de kaarten. Er zijn allerlei mensen die op dat inputniveau meedoen. Je moet ook een bepaald format hanteren. Een rapport heeft een soort bulletpoint-achtige mentaliteit met veel key dit en key dat, en veel cijfers en tabellen. En dan is er nog de data zelf die je verzamelt door naar Afghanistan te gaan en te spreken met schoolleraren, met saffraanboeren en met handelaars. Die mensen vertellen geen eenduidige verhalen maar dragen allemaal onduidelijke puzzelstukjes aan. Deze chaos moet vertaald worden in een rapport. En dat is heel veel klussen, een workflow en een rode lijn vinden in die chaos. Dat is de realiteit van het evalueren:  super rommelig."

Hoe tast die rommeligheid data aan?

"Die data ís die rommeligheid."