Beloven niet heel veel vormen van onderzoek dat ze inzicht geven in wat werkt voor wie en waarom? Nou ja, dat zeggen ze misschien wel, maar eigenlijk doen ze het niet.

…studie met controlegroep
Veel onderzoekers pleiten voor gecontroleerde en gerandomiseerde studies. Op basis van toeval worden deelnemers aan twee groepen toebedeeld: één groep krijgt de interventie en één groep krijgt niets of de gewone begeleiding. Dan kunnen die voor- en achteraf gemeten worden en omdat die groepen verder gelijk zijn, is het verschil aan het einde van de meting toe te schrijven aan de interventie. Deze manier van onderzoek doen levert zowel praktische als filosofische bezwaren op. Eerst een paar praktische bezwaren (geen uitputtende lijst; daar zou ik een heel tijdschrift mee kunnen vullen). In het sociaal domein lukt het überhaupt vaak niet om een studie met controlegroep te doen, omdat er geen controlegroep gemaakt kan of mag worden, omdat de twee groepen tóch niet gelijk zijn. Nog los van de controlegroep is het natuurlijk altijd mogelijk dat halverwege het onderzoek besloten wordt dat de interventie moet worden aangepast of helemaal stopt, of toch meteen ook voor de controlegroep beschikbaar is. Mocht alles wel een keer meezitten, dan levert zo’n studie maar beperkte informatie op: de meeste interventies zijn effectiever dan niets doen of ‘gewone’ begeleiding, maar ze vormen nooit dé oplossing voor een probleem. Soms zeggen de uitkomsten iets over voor wie de interventie beter werkt (bijvoorbeeld op basis van leeftijd of geslacht), maar dat verklaart nog niets. Als beleidsmaker of uitvoerend professional sta je dan nog steeds met lege handen, want wanneer moet je een interventie dan wel of niet inzetten (zie ook voorbeeld 2 in het kader)?

Dat brengt ons bij het filosofische bezwaar: deze manier van onderzoeken gaat uit van het idee dat als twee gebeurtenissen elkaar opvolgen, er een causaal verband bestaat. Waar meteen uit volgt dat als de gebeurtenissen elkaar niet opvolgen zoals verwacht (iemand vindt geen werk na een interventie) de conclusie is dat er geen verband bestaat tussen de gebeurtenissen. Terwijl dat er natuurlijk wel kan zijn, maar vanwege bepaalde omstandigheden uiteindelijk niet, of later, of anders, tot uiting komt. Daar komt nog bij dat deze manier van onderzoek doen gebaseerd is op de overtuiging dat we alleen met observeerbare feiten iets kunt leren over de werkelijkheid. Je kan een theorie ontwikkelen, maar alleen met testen in de werkelijkheid kan je de theorie bewijzen. Dit is een positivistische manier van denken en die is heel populair. Hij gaat echter voorbij aan alles wat niet meetbaar is, en dat is nogal een hoop (gevoelens van mensen, onverwachte omstandigheden, politiek). De werkelijkheid wordt gereduceerd tot datgene wat te meten valt, waardoor zij eigenlijk helemaal niet meer overeenkomt met de echte, complexe wereld.

…verdiepen met werkzame elementen
Een ander filosofisch uiterste is het idee dat we de werkelijkheid nooit kunnen kennen en onszelf daarom in onderzoek die moeite moeten besparen. Alleen de verhalen en ervaringen van betrokkenen kunnen iets zeggen over de interventie en daarmee kunnen we nooit uitspraken doen over vergelijkbare interventies op andere plekken, met andere deelnemers of op een ander moment. Wie dit uitgangspunt volgt, baseert het onderzoek daarom alleen op kwalitatief verzamelde gegevens zoals interviews, groepsgesprekken en observaties. Niet al het kwalitatieve onderzoek is zo constructivistisch. Veel kwalitatief onderzoek is bedoeld om kwantitatief onderzoek te verrijken en te verdiepen met bijvoorbeeld de werkzame elementen. Realistisch evalueren hecht ook veel belang aan kwalitatieve gegevens, maar heeft vaak een andere insteek dan de meeste kwalitatieve onderzoeken. Nogmaals, Realistisch evalueren gaat over het begrijpen van de werking van interventies: wat doen zij met iemand in welke context en wat is daarvan de uitkomst. Dat gaat dus verder dan werkzame elementen en aanvullen van kwantitatieve bevindingen.

…Theory of Change
Wat op eerste gezicht dicht bij Realistisch evalueren komt, is de Theory of Change (ToC). Dat komt terug in twee aspecten: beide hebben veel aandacht voor de context en de achterliggende theorieën van een interventie.4 Ze verschillen echter ook op twee manieren. Ten eerste kijkt ToC vooral naar wat in de organisatorische context nodig is om verandering te stimuleren. Dus niet, zoals bij Realistisch evalueren, hoe de context inwerkt op de interventie, maar voornamelijk hoe de context de juiste implementatie in de weg kan zitten. Ten tweede sluit ToC qua filosofie aan bij de studies met een controlegroep: door de context in twee groepen hetzelfde te houden, kan je met het bestuderen van de effecten van een interventie zeggen dat de interventie het gevonden verschil veroorzaakt. Maar precies dát is waar Realistisch evalueren zich tegen afzet, want daarbij gaat men juist op zoek naar wat de interventie al dan niet doet met mensen en wat voor resultaten zij veroorzaakt.