Een kleine introductie tot Realistisch evalueren (copy)

Onderzoek

Onderzoek waar de praktijk echt iets aan heeft

Een kleine introductie tot Realistisch evalueren

Realistisch evalueren: het bestaat eigenlijk al een tijdje, maar heeft het sociaal domein nog niet echt bereikt. Dit artikel legt uit wat het inhoudt en waarom zowel beleidsmakers als uitvoerders er vaker om zouden moeten vragen.

DOOR MILOU HAGGENBURG-MOHAMMED

Deel dit verhaal

Realistisch evalueren is onderzoek doen naar de werking van interventies.1 Zoals de founding fathers Pawson en Tilley2 in de jaren ’90 schreven: het doel is om te begrijpen hoe een interventie werkt, en daarmee waarom dat zo is, voor wie en in welke context. Realistisch evalueren onderzoekt dat door het verzamelen en analyseren van (kwalitatieve én kwantitatieve) gegevens over wat in een interventie welke effecten heeft op de deelnemers, en daarmee een bepaald resultaat veroorzaakt – of juist niet. Het gaat dus om het begrijpen van het causale verband tussen de onderdelen van een interventie en de uitkomsten.

Uitleg

Het fundamentele idee is dat mensen altijd mogelijkheden hebben om nieuw gedrag aan te leren en dat ze soms een trigger moeten ervaren om te veranderen. Interventies bevatten onderdelen, zoals oefeningen, aandacht, feedback, et cetera, die zo’n trigger kunnen aanspreken. Met andere woorden, de onderdelen doen iets met een mens; ze roepen gevoelens op van eenzaamheid, enthousiasme, hoop of wanhoop, of waardering. Dat wat de interventie oproept (meestal een gevoel), is wat aanzet tot een verandering. Realistisch evalueren noemt dat het ‘mechanisme’. Of zo’n mechanisme wordt aangesproken, hangt natuurlijk niet alleen van de interventie af. De reactie van een persoon op een interventie is bijvoorbeeld ook afhankelijk van de situatie van de persoon, het moment of de manier waarop de interventie gegeven wordt, of van de organisatie die de interventie geeft. Realistisch evalueren noemt dat de ‘context’. Uiteindelijk bepaalt de context dus of de trigger tot ander gedrag (het mechanisme) daadwerkelijk wordt aangesproken en tot welke uitkomst dat leidt. Dat betekent ook meteen dat de uitkomst niet altijd de gewenste of verwachte uitkomst is, zie ook het voorbeeld3 in het kader. 

Deze manier van kijken maakt het mogelijk om onderzoek te doen in de complexe werkelijkheid waarin de interventies plaatsvinden. Als we bijvoorbeeld denken aan een gemeente die een interventie start voor oudere werkzoekenden, dan hebben honderden factoren invloed op de werking van die interventie: de ouderen zelf, de gemeentelijke organisatie, de samenwerking met andere partijen, de politiek, et cetera. Om te begrijpen hoe iets werkt, zijn deze factoren een belangrijk onderdeel bij de uitleg hoe bepaalde uitkomsten tot stand komen. Niet door uitentreuren alle factoren te benoemen, maar wel door te zoeken naar precies díé aspecten die belangrijk zijn voor de uitkomsten van een interventie. Daarmee doet de evaluatie recht aan de complexiteit van het sociaal domein zonder zich te verliezen in de details.

Een van de opdrachten in de training is het geven van een presentatie, om meer zelfvertrouwen te krijgen bij het spreken in groepen. Twee deelnemers doen die opdracht. De eerste voelt zich goed in de groep (context) en neemt het woord. De deelnemer is trots en blij dat het lukt om zijn verhaal te doen (mechanisme) en zijn zelfvertrouwen groeit (uitkomst). Dan komt de tweede deelnemer. Die voelt zich minder thuis in de groep (context), maar houdt toch een presentatie. In plaats van zijn zelfvertrouwen te vergroten, maakt zijn presentatie de deelnemer bij elke zin onzekerder (mechanisme). Het gevolg: de deelnemer trekt zich terug en haakt uiteindelijk vroegtijdig af (uitkomst).

Methode

Realistisch evalueren valt uiteen in twee methoden. De eerste gebruikt gegevens die in het onderzoek zelf worden verzameld (zogenaamde primaire data); dit noemen ze Realistische evaluatie. De tweede methode heet Realistische review en gebruikt alleen kennis uit bestaande bronnen (zogenaamde secundaire data). Dat lijkt dus meer op een gestructureerde literatuurstudie. Voor beide methoden is de opbouw onderzoek sociaalbestek OKTOBER 2020 21 van het onderzoek hetzelfde. Het begint met het verzamelen van theorieën over de werking van de interventie. Dat zijn de eerste ideeën over: wat in een interventie doet wat met een deelnemer en tot welke uitkomst leidt dat. Dat doet de onderzoeker niet alleen, hij gebruikt er ook een groep stakeholders voor die kennis hebben van de materie. Daarna gaat de onderzoeker data verzamelen. Dat kunnen dus primaire data zijn door gesprekken te voeren, te observeren, cijfers te verzamelen, et cetera. Bij secundaire data gaat het om het gestructureerd verzamelen van (semi)wetenschappelijke artikelen, rapporten, beleidsnotities, opiniestukken en dergelijke. Deze gegevens gebruikt de onderzoeker om de vooraf opgestelde theorieën te ontkrachten, te nuanceren of te weerleggen. Belangrijk daarbij is dat het een zogenaamd iteratief proces is: tijdens het verzamelen van de gegevens kunnen nieuwe theorieën ontstaan, die daarna weer in een nieuwe verzamelronde ontkracht, genuanceerd of weerlegd kunnen worden. Ook in het voortdurende contact met de stakeholders en het bespreken van tussentijdse resultaten komen weer nieuwe inzichten naar voren. Het resultaat van een Realistische evaluatie zijn de verbeterde en meer onderbouwde theorieën over hoe de interventie werkt, voor wie en in welke context.

Realistisch evalueren is geen…

Beloven niet heel veel vormen van onderzoek dat ze inzicht geven in wat werkt voor wie en waarom? Nou ja, dat zeggen ze misschien wel, maar eigenlijk doen ze het niet.

…studie met controlegroep
Veel onderzoekers pleiten voor gecontroleerde en gerandomiseerde studies. Op basis van toeval worden deelnemers aan twee groepen toebedeeld: één groep krijgt de interventie en één groep krijgt niets of de gewone begeleiding. Dan kunnen die voor- en achteraf gemeten worden en omdat die groepen verder gelijk zijn, is het verschil aan het einde van de meting toe te schrijven aan de interventie. Deze manier van onderzoek doen levert zowel praktische als filosofische bezwaren op. Eerst een paar praktische bezwaren (geen uitputtende lijst; daar zou ik een heel tijdschrift mee kunnen vullen). In het sociaal domein lukt het überhaupt vaak niet om een studie met controlegroep te doen, omdat er geen controlegroep gemaakt kan of mag worden, omdat de twee groepen tóch niet gelijk zijn. Nog los van de controlegroep is het natuurlijk altijd mogelijk dat halverwege het onderzoek besloten wordt dat de interventie moet worden aangepast of helemaal stopt, of toch meteen ook voor de controlegroep beschikbaar is. Mocht alles wel een keer meezitten, dan levert zo’n studie maar beperkte informatie op: de meeste interventies zijn effectiever dan niets doen of ‘gewone’ begeleiding, maar ze vormen nooit dé oplossing voor een probleem. Soms zeggen de uitkomsten iets over voor wie de interventie beter werkt (bijvoorbeeld op basis van leeftijd of geslacht), maar dat verklaart nog niets. Als beleidsmaker of uitvoerend professional sta je dan nog steeds met lege handen, want wanneer moet je een interventie dan wel of niet inzetten (zie ook voorbeeld 2 in het kader)?

Dat brengt ons bij het filosofische bezwaar: deze manier van onderzoeken gaat uit van het idee dat als twee gebeurtenissen elkaar opvolgen, er een causaal verband bestaat. Waar meteen uit volgt dat als de gebeurtenissen elkaar niet opvolgen zoals verwacht (iemand vindt geen werk na een interventie) de conclusie is dat er geen verband bestaat tussen de gebeurtenissen. Terwijl dat er natuurlijk wel kan zijn, maar vanwege bepaalde omstandigheden uiteindelijk niet, of later, of anders, tot uiting komt. Daar komt nog bij dat deze manier van onderzoek doen gebaseerd is op de overtuiging dat we alleen met observeerbare feiten iets kunt leren over de werkelijkheid. Je kan een theorie ontwikkelen, maar alleen met testen in de werkelijkheid kan je de theorie bewijzen. Dit is een positivistische manier van denken en die is heel populair. Hij gaat echter voorbij aan alles wat niet meetbaar is, en dat is nogal een hoop (gevoelens van mensen, onverwachte omstandigheden, politiek). De werkelijkheid wordt gereduceerd tot datgene wat te meten valt, waardoor zij eigenlijk helemaal niet meer overeenkomt met de echte, complexe wereld.

…verdiepen met werkzame elementen
Een ander filosofisch uiterste is het idee dat we de werkelijkheid nooit kunnen kennen en onszelf daarom in onderzoek die moeite moeten besparen. Alleen de verhalen en ervaringen van betrokkenen kunnen iets zeggen over de interventie en daarmee kunnen we nooit uitspraken doen over vergelijkbare interventies op andere plekken, met andere deelnemers of op een ander moment. Wie dit uitgangspunt volgt, baseert het onderzoek daarom alleen op kwalitatief verzamelde gegevens zoals interviews, groepsgesprekken en observaties. Niet al het kwalitatieve onderzoek is zo constructivistisch. Veel kwalitatief onderzoek is bedoeld om kwantitatief onderzoek te verrijken en te verdiepen met bijvoorbeeld de werkzame elementen. Realistisch evalueren hecht ook veel belang aan kwalitatieve gegevens, maar heeft vaak een andere insteek dan de meeste kwalitatieve onderzoeken. Nogmaals, Realistisch evalueren gaat over het begrijpen van de werking van interventies: wat doen zij met iemand in welke context en wat is daarvan de uitkomst. Dat gaat dus verder dan werkzame elementen en aanvullen van kwantitatieve bevindingen.

…Theory of Change
Wat op eerste gezicht dicht bij Realistisch evalueren komt, is de Theory of Change (ToC). Dat komt terug in twee aspecten: beide hebben veel aandacht voor de context en de achterliggende theorieën van een interventie.4 Ze verschillen echter ook op twee manieren. Ten eerste kijkt ToC vooral naar wat in de organisatorische context nodig is om verandering te stimuleren. Dus niet, zoals bij Realistisch evalueren, hoe de context inwerkt op de interventie, maar voornamelijk hoe de context de juiste implementatie in de weg kan zitten. Ten tweede sluit ToC qua filosofie aan bij de studies met een controlegroep: door de context in twee groepen hetzelfde te houden, kan je met het bestuderen van de effecten van een interventie zeggen dat de interventie het gevonden verschil veroorzaakt. Maar precies dát is waar Realistisch evalueren zich tegen afzet, want daarbij gaat men juist op zoek naar wat de interventie al dan niet doet met mensen en wat voor resultaten zij veroorzaakt.

Praktisch

Na al deze methodologische en filosofische bespiegelingen nu een praktisch voorbeeld van Realistisch evalueren. Twee teams van de gemeente Amsterdam zochten naar wetenschappelijke aanscherping van hun werkwijze om jongeren met een arbeidsbeperking naar werk te begeleiden.5 Ze wilden dus iets met onderzoek, maar vooral door gebruik te maken van de bestaande kennis. Daarnaast wilden ze niet dat de uitvoerende professionals te veel belast zouden worden met onderzoek. De conclusie was gemakkelijk: ik stelde een Realistische review voor. Om het onderzoek behapbaar te houden, heb ik samen met een aantal mensen in het team de drie belangrijkste uitgangspunten van de werkwijze expliciet gemaakt en onderzocht met literatuur. Hier zal ik de resultaten van het onderzoek naar één van die uitgangspunten beschrijven, namelijk: jongeren met een beperking kunnen het beste direct worden toe geleid naar betaald regulier werk, en beter niet naar vrijwilligers- of beschut, niet-regulier werk. In hoeverre zorgt de wetenschappelijke literatuur voor aanscherping, verdieping of misschien wel weerlegging van dit uitgangspunt? Het antwoord, uit bijna tachtig wetenschappelijke artikelen samengevat, luidt: elke werkplek, of het nou regulier of niet regulier werk betreft, kan een positieve uitkomst hebben. Dat zit als volgt. Als een jongere een plek heeft om aan werk gerelateerde vaardigheden op te doen (context) en daarin begeleid wordt om met positieve en negatieve ervaringen om te gaan (ook context), ontwikkelt de jongere vaardigheden die nodig zijn om werk vol te houden (mechanisme) waardoor de kans groter is dat zij/hij een betaalde baan vindt of de baan duurzaam kan behouden (uitkomst). Om te benadrukken: het gaat dus niet zozeer om de vorm van de baan (regulier of niet-regulier), maar wat de jongere daar doet en wat er van hem/haar verwacht wordt. Als dat aan werk gerelateerde vaardigheden zijn, dan kan de jongere zich met de juiste begeleiding die vaardigheden eigen maken. Door die vaardigheden is de jongere beter in staat om werk vol te houden en daarmee aantrekkelijker voor een werkgever.

Uit een studie met controlegroep blijkt dat de interventie leidt tot een iets hogere uitstroom (20% versus 30%). De analyse laat zien dat voor mensen boven de 55 jaar de online sollicitatietrainingen minder effectief zijn. Maar wat zegt dat precies? Moet een uitvoerend professional de training niet aanbieden aan mensen boven de 55? Pas als je probeert te achterhalen waaróm dat zo is, wordt het resultaat bruikbaar in de praktijk. In dit voorbeeld gaat het helemaal niet over de leeftijd, maar om de digitale vaardigheden. Een online sollicitatietraining is minder effectief voor mensen met slechte digitale vaardigheden, en laten nou net mensen boven de 55 jaar vaker weinig digitaal vaardig zijn. Als je dit weet, kan je het echte probleem aanpakken. En heb je ook meteen oog voor jongeren die minder digitale vaardigheden hebben.

Realistisch evalueren gaat over het begrijpen van de werking van interventies

Waardevol

De review laat echter ook zien dat het plaatsen op een vrijwillige of beschutte werkplek ongewenste uitkomsten kan hebben. Als een jongere op een niet-reguliere werkplek zit met een goede sfeer, en het werk goed aansluit bij het niveau van de jongere (allebei context), dan zorgt dat ervoor dat de jongere zich prettig voelt op de plek, weinig motivatie heeft voor ander werk en überhaupt geen tijd heeft om te zoeken naar regulier werk ( mechanismen). Uiteindelijk leidt dit ertoe dat de jongere blijft op de niet-reguliere werkplek, maar wel een waardevolle dagbesteding heeft (uitkomsten). Dan zijn er ook nog de jongeren die op een niet-reguliere werkplek geplaatst worden, maar daar onder hun niveau werken (context). Zij zullen eerder gedemotiveerd raken voor het werk en voor de begeleiding die hun geboden wordt (mechanisme). Daar komt bij dat zij door hun dagbesteding weinig tijd overhouden om te zoeken naar beter passend, mogelijk regulier werk (mechanisme). Dat leidt ertoe dat deze jongeren weinig initiatief meer tonen in het zoeken naar werk, mogelijk uitvallen van de niet-reguliere werkplek en de relatie met de begeleider geschaad raakt (uitkomsten). De resultaten van dit onderzoek geven dus verschillende handvatten voor mensen die jongeren met een beperking naar werk begeleiden. Bijvoorbeeld: probeer werk te vinden op het niveau van de jongere, begeleid een jongere ook óp de werkplek om van positieve en negatieve ervaringen leermomenten te maken, en: als een jongere nog werkervaring moet opdoen, maakt het niet uit of het vrijwillig, beschut of betaald werk is. Voor beleidsmakers zijn de resultaten ook nuttig; als het doel zo min mogelijk bijstand is, dan werkt het waarschijnlijk beter om in te zetten op regulier werk in plaats van beschut werk mogelijk te maken. Als waardevolle dagbesteding een doel is, dan kan beschut en vrijwillig werk juist een heel goede vorm van arbeid zijn voor sommige jongeren met een beperking, vooral voor degenen voor wie het werk op het juiste niveau zit.

Realistische evaluatie geeft handvatten om te beslissen een interventie wel of niet in te zetten voor specifieke doelgroepen of klanten

Nuancering

Om samen te vatten: Realistisch evalueren onderzoekt de werking van interventies door met kwalitatieve en kwantitatieve gegevens te ontdekken wat in de interventie wat doet met de deelnemers en tot welke uitkomsten dat leidt. Daarmee verschilt het sterk van gangbaarder onderzoeksmethoden, die vooral kijken óf een interventie werkt, zonder daadwerkelijk te begrijpen hoe zij werkt. Met een Realistische evaluatie kan de praktijk meer handvatten krijgen om beslissingen te nemen om een interventie wel of niet in te zetten voor specifieke doelgroepen of klanten. Maar hier aan het eind van mijn betoog ga ik mijn eigen stelligheid toch wat nuanceren. Natuurlijk zitten er ook aan Realistisch evalueren nadelen. Het is lastig om echt goed te begrijpen, de definities van de terminologie zijn (nog steeds) aan discussie onderhevig en het vergt veel (nieuwe) vaardigheden van een onderzoeker om een goede Realistische evaluatie uit te voeren. En, nog belangrijker, ik ben van mening dat bijna al het onderzoek een meerwaarde heeft, ook studies met een controlegroep of studies naar alleen de verhalen van deelnemers. Onderzoek levert op zijn minst leerervaringen binnen de organisatie waar het onderzoek wordt gedaan, en mogelijk ook daarbuiten, als het onderzoek methodologisch goed in elkaar zit. Dat is op zich al nuttig. Het is afhankelijk van de vraag en de beschikbare gegevens welke methode het bruikbaarst is. Ik hoop dat mijn betoog er vooral toe leidt dat we vaker de vraag krijgen: hoe werkt die interventie eigenlijk, en voor wie, in welke context en vooral: waarom?

1 Lees: methode/beleid/instrument

2 Pawson & Tilley, 1997. Realistic Evaluation. SAGE Publications Ltd

3 De voorbeelden in dit artikelen zijn fictief en dus niet gebaseerd op bestaand onderzoek of bestaande interventies.

4 Blamey & Mackenzie. (2007). ‘Theories of Change and Realistic Evaluation. Peas in a Pod or Apples and Oranges?’ in: Evaluation 13. 439-455. 10.1177/1356389007082129.

5 Het onderzoek is gepubliceerd in Met andere ogen. Onderzoekers over 5 jaar Participatiewet, onder redactie van Hans Bosselaar.


    Warning: Undefined array key -1 in /var/hpwsites/u_twindigital_html/website/html/webroot/sociaalbestekpremium.nl/wp-content/plugins/diziner-core/lib/TwinDigital/Diziner/Core/Post.php on line 955
  • Een kleine introductie tot Realistisch evalueren (copy)

    Vorige artikel

    Warning: Undefined array key 0 in /var/hpwsites/u_twindigital_html/website/html/webroot/sociaalbestekpremium.nl/wp-content/plugins/diziner-core/lib/TwinDigital/Diziner/Core/Post.php on line 918
  • Een kleine introductie tot Realistisch evalueren (copy)

    Volgende artikel

Sociaal Bestek is een uitgave van Virtùmedia.

Redactie

Yvet Bommeljé, voorzitter redactie
János Betkó, lid
Nora Kasmi, lid
Codrik van de Wetering, lid
Tea Keijl, eindredacteur
Maaike Gunsing, webredacteur
Email

Klantenservice

Virtumedia
Postbus 595
3700 AN Zeist
+31 (0) 85 040 74 00
Email