Impact meten: het hoeft niet moeilijk te zijn

Wanneer is een impactmeting ‘goed’ genoeg?

Om te bepalen hoe groot of gedegen een impactonderzoek moet zijn, is vooral één vraag belangrijk: wanneer is het ‘goed’ genoeg? Organisaties gaan hier regelmatig aan voorbij en schieten al snel in de modus van ‘we gaan álles zo uitgebreid mogelijk meten’. Het resultaat: onnodig complexe impactmetingen die veel tijd kosten en uiteindelijk niet altijd tot bruikbare inzichten leiden. 

Wanneer het dan ‘goed’ genoeg is, hangt af van meerdere factoren. Dit zijn de belangrijkste:

• Wat is het doel van de impactmeting?

Is het doel vooral om te leren en te kunnen bijsturen? 
Maak er dan geen exacte wetenschap van. Bepaal zelf wanneer u voldoende ‘gevoel’ hebt bij de gemaakte impact en wat wel of niet werkt. 

Moet u verantwoording afleggen aan een financier of opdrachtgever? 
Ga dan met hen het gesprek aan over hun verwachtingen. Wanneer is het voor hen goed genoeg? 

Wilt u bewijzen wat uw impact is en daarover grote claims maken? 
Dan is een solide en meer wetenschappelijk onderzoek noodzakelijk. Drie interviews kunnen soms genoeg zijn om van te leren. Het is alleen waarschijnlijk niet voldoende om een ander mee te overtuigen en bieden ze zeker nog geen solide bewijs.

• Wat is de omvang van het te onderzoeken initiatief? 

De omvang van een impactmeting moet in verhouding staan tot wat u onderzoekt. Het optuigen van een grootschalig impactonderzoek voor een project van twee maanden met vijftiendeelnemers is zonde. Houd het in dat geval klein, praktisch en eenvoudig. Aan de andere kant: bij een groot en meerjarig programma is het een gemiste kans als er geen doorlopende impactmonitoring plaatsvindt die past bij de omvang van het programma. Er valt immers veel te leren.

• Welke kennis, middelen en capaciteit zijn beschikbaar? 

Blijf realistisch in wat haalbaar is en hoe hoog u de lat kunt en wilt leggen. Organisaties die al jarenlange ervaring hebben met impact meten en hier ook capaciteit voor hebben, kunnen de lat natuurlijk een stuk hoger leggen. Begint uw organisatie hier net mee, zie het dan als een groeipad en accepteer dat u klein begint. Zorg uiteraard wel dat u altijd transparant bent over wat de resultaten van een impactmeting wel en niet zeggen. 

Figuur 1: Factoren die bepalen hoe gedegen of uitgebreid uw impactmeting moet zijn

Data verzamelen voor een impactmeting

Bij het uitvoeren van een impactmeting ontkomt u er niet aan om ook data te verzamelen. Vaak bij de mensen of organisaties op wie u impact wil hebben. Vooral deze stap kan voelen als een flinke onderneming. En dat klopt: bij grote impactonderzoeken kost dataverzameling (veel) tijd. Ook hier geldt: maak het niet onnodig groot of complex.

Begin bovendien met de gegevens die u al heeft. Dat is vaak meer dan u vooraf denkt, bijvoorbeeld: registraties van deelname aan programma’s, feedbackformulieren, online reviews of zelfs informele gesprekken met deelnemers aan een traject of de bezoekers van uw activiteit. Kortom: tussen de bedrijven door verzamelt u vaak al veel data. Benut deze dus goed en maak van deze data nuttige impactinformatie! Dit doet u als volgt:

1. Geef structuur aan de data
   Data op zichzelf zegt nog weinig. U moet hier nog structuur in aanbrengen anders blijven het ‘losse flodders’ van informatie. Denk bijvoorbeeld aan informele gesprekken die u voert met deelnemers aan een traject. Deze leveren interessante inzichten op, maar hebben weinig waarde als u de uitkomsten niet goed vastlegt.
   
   Structuur geven aan de data betekent hier dus: vastleggen op een manier dat u er iets mee kunt doen. U brengt direct structuur aan als u de data op een gestructureerde manier verzamelt. Plan bijvoorbeeld standaard na iedere bijeenkomst een gesprek met drie deelnemers in, in plaats van adhoc gesprekken te voeren.
   
   
2. Geef betekenis aan de data
   Gestructureerde data is pas écht waardevol als u er betekenis aan geeft. Dit is mensenwerk en kan een analyseprogramma (of chatGPT) niet doen. Het draait hier namelijk allemaal om de vraag: wat zegt het ons eigenlijk en wat vinden we daarvan? Leg de verzamelde data eens naast de doelen die u bijvoorbeeld aan het begin van een programma heeft gesteld.
   
   Welke conclusie kunt u dan trekken? Welke effecten zijn wel gerealiseerd en welke nog niet? Is dat verrassend of hadden we dit al verwacht? En wat kunnen we dan met deze inzichten? Wat gaan jullie nu anders doen? Welke vervolgvragen heeft u? Betekenis geven aan de data betekent dus vooral: (uzelf) veel vragen stellen en kritisch reflecteren.
   
   
3. Zorg voor transparantie over de impactmeting
   Tot slot, en misschien is dit een open deur, het belang van transparantie over de kwaliteit en aard van het impactonderzoek. Deel hoe u de data hebt verzameld, geanalyseerd en hoe dat tot bepaalde conclusies heeft geleid. Deel ook welke haken en ogen het onderzoek volgens u heeft. Deze openheid bouwt vertrouwen op en biedt de mogelijkheid voor feedback en dialoog. Dit betekent ook dat u dingen niet groter moeten maken dan ze zijn. Drie interviews kúnnen heel waardevol zijn, toch bieden ze geen onderbouwing voor grote claims over de gerealiseerde impact. 

Figuur 2: De drie basiselementen van elke (eenvoudige of complexe) impactmeting

Aan de slag met uw impactonderzoek

1. Begin klein
   U hoeft niet alles tegelijk te meten. Begin met één project, programma of activiteit en breid daarna uit. Zie het als een groeipad.
2. Gebruik bestaande data
   Vaak meet u al meer dan u denkt. Denk eens goed na over welke gegevens u (onbewust) al verzamelt zonder dat u dit als ‘impactdata’ bestempelt. Gebruik dit als startpunt.
3. Leer van anderen 
   Kijk hoe soortgelijke organisaties of initiatieven hun impact meten en leer van hun ervaringen. Er gebeurt al enorm veel. Het is zonde om het wiel opnieuw uit te vinden.
4. Ga aan de slag 
   Trap niet in de valkuil van ‘eerst alles perfect willen doordenken’. Praktisch ingestoken impactonderzoek betekent vooral: aan de slag gaan, leren van wat wel en niet werkt en vanuit daar doorgroeien.

Meer weten over impact meten? 

Neem contact met ons op