Wat is monitoren en evalueren?
- Waarom zou ik tijd besteden aan het monitoren en evalueren van de inzet van buurtsportcoaches, terwijl zij gewoon goed hun werk doen?
Redenen om aan monitoring en evaluatie te doen zijn afhankelijk van de situatie. De belangrijkste en/of meest voorkomende redenen zijn:
- Volgen: hoe verloopt de uitvoering van de plannen/doelen?
- Bijsturen: moeten we beleid of uitvoering bijsturen aan de hand van gemonitorde processen/resultaten/effecten?
- Verklaren: welke factoren beïnvloeden proces/resultaten/effecten?
- Verantwoorden: hebben investeringen geleid tot de gewenste resultaten/effecten?
- Financieren: financiën zijn makkelijker te verkrijgen wanneer sponsors/subsidieverstrekkers inzicht hebben in de opbrengsten.
- Borging: draagvlak wordt vergroot wanneer lokale partijen inzicht hebben in de opbrengsten, wat leidt tot toekomstbestendigheid van de activiteiten.
- Wat is het verschil tussen monitoren en evalueren?
Monitoring gaat over het structureel bijhouden van de inzet van middelen, uitgevoerde activiteiten en behaalde prestaties, bijvoorbeeld door of met de inzet van buurtsportcoaches. Het belangrijkste kenmerk van een monitor is dat op gezette tijden data worden verzameld en dat dit doorlopend plaatsvindt.
Evaluatie gaat over het zoeken naar verbanden tussen vooraf geformuleerde doelen en de resultaten uit de monitoring. Het doel van een evaluatie is een tussen- of eindoordeel te vormen over het te voeren beleid of een interventie. Monitoring en evaluatie vullen elkaar aan en bevorderen samen resultaatgericht werken.
Er zijn verschillende soorten evaluatie: een proces- of een effectevaluatie. Een effectevaluatie kijkt kwantitatief of significante verschillen tussen het voor- en eindresultaat aantoonbaar zijn. Een goede effectevaluatie heeft een controlegroep, een vergelijkbare groep die niet heeft deelgenomen aan een interventie/activiteiten, om effect sterker aan te tonen. Een procesevaluatie is meer kwalitatief ingestoken en haalt ervaringen op bij de gebruikers of betrokkenen. Een procesevaluatie beschrijft hoe bepaalde resultaten worden bereikt, zoals de werking en de uitvoering van de activiteiten/werkzaamheden van de buurtsportcoach. Een procesevaluatie kan nuttig zijn om sturing te geven aan beleid, maar kan geen uitspraken doen over het daadwerkelijke effect van beleid/interventie. Meer weten over verschillende niveaus van het meten van effectiviteit? Lees de kwaliteitscriteria voor interventies, die RIVM, NJi, NISB, Trimbos instituut, Vilans, Movisie en NCJ gebruiken om interventies te beoordelen.
- Hoe kan ik zorgen dat monitoren en evalueren minder tijd kost?
Monitoren kost minder werk wanneer vooraf is nagedacht over wat, waar en wanneer welke data bijgehouden moeten worden. Beschrijf dit in het vooraf opgestelde monitoringsplan. Door structureel en consequent data bij te houden, wordt monitoren een vast onderdeel van het werken van de buurtsportcoach. Dit voorkomt dat achteraf veel tijd gestoken wordt in het ophalen van ervaringen die niet tussentijds zijn vastgelegd. Dit betekent wel dat vooraf tijd moet worden geïnvesteerd in het opstellen van de monitoringsagenda, zodat dit tijdens en na het monitoren tijd bespaart (stap 4 van het stappenplan).
Ook evalueren kost minder tijd wanneer een goed evaluatieplan is opgesteld. Omdat in dit plan is nagedacht waarom welke data moeten worden verzameld, is de interpretatie van deze data bij de evaluatie ook makkelijker. Concreet, specifiek en tijdgebonden geformuleerde doelstellingen dragen ook bij aan een minder tijdsintensieve evaluatie (stap 2 van het stappenplan). Met goede doelstellingen is het makkelijker om achteraf de data te vergelijken met de beoogde doelen (zie werkblad vergelijking doelen en resultaten).
Hoe kan ik goed monitoren en evalueren?
- Hoe moet ik beginnen met monitoren en evalueren?
Bijvoorbeeld wanneer de gemeente recentelijk is gestart met de inzet van buurtsportcoaches; beleid sterk heeft gewijzigd; het monitorings- en evaluatiebeleid wil herzien.
Doorloop het hele stappenplan voor het monitoren en evalueren van de inzet van buurtsportcoaches. In acht stappen wordt u meegenomen in het proces van doelen formuleren, gegevens verzamelen, analyseren en bijsturen. Werkbladen zijn bijgesloten bij het stappenplan, om u in dit proces van monitoren en evalueren praktisch te ondersteunen.
- Wij hebben de inzet van buurtsportcoaches nooit structureel gemeten, maar moeten nu plots evalueren. Hoe pakken wij dit aan?
Bedenk dat achteraf evalueren beperkingen met zich meebrengt. Zo is een effectevaluatie niet mogelijk, omdat daarvoor een meting nodig is voorafgaand aan het beleid/de interventie. Wanneer tussentijds wordt verteld dat een evaluatie nodig is, dan kan een procesevaluatie worden uitgevoerd. Is deze mededeling achteraf? Dan is een evaluatie niet meer mogelijk, maar kunt u wel bepaalde zaken monitoren. Zie de uitleg bij tussentijds of achteraf hieronder. Meer weten over verschillende niveaus van het meten van effectiviteit? Lees de kwaliteitscriteria voor interventies, die RIVM, NJi, NISB, Trimbos instituut, Vilans, Movisie en NCJ gebruiken om interventies te beoordelen.
Tussentijds:
Een procesevaluatie haalt ervaringen op bij de gebruikers of betrokkenen. Met een procesevaluatie beschrijft u hoe bepaalde resultaten door buurtsportcoaches zijn bereikt, ingaande om de werking en uitvoering van de activiteiten en werkzaamheden van buurtsportcoaches. Met deze procesevaluatie kan u geen uitspraken doen over de effectiviteit van het beleid, maar kunnen resultaten wel sturing geven aan het beleid en de waardering van gebruikers/betrokkenen ophalen. Zet de opgehaalde informatie af tegen de vooraf gestelde doelen om te bepalen wat de waardering van betrokkenen is over de inzet van de buurtsportcoaches (zie werkblad vergelijking doelen en resultaten). Kijk goed naar de vraag die u met de evaluatie wilt beantwoorden en probeer een concreet antwoord te formuleren. Het is belangrijk om te beoordelen waarom ervaringen wel of niet zijn zoals beoogd. Het antwoord hierop geeft namelijk input om beleid bij te sturen en effectiever of efficiënter te maken. Lees meer over de interpretatie van cijfers in stap 7 van het stappenplan.
Achteraf:
Bedenk wat het doel is of de doelen zijn met de inzet van buurtsportcoaches (zie ook stap 2 van het stappenplan). Verzamel vervolgens relevante registratiedata omtrent deze doelen die doorlopend worden verzameld. Niet alles is relevant om te beoordelen of doelstellingen zijn behaald, verzamel alleen data die relevant zijn voor uw doelstellingen. Deze openbare data kunt u hier inzien, gerangschikt naar onderwerp. Zet alle opgehaalde informatie af tegen de vooraf gestelde doelen om te bepalen wat de inzet van de buurtsportcoaches wellicht heeft opgeleverd (zie werkblad vergelijking doelen en resultaten).
- De doelen voor de inzet van buurtsportcoaches zijn niet duidelijk/concreet geformuleerd. Hoe kan ik deze doelen goed monitoren en evalueren?
Het is van belang om complexe doelen klein, specifiek en tijdgebonden te formuleren (zie stap 2 ‘doelen stellen’ in het stappenplan). Ga gezamenlijk met nauw betrokken partners het gesprek aan om focus te geven aan een doel. Als voorbeeld nemen wij de doelstelling: ‘talentontwikkeling bevorderen bij kinderen’. Stel allereerst definities vast (wat is ‘talentontwikkeling’?; wat houdt ‘bevorderen’ in?) en specificeer de doelgroep (‘kinderen van 4-12 jaar’). Stel vervolgens een tijdsperiode af waarin u een bepaald resultaat wilt zien. We blijven bij ons voorbeeld, de doelstelling is dan: over vier jaar hebben kinderen van 4-12 jaar in gemeente X meer mogelijkheid tot talentontwikkeling, doordat ze met vijf nieuwe soorten sporten en culturele activiteiten op school in aanraking komen.
Deze doelstelling kan nog veel concreter, maar of dit nodig is hangt af van de lokale situatie. Sommige informatie is wellicht nog niet bekend, denk aan de vraag of sommige kinderen minder toegang hebben tot talentontwikkeling dan anderen in gemeente X. Dit moet eerst worden uitgezocht, voordat het specifiek in beleid/uitvoeringsplan kan worden opgenomen.
- Ik heb systematisch bijgehouden wat de buurtsportcoach allemaal doet. Hoe kan ik hier conclusies uit trekken over de effectiviteit?
Wanneer alle gegevens systematisch zijn verzameld, is al een grote stap gezet in het monitoren en evalueren. Bekijk stap 7 ‘gegevens interpreteren’ van het stappenplan om te zien hoe u de gegevens die u hebt verzameld kunt interpreteren. Bedenk wat het doel is geweest van het bijhouden van gegevens. Wat wilt u bereiken met de evaluatie? Bekijk wel of de stappen 1 t/m 6 van het stappenplan goed zijn uitgevoerd voordat u aan stap 7 begint. Wat waren de vooraf geformuleerde doelstellingen? Kunt u aan de hand van monitoringsgegevens bepalen of de doelstellingen zijn behaald?
Voor doelen op effectniveau is een harde relatie tussen inzet van buurtsportcoaches en behaald resultaat vaak moeilijk aan te tonen. Denk aan doelen als: ‘afname van overgewicht met vijf procent bij kinderen van 4-12 jaar in tien jaar’. U kunt niet stellen of een eventuele daling in overgewicht volledig te danken is aan de inzet van buurtsportcoaches. Veel factoren kunnen van invloed zijn op deze daling. Wel mogelijk is het beredeneren of het aannemelijk is dat de inzet van de buurtsportcoaches aan dit resultaat heeft bijgedragen. Zijn bijvoorbeeld meer sportactiviteiten georganiseerd op de basisscholen door de buurtsportcoaches? En blijkt uit het onderzoek dat de kinderen, naast minder overgewicht, ook vaker lid zijn bij een sportvereniging? Dan valt te redeneren dat het aannemelijk is dat de inzet van buurtsportcoaches heeft bijgedragen aan de afname van overgewicht bij kinderen. Denk ook aan de combinatie ‘tellen en vertellen’ en combineer cijfers met verhalen. Peil bijvoorbeeld de ervaringen van deelnemers. Wellicht benoemen deelnemende kinderen dat zij lid zijn geworden van een sportvereniging, omdat hun ouders hier eerder geen geld voor hadden en via Jeugdfonds Sport en Cultuur dit nu wel mogelijk is gemaakt. Dit betekent dat de rol van de buurtsportcoach voor de toename van lidmaatschap bij sportverenigingen kleiner is geweest dan verwacht.
Als de doelen klein, specifiek en tijdgebonden zijn geformuleerd, dan is de evaluatievraag makkelijker te beantwoorden en kunt u stellen of de inzet wel of niet effectief was. Denk aan doelen als: ‘aantal sportactiviteiten op basisscholen in gemeente X gestegen met 10 procent in twee jaar’ of ‘het aandeel 65-plussers met een lichamelijke beperking in activiteit X is binnen twee jaar minimaal 50 procent’. Voor doelen op activiteiten- of prestatieniveau is het vaak wat makkelijker om iets te zeggen over effectiviteit.
Op deze manier kunt u een indicatie geven van de effectiviteit van uw inzet en tevens duiding geven waarom wel of niet een effect is opgetreden. Deze resultaten kunt u gebruiken om beleid en activiteiten aan te scherpen.
8. Hoe ga je om met de nieuwe privacywet en het registreren van deelnemers?
Met de invoering van de AVG (Algemene Verordening Gegevensbescherming) in 2018 mag je niet zomaar persoonsgegevens van iemand noteren zonder toestemming. Een persoonsgegeven is alle informatie over een geïdentificeerde of identificeerbare natuurlijke persoon, dus informatie die direct over iemand gaat of naar deze persoon te herleiden is. In Excel mag je dus niet zonder meer bijhouden bij welke activiteiten bijvoorbeeld ‘Jeroen Smit’ was. Wanneer ‘Jeroen Smit’ hiervoor toestemming geeft, mag dit wel. Vraag dus – indien mogelijk – toestemming als je iets wilt registreren en leg dit op papier of digitaal vast.
Soms is het vragen van toestemming niet mogelijk of lastig. Een oplossing kan zijn om te werken met respondentnummers. Zet niet in Excel dat ‘Jeroen Smit’ aanwezig was, maar respondent 14. In een ander beveiligd document kun jij vervolgens terugvinden dat ‘Jeroen Smit’ respondent 14 is. Wanneer derden jouw registratie willen inzien, dan kunnen ze niet zien dat ‘Jeroen Smit’ regelmatig deelneemt, wel dat respondent 14 vaak aanwezig is.
Houd als leidraad aan dat het registreren van persoonsgegevens een doel moet hebben en dat je deze niet zomaar met derden deelt. Twijfel je of iets wel of niet mag? Het is veiliger om het dan niet te doen. Een gemeente of andere grote organisatie heeft veel te maken met de privacywet en kan je hierover wellicht advies geven. Op de website www.autoriteitpersoonsgegevens.nl staat ook veel informatie over dit onderwerp.
Goede voorbeelden van M&E-beleid
9. Hoe organiseren andere gemeenten hun monitorings- en evaluatiebeleid?
Buurtsportcoaches worden op veel verschillende manieren ingezet, niet vreemd dat ook het monitoren en evalueren door gemeenten op verschillende manieren wordt georganiseerd. Wij hebben twee voorbeelden uitgewerkt van de gemeenten Soest en Enschede. Zelf kunt u ook bijvoorbeeld een gemeente bij u in de buurt of een collega-ambtenaar bij een andere gemeente benaderen om te vragen hoe het daar in zijn werk gaat.
Vindt u dat uw gemeente als goed voorbeeld dient en wilt u deze methodiek graag ter inspiratie aan andere gemeenten aanbieden? Laat het ons weten via w.vanstam@mulierinstituut.nl.
Handzame bronnen & instrumenten voor monitoring en evaluatie
10. Waar kan ik cijfers vinden over mijn gemeente of mijn wijk?
Het Mulier Instituut heeft samen met Kenniscentrum Sport een overzicht gemaakt van openbare databronnen en meetinstrumenten. In dit overzicht staat aangegeven op welk niveau deze data beschikbaar zijn (landelijk, gemeentelijk, buurt/wijk). Deze data zijn gerangschikt naar de zes thema’s van het Nationale Sportakkoord.
Op www.sportenbewegenincijfers.nl van het RIVM is tevens veel data beschikbaar op landelijk-, regionaal-, gemeente- en wijkniveau met betrekking tot de kernindicatoren sport. Op www.waarstaatjegemeente.nl staat veel informatie op gemeenteniveau die vergeleken kan worden met andere gemeenten of landelijke gemiddelden.
11. Hoe kan ik alles wat de buurtsportcoaches doen in mijn gemeente registreren?
Met het Excel-registratieformulier kunnen meerdere buurtsportcoaches data registreren over hun activiteiten, het bereiken van hun doelgroep, of betrokken samenwerkingspartners. Door automatische tellingen en figuren, kunnen registratiedata overzichtelijk over een langere tijd op één plek worden verzameld.
12. Waar vind ik voorbeelden van goede onderzoeksinstrumenten zoals vragenlijsten, interviewvragen of registratietools?
Vragenlijsten voor enquêtes:
- Voor gemeenten (Mulier Instituut)
- Voor betrokken organisaties (Mulier Instituut)
- Voor buurtsportcoaches (Mulier Instituut)
- Voor cultuurcoaches (LKCA, pagina 27-33)
Vragenlijsten voor interviews:
- Voor gemeenten (Mulier Instituut)
- Voor betrokken organisaties (Mulier Instituut)
- Voor buurtsportcoaches (Mulier Instituut)
Instrumenten:
- Excelregistratieformulier voor de werkzaamheden van de buurtsportcoach (Mulier Instituut)
- Excelinstrument voor het inventariseren van ervaren effect (Mulier Instituut)
- De website van Sport en Bewegen in de Buurt. Zij houden in hun overzicht allerlei handige producten en instrumenten bij.
- ‘Zicht op effect’, een overzicht van instrumenten om zelf je aanpak te meten (Movisie).
Andere handige instrumenten:
- Overzicht openbare data en meetinstrumenten, waar staat aangegeven op welk niveau deze data beschikbaar zijn (landelijk, gemeentelijk, buurt/wijk). Deze data zijn gerangschikt naar de zes thema’s van het Nationale Sportakkoord (Mulier Instituut & Kenniscentrum Sport)
- Quickscan buurtsportcoach, waarmee het actieterrein, doel(groepen) en organisatiestructuur van de buurtsportcoach worden bepaald (Expertisecentrum Buurtsport en CATCH-onderzoeksteam, België)
Vragen, voorbeelden, tips?
Heeft u andere vragen? Heeft u een goed voorbeeld/tips die u wilt delen met andere gemeenten? Heeft u werkbladen waar andere gemeenten ook wat aan zouden kunnen hebben? Of wilt u ondersteund worden?
Neem contact op met Wikke van Stam (w.vanstam@mulierinstituut.nl)