Onderzoek naar het opschalen van onderwijsinnovaties
Interventies die op kleine schaal veelbelovende resultaten opleveren als het gaat om innovaties, verliezen vaak een deel van hun effect zodra ze op grotere schaal worden ingevoerd. Dat patroon wordt het “scale-up-effect” genoemd. Rosanna Lea heeft met collega’s 79 studies naar opgeschaalde onderwijsinterventies onderzocht op de concrete kenmerken die bij de uitvoering worden ingezet.
De auteurs, verbonden aan de Education Endowment Foundation (EEF) en de Universiteit van Oxford, constateren dat bestaande literatuur over “scale-up” vooral theoretisch van aard is. Kaders van onder meer Coburn en Glennan en collega’s beschrijven wat scale-up zou moeten opleveren -denk aan uitgebreide verandering, duurzaamheid en eigenaarschap- maar geven weinig zicht op wat “scale-up” in de praktijk daadwerkelijk inhoudt. Scale-up wordt gedefinieerd als het uitbreiden van een interventie van een klein aantal contexten naar een groter aantal, waarbij nieuwe implementatie-uitdagingen ontstaan die in de oorspronkelijke setting niet aan de orde waren, zoals kwaliteitsborging, geïmplementeerd conform bedoeling en het overdragen van impliciete kennis aan docenten.
De auteurs hebben een dataset van 55.495 artikelen na screening teruggebracht tot 79 studies (47 peer-reviewed publicaties en 32 EEF-rapporten).
De opgenomen studies zijn vooral uitgevoerd in de Verenigde Staten en het Verenigd Koninkrijk (dat laatste vooral via de 32 EEF-rapporten), met kleinere aantallen studies in onder meer Denemarken, Singapore en Israël. Ze vonden vooral plaats op de basisschool (44), gevolgd door voortgezet onderwijs (26) en de vroege kinderjaren (21); geen enkele studie betrof post-16-onderwijs. ‘Instructors’ waren meestal docenten (61 van de 79); verzorgd door onderwijsassistenten, andere onderwijsprofessionals of onderzoeksteams.
De analyse leverden drie hoofddimensies op: docenttraining, aanpak van de interventie en duurzaamheid van de interventie. Bij docenttraining valt op dat een train-the-trainermodel minder vaak wordt toegepast (28%) dan directe training door onderzoekers of programmaontwikkelaars (66%). Trainingsonderdelen variëren sterk: bijna alle studies (98%) besteedden aandacht aan de kernkenmerken van de interventie, en tussen 57% en 69% van de studies met voldoende detail ging in op onderliggende theorie, demonstraties, of praktische inbedding in de eigen context. Het minst voorkomende onderdeel was de gelegenheid voor docenten om ervaringen te delen (38%).
Bij de aanpak van de interventie veel in alle studies op dat ten minste een deel van de interventie fysiek onderwijs betrof; in 20% van de gevallen kwam daar het gebruik van technologie bij, zoals leertechnologie. Materialen voor docenten werden in 94% van de studies verstrekt, materialen voor lerenden in 70%; materialen om voortgang of implementatiekwaliteit te volgen kwamen in een derde van de studies voor. Menselijke ondersteuning tijdens de uitvoering -coaching, supervisie of begeleiding- was aanwezig in 78% van de studies, ongeveer gelijk verdeeld over persoonlijke ondersteuning en ondersteuning op afstand door een externe partij; ondersteuning vanuit de onderwijsinstelling zelf kwam minder vaak voor.
Duurzaamheidskenmerken kwamen minder vaak voor dan kenmerken van trainingen en kenmerken van de aanpak. Samenwerking tussen docenten werd in een derde van de studies gefaciliteerd, waarbij formele communities of practice zeldzaam waren (5%) en netwerken tussen locaties (19%) of binnen de school (13%) vaker voorkwamen. Activiteiten ten behoeve van het draagvlak van interventies waren aanwezig in 51% van de studies. Voorbeelden zijn: eigenaarschap door ruimte voor aanpassing (16%), betrokkenheid van schoolleiding (23%), motiverende activiteiten (16%) en tastbare of sociale beloningen (16%). Opvallend is dat samenwerking en draagvlakstrategieën zelden voorkwamen zonder dat er al menselijke ondersteuning was; een ondersteuningsstructuur vormt volgens de auteurs kennelijk een voorwaarde voordat andere duurzaamheidsstrategieën worden overwogen.
De verkennende analyses naar verschillen tussen onderwijssettings laten weinig uitgesproken patronen zien. Grotere verschillen ontstaan bij vergelijking naar domein: bij gedragsinterventies besteedde slechts 17% van de professionaliseringstrajecten aandacht aan theorie of demonstraties, tegenover 70% en 83% bij interventies op het gebied van lees- en schrijfvaardigheden. Interventies gericht op rekenen en wiskunde bevatten bijna altijd menselijke ondersteuning (93%) en vaker samenwerkingsmogelijkheden (48%) dan lees- en schrijfvaardigheden (33%), gedrags- (27%) of leefvaardigheden-interventies (7%). Leefvaardigheden- en welzijnsinterventies bevatten juist vaker meerdere motiverende activiteiten (29% tegenover 18% gemiddeld).
De onderzoekers hebben ook gekeken naar effectgrootte: geen effect (29), klein effect (24) en gemiddeld tot groot effect (7); voor 18 studies was een indeling niet mogelijk. De zeven studies met het grootste effect bevatten een breder scala aan trainingsonderdelen dan studies zonder of met een klein effect, terwijl samenwerkings- en communicatiemogelijkheden juist minder vaak voorkwamen bij deze meest effectieve interventies (slechts 1 van de 7) dan bij interventies met een klein of geen effect (24% en 38%). De auteurs benadrukken dat deze bevinding met terughoudendheid moet worden geïnterpreteerd, gezien de kleine en ongelijke aantallen studies per categorie.
De auteurs presenteren een overzicht met kenmerken van interventies niet als bewijs voor de effectiviteit van afzonderlijke kenmerken, maar als een praktisch overzicht van mogelijke strategieën waarmee beleidsmakers en ontwikkelaars bewuster kunnen kiezen welke aanpak voor opschaling ze inzetten. Voor onderzoekers signaleert het rapport behoefte aan studies die systematisch testen welke kenmerken bijdragen aan een invoering die meer in lijn is met het doel van de innovatie, en aan consistentere rapportage van interventiekenmerken in toekomstig onderzoek.
De auteurs benoemen ook zelf enkele beperkingen van hun onderzoek zoals het ontbreken van formele kwaliteitsbeoordeling van de opgenomen studies uitgevoerd. Daardoor is de vergelijkbaarheid van de gerapporteerde effectgroottes beperkt.
Zij concluderen dat het opschalen van innovaties in het onderwijs een complex en contextafhankelijk proces is, dat zich moeilijker laat voorspellen dan implementatie in meer gecontroleerde sectoren. Het overzicht met kenmerken die uit deze mapping review voortkomt, biedt volgens de auteurs vooral een vertrekpunt voor reflectie, ontwerp en hypothesevorming. Het is geen pasklaar recept voor succesvolle opschaling.
Mijn opmerkingen
Jammer dat de onderzoekers alleen studies uit het basis- en voortgezet onderwijs betrokken hebben in hun analyse. Toch vind ik een aantal bevindingen, die overigens vrij ‘hoog over’ zijn geformuleerd, ook relevant voor andere onderwijssectoren en L&D. Ook staan er opvallende bevindingen in, zoals dat docenten relatief weinig onderling ervaringen delen. De bevinding dat samenwerkingsmogelijkheden vaker voorkomen bij interventies met een klein of geen effect dan bij interventies met een groter effect, valt ook op. De auteurs waarschuwen echter terecht voor te snelle conclusies gezien de kleine steekproef. Het zou te makkelijk zijn hieruit af te leiden dat samenwerking niet zou helpen; net zo goed kan het zijn dat scholen pas naar collegiale uitwisseling grijpen wanneer een interventie al moeizaam verloopt.
Verder zie je communities of practices en netwerken weinig worden gebruikt. Dat kan komen doordat docenten zich als autonome professionals beschouwen, maar ook door dichtgetimmerde en volle lesroosters die het praktisch onmogelijk maken om elkaar te ontmoeten. De constatering dat het opschalen van innovaties in het onderwijs een complex en contextafhankelijk proces is, herken ik ook. Interventies kunnen in context A goed uitpakken, maar in context B niet. Dit heeft ook te maken met diverse afhankelijkheden. Is sprake van faciliterend leiderschap, wat is de historie van de onderwijsinstelling als het gaat om innovaties, etcetera.
Professionalisering en praktijknabije ondersteuning zijn naar mijn ervaring ook van groot belang. Het is juist de ondersteuning die m.i. vaak te snel wordt afgebouwd. Als een project is afgerond, is vaak nog geen sprake van een succesvolle ‘opschaling’. Juist dan heb je ondersteuning nodig, terwijl organisaties vaak geneigd zijn die ondersteuning na de projectfase af te bouwen. Ondersteuning -door collega’s- zou ook verder gericht moeten zijn op het integreren van de innovatie in de dagelijkse praktijk.
Hoewel het onderzoek zicht biedt op belangrijke interventies voor het opschalen onderwijsinnovaties, mis ik ook interventies zoals
- Faciliterend leiderschap: inspireren, visiegedreven, voorwaardenscheppend.
- Het diagnostiseren van weerstanden (als bron van informatie) en verandermoeheid, en het formuleren van acties op basis hiervan.
- Het benadrukken van de urgentie, onder meer door het leggen van een relatie van de innovatie met de eigen onderwijsvisie.
- Tijd en ruimte om te experimenteren.
Lees het hele
artikel