Evaluer le programme « FasterReading »pour améliorer les stratégies d’apprentissage dans les écoles en Afrique

Pourquoi avoir décidé de travailler ensemble ?

RAN

Rising met un point d’honneur à respecter les normes les plus strictes en matière de rigueur et de transparence, et ce à tous les niveaux. C’est d’autant plus important lorsqu’on mesure les effets de notre modèle et de nos programmes. Notre équipe chargée des données et de leur analyse collabore avec des chercheurs reconnus sur la scène internationale ce qui nous permet de mesurer notre impact et de trouver des manières de nous améliorer. L’année précédente, nous avions élaboré le programme FasterReading et avions déjà commencé à l’appliquer dans certaines de nos écoles, en Sierra Leone et au Liberia. Bien sûr, nous savions que nous n’en étions qu’au début du développement de ce programme et que nous devions encore comprendre comment l’appliquer de manière efficace, mais nous voulions en apprendre le plus possible au plus vite. Notre objectif était d’itérer et d’améliorer le programme et de commencer à comprendre quels pourraient être ses effets. IDinsight et Rising avaient déjà travaillé ensemble. Les précédentes expériences et l’approche collaborative avaient été fantastiques. Nous savions qu’IDinsight était le partenaire idéal pour notre programme FasterReading.

Nous voulions en savoir plus sur notre programme et en tirer des enseignements, et ce, grâce à deux processus indépendants, mais tout de même liés : une évaluation d’’impact (menée par IDinsight) et une évaluation des procédures (menée par Rising, avec l’aide d’IDinsight). Ces deux méthodologies menées en parallèle nous ont permis, très tôt, d’identifier les obstacles à la mise en œuvre du programme et de l’itérer en temps réel lors de la même année académique.

ID Insight

Chez IDinsight, nous nous concentrons sur des projets à fort impact. Les données que nous obtenons de ces projets , aident nos clients à prendre des décisions et à améliorer leurs politiques et programmes. Nous mesurons notre impact en fonction de l'ampleur et la portée de l'impact de nos partenaires, ainsi que de notre contribution à leur processus décisionnel. Nous étions ravis de collaborer avec Rising sur ce projet spécifique, car il présentait un vrai impact social.

RAN Le Rising Academy Network (RAN), une organisation éducative collaborant avec plus de 700 écoles en Afrique, a mis au point un programme de lecture accélérée appelé « FasterReading ». Cette solution pédagogique a été conçue pour aider les élèves à combler leurs lacunes en lecture. Le programme a été élaboré pour relever les défis persistants de l'apprentissage fondamental en particulier dans des contextes où les compétences des enseignants sont modestes. Il intègre une approche cohérente alliant contenu, encadrement et retours d’expérience.

Nous avons compris que nos données pouvaient avoir un impact direct sur le programme dédié à l’éducation de la petite enfance du réseau RAN et pousser à la prise de décisions qui auraient des conséquences pour environ 250 000 élèves. Étant donné que le retard des enfants scolarisés est un enjeu critique en Afrique de l’Ouest et que le RAN a tissé des relations étroites avec des partenaires gouvernementaux dans les ministères de l’Éducation, nous pensons que nos résultats éclaireront les programmes dédiés à l’éducation de la petite enfance dans toute la région.

En tant que partenaire de confiance, nous espérions aussi contribuer à la littérature sur le sujet, et montrer notre expertise dans le domaine de l’éducation de la petite enfance et de la politique éducative en Afrique de l’Ouest, vu le potentiel d’impact social très fort et le fait que le financeur a demandé une publication publique des résultats.

Comment s’est déroulée la collaboration ? Quels obstacles avez-vous rencontrés ? Quelles sont les difficultés qui peuvent exister lors d’une collaboration entre une organisation de mise en œuvre et un partenaire de recherche ? Comment avez-vous dépassé ces difficultés ?

RAN

IDinsight a joué un rôle important dans l’évaluation du programme et a aussi été un partenaire précieux puisque l’organisation a pris en compte l’impact potentiel du programme. L’équipe d’IDinsight nous a beaucoup soutenus et s’est montrée très souple lors de toute l’évaluation. Ils étaient très conscients de l’importance de ce type d’évaluation pour Rising. Pour nous, il s’agissait d’une occasion d’examiner les implications pratiques qui nous permettraient d’améliorer la mise en place de notre programme et de servir plus efficacement les enseignants et les apprenants. Nous avons pris les décisions ensemble, en fonction des contraintes liées au contexte. L’équipe d’IDinsight était demandeuse de nos retours.

Nous avons dû faire face à un défi de taille dès le début du projet, lorsque nous avons remarqué que certaines écoles n’avaient pas appliqué la stratégie convenue. Cela était principalement dû à l’approche que nous avons adoptée pour la mise en œuvre et l’évaluation du programme. En tant qu’organisation fournissant des services d’enseignement, nous voulions qu’un maximum d’élèves bénéficie du programme, sans que cela empêche son évaluation. Nous avons décidé de concentrer notre évaluation uniquement sur les élèves un peu trop âgés au regard de l’éducation de la petite enfance. Nous avons fait ce choix, car il s’agit d’un problème persistant dans le secteur de l’éducation dans les écoles du Liberia, mais aussi, car cela nous permettait d’appliquer le programme dans plus d’écoles et d’intégrer plus d’élèves du primaire, au-delà de la portée de l’évaluation.

Toutes les écoles ont reçu les supports et les formations FasterReading,mais seules les écoles concernées par l’expérience ont inclus les élèves un peu trop âgés dans le programme. L’évaluation s’est concentrée sur les effets du programme sur ces élèves en retard. Les écoles ont eu du mal à respecter ces consignes. En effet, les écoles n’avaient pas bien compris quels élèves inclure dans ce nouveau programme et souhaitaient que leurs enseignants et apprenants profitent de ces nouveaux supports et de ces nouvelles méthodes d’enseignement désormais disponibles.

Nous avons appris de certaines écoles que, même si elles savaient que les élèves de l’éducation de la petite enfance ne devaient pas faire partie du programme, elles avaient tout de même décidé de les intégrer, car les supports reçus étaient bien meilleurs que les ressources existantes dans les écoles et qu’ils étaient bien plus faciles à utiliser pour les enseignants et les apprenants. Finalement, environ un tiers des écoles du groupe de contrôle ont mis en place, d’une manière ou d’une autre, le programme. IDinsight a été mis au courant de cette difficulté dès que nous en avons pris connaissance et a tout de suite commencé à travailler sur des manières de résoudre ces cas de non-conformité pour l’analyse.

IDinsight

Nous avons beaucoup aimé travailler avec Rising. Leur équipe est intelligente, passionnée par son travail, soucieuse de l’utilisation des données et très agréable. Nous avons appris beaucoup dans le cadre de ce projet et nous sommes impatients de voir comment ils utiliseront nos résultats pour renforcer et étendre le programme FasterReading.

La difficulté majeure rencontrée lors de notre collaboration était tout simplement le temps. Nous n’avons pas pu passer assez de temps avec l’équipe de Rising lors de la mise en place du programme FasterReading. De manière générale, il est compliqué pour un partenaire de recherche d’avoir assez d’informations sur la mise en œuvre d’un programme, alors qu’elles sont cruciales pour bien analyser et interpréter les données. Dans ce cas, notre mission était encore plus compliquée puisque notre équipe principale se trouvait dans les bureaux régionaux d’IDinsight en Zambie et au Sénégal, alors que l’évaluation avait lieu au Liberia.

Heureusement, l’équipe de Rising suivait de près la mise en œuvre du programme et nous transmettait toutes les informations. Grâce à cette transparence et cette communication, Rising a collecté des données sur les cas de non-conformité lors de l’expérience (comme décrit plus haut par Rising). Avec ces données, nous avons pu estimer le nombre de cycles du programme FasterReading qui avaient été mis en œuvre, que ce soit dans le groupe de l’expérience ou le groupe de contrôle. Cette connaissance du contexte, rendue possible par le réseau RAN, et en particulier le fait que les cas de non-conformité s’expliquaient par une confusion au sein du personnel scolaire et non par d’autres caractéristiques propres aux écoles, aux enseignants ou aux apprenants, nous a permis d’espérer que notre méthode permettrait d’obtenir des estimations fiables concernant les effets du programme sur les élèves qui avaient terminé les 5 cycles FasterReading. Vous trouverez plus de détails sur la manière dont nous avons pris en compte les cas de non-conformité lors de cette évaluation dans cet article sur le site Web d’IDinsight.

Vous attendiez-vous aux résultats de l’évaluation ? Comment RAN a-t-il réagi aux résultats ? Quelle a été l’approche adoptée par IDinsight pour partager les résultats avec RAN ? Et avec la communauté éducative dans son ensemble ?

IDinsight

Notre évaluation nous a permis de découvrir que le programme de Rising avait certainement aidé à obtenir des effets positifs modestes sur les capacités de lecture. Cependant, nous n’avons pas pu estimer précisément son impact à cause des cas de non-conformité lors de l’expérience (comme décrit précédemment). Ces résultats positifs correspondaient à nos prévisions étant donné les raisons qui ont poussé Rising à concevoir le programme Faster et les retours encourageants des enseignants qui avaient participé à la mise en place du projet lors de l’année scolaire précédente. Lorsque nous avons imaginé cet essai aléatoire contrôlé, nous pensions obtenir des estimations plus précises, mais nous avons adapté nos prévisions lors de la découverte de l’étendue des cas de non-conformité lors de l’expérience.

RAN

Oui. Nous savions que le programme devait encore être amélioré avant d’atteindre son plein potentiel, mais nous espérions que, même à ses débuts, il puisse permettre d’obtenir des résultats positifs et encourageants. Nous souhaitions aussi l’évaluer au plus vite afin de détecter d’éventuels effets indésirables que nous n’aurions pas pu déceler. Cette évaluation nous a aidés à comprendre l’impact du programme, mais aussi à repérer les aspects qui devaient encore être renforcés et améliorés.

IDinsight

Concernant le partage des résultats, nous avons régulièrement organisé des réunions avec Rising, et ce tout au long de la mission. Nous avons partagé avec Rising les premiers résultats lors de réunions téléphoniques régulières et avons répété l’opération afin de finaliser notre analyse et notre rapport. De manière générale, nous trouvons qu’une approche itérative et collaborative au moment de l’écriture du rapport d’évaluation permet de mieux interpréter les résultats et de proposer de meilleures recommandations programmatiques.

Concernant le partage externe des résultats, nous avons travaillé avec l’équipe de Rising afin d’identifier les canaux de diffusion les plus prometteurs :

• Nous avons publié le rapport final sur le site Web d’IDinsight.
• Nous allons mettre à disposition sur le répertoire de données d’IDinsight, hébergé par le Harvard Dataverse, les données principales, et ce de manière anonymisée.
• Nous publierons les résultats dans une revue évaluée par des pairs. Cette revue sera accessible gratuitement, sans avoir besoin d’un abonnement.
• Nous avons partagé le rapport final avec les parties prenantes clés, comme le Liberian Education Advancement Program (LEAP) et l’Agence des États-Unis pour le développement international au Liberia.

Quelles leçons avez-vous tirées de cette collaboration, tant du point de vue des résultats que du point de vue du processus d’évaluation du programme ? Que compte faire RAN/qu’a-t-il déjà fait des résultats pour améliorer et étendre le programme ReadingFaster ?

RAN

Grâce aux résultats, nous avons appris que le programme avait le potentiel d’améliorer l’apprentissage des élèves et qu’il ne présente aucun effet indésirable majeur ou d’autres effets. Cette évaluation nous a aussi aidés à repérer les faiblesses du programme, faiblesses que nous pourrons traiter lors de ses prochaines versions. Comme mentionné précédemment, nous avons déjà commencé à modifier le programme en fonction des résultats de cette évaluation. Voici quelques exemples :

• Rising investit plus de temps et d’efforts dans la formation des enseignants lors des premières étapes du programme.
• Nous avons élaboré une application mobile destinée à toutes les écoles et qui contient des contenus de formation vidéo ainsi que des informations sur la manière de mettre en œuvre le programme.
• Nous avons mis au point une nouvelle version de ce programme spécialement pour les écoles qui n’ont pas assez de personnel. Cette version plus souple de FasterReading peut être mise en œuvre avec quelques enseignants seulement.
• Nous avons aussi renforcé la formation ainsi que les outils afin de mieux armer les équipes sur le terrain et de leur permettre de mettre en œuvre et de suivre le programme dans les écoles.

IDinsight

Nous avons appris beaucoup de choses sur la pression à laquelle est soumis le système éducatif au Liberia, sur ce que fait Rising pour aider à alléger cette pression et sur les opportunités et les défis que présente la mise en œuvre d’un programme de lecture fondé sur la phonétique dans cet environnement. Grâce à cette évaluation, nous sommes persuadés que FasterReading et d’autres programmes similaires ont un fort potentiel, celui de renforcer de manière rentable l’enseignement de la lecture et du calcul chez les plus petits au Liberia et dans des contextes similaires.

Comment RAN et IDinsight vont-ils utiliser cette évaluation pour continuer à en apprendre plus sur les stratégies efficaces qui permettent d’améliorer l’apprentissage dans les écoles ? Quelles sont les prochaines questions à aborder ? Pensez-vous retravailler ensemble afin d’apporter votre pierre à l’édifice ?

RAN

Même si nous avons mis en pause l’évaluation du programme cette année, nous prévoyons de la reprendre prochainement lorsque nous aurons plus de recul sur son développement et sa mise en œuvre. Nous espérons que les améliorations apportées aux contenus, aux outils, aux formations et aux systèmes de données permettront d’améliorer l’efficacité du programme ainsi que ses résultats.

Nous souhaitons aussi évaluer les différents niveaux de soutien au programme FasterReading afin de relever les défis de la durabilité dans notre secteur. Nous voulons déterminer la valeur de ces différents niveaux de soutien, en comparant, par exemple, la formation et les supports FasterReading seuls à l’intégration d’un accompagnement et d’un suivi.

Nous avons aussi créé FasterMath, un programme de mathématiques par niveau, qui est mis en œuvre en dehors du Liberia. Nous envisageons de l’étendre à d’autres pays et explorons les options possibles pour son évaluation. Vu notre partenariat réussi et positif avec IDinsight, nous sommes impatients de travailler avec eux sur de nouveaux projets.

IDinsight

Nous étudions actuellement plusieurs options afin de soutenir RAN dans les années qui arrivent pour d’autres programmes qu’ils mettent en place. Nous sommes en contact fréquent et régulier avec RAN afin de mieux comprendre leurs priorités pour d’éventuelles futures missions. Nous sommes ravis à l’idée de continuer à travailler avec un partenaire qui accorde autant d’importance aux données probantes !