Bilan de l’année : Assurer la qualité des données à travers le Réseau PAL

Par Muhammad Usman, Directeur adjoint du programme, Secrétariat du Réseau PAL

Le modèle d’évaluation citoyenne est né en Inde en 2005, lorsque la plus grande ONG indienne, Pratham, a conçu une nouvelle approche innovante pour évaluer les compétences de base de tous les enfants, en lecture et en calculs, quel que soit leur niveau scolaire. Au cours des onze dernières années, le modèle d’évaluation citoyenne a pris de l’ampleur dans les pays du Sud, où il a été emprunté et adapté aux contextes nationaux où tous les enfants ne sont pas scolarisés et n’apprennent pas.

Le modèle d’évaluation citoyenne a été conçu soigneusement et délibérément pour répondre aux réalités des pays du Sud. L’utilisation de citoyens volontaires formés, de tests et d’outils simples et l’évaluation de tous les enfants, sont des aspects fondamentaux du modèle d’évaluation citoyenne. La conception reflète une philosophie différente de celle des évaluations scolaires standards qui ont été développées dans des contextes des pays occidentaux.

La simplicité apparente de l’évaluation citoyenne, qui permet à un grand nombre de « citoyens ordinaires » de s’impliquer, est soutenue par des processus de surveillance sophistiqués « en coulisses », conçus pour garantir la fiabilité des données produites. Cela comprend des processus systématiques d’échantillonnage, de sélection des partenaires et des bénévoles, de formation, de suivi et de vérification. En outre, un nettoyage soigneux des données ainsi que d’autres méthodes, sont utilisés pour valider les données. Cependant, en raison de l’expansion organique du Réseau au fil du temps, ces processus ne sont pas uniformes dans tous les pays du Réseau PAL, ni visibles pour les personnes extérieures au Réseau.

Janvier 2017
Le mois de janvier a marqué le début d’une nouvelle stratégie triennale pour le Réseau. Axés sur la collecte de données de haute qualité, les responsables nationaux et les analystes de données se sont réunis à Aurangabad, en Inde, pour le premier atelier du Réseau sur la qualité des données. Lors de l’atelier, les participants ont convenu de la nécessité de produire un cadre de normes de qualité des données. Comme point de départ, le groupe de travail Données et conception du Réseau PAL, a élaboré un ensemble de « normes minimales ». En outre, 62 documents relatifs à la qualité des données ont été recueillis auprès des membres du Réseau, afin d’éclairer un cadre de normes de qualité des données (CNQD) plus large.

Premier atelier de données à Aurangabad, en Inde

Mars 2017
L’ébauche du document sur les normes minimales a été présentée lors de la 4e réunion du Comité de pilotage du Réseau PAL à Mexico, et a fait l’objet d’un examen plus approfondi lors de la réunion du Groupe de travail Données et conception à Xalapa, au Mexique. Les participants se sont mis d’accord sur les quatre prochaines étapes:

  1. Développer un cadre d’analyse rapide pour analyser les 62 documents existants relatifs à la qualité des données
  2. Procéder à un examen de l’environnement des normes de qualité des données des évaluations internationales et régionales existantes
  3. Rédaction du premier CNQD combinant la recherche et l’analyse décrites aux étapes 1 et 2
  4. Reconvoquer les experts appropriés pour finaliser le CNQD et élaborer une stratégie de mise en œuvre

Réunion du groupe de travail à Xalapa, au Mexique

Mai 2017
Le Secrétariat du Réseau PAL a entrepris l’analyse initiale des documents du Réseau existants, avec des entretiens Skype de suivi, menés avec des analystes de données à travers le Réseau.

Juillet 2017
La Fondation nationale pour la recherche en éducation (NFER) a été identifiée pour effectuer un examen l’environnement des normes de qualité des données d’évaluation internationales et régionales existantes pour guider la création du CNQD. Le groupe de travail Données et conception du Réseau PAL et le secrétariat du Réseau, ont ensuite travaillé en consultation avec le NFER pour rédiger le CNQD.

Novembre à décembre 2017
Le groupe de travail Données et conception et l’équipe du Secrétariat, ont commencé à préparer le deuxième atelier de données prévu pour 2018. L’atelier réunira à nouveau, les chefs de pays et les analystes de données, afin de finaliser le document CNQD et pour permettre de commencer à planifier la mise en œuvre du CNQD, en commençant par les mécanismes d’auto-évaluation et de surveillance par les pairs.

Perspectives : Bâtir sur les jalons posés en 2017
Le cadre des normes de qualité des données (CNQD) est un élément central de l’engagement à l’échelle du Réseau, à produire des données robustes et de grande qualité, à communiquer aux niveaux régional, national et international. Le CNQD aidera les pays du Réseau PAL à améliorer la rigueur technique, tout en leur permettant de s’adapter à la diversité des processus et des adaptations au contexte local, qui est au cœur du modèle d’évaluation citoyenne. La création du CNQD s’accompagnera de plans de mise en œuvre et de suivi, dans lesquels les pays membres se soutiendront mutuellement, pour respecter les normes minimales requises, tireront les meilleures pratiques du Réseau, et contribueront à cibler le soutien technique. Le CNQD se veut clair et accessible à tous les utilisateurs, même s’ils sont familiers avec les évaluations citoyennes.