Table des matières
Partie I. La phase pré-évaluative et la pérennité
Biessé Diakaridja Soura, Jean-Sébastien Fallu, Robert Bastien et al.
I. L’étude d’évaluabilitéUne intervention de prévention de l’usage de drogues à l’école au Québec
- Présentation de l’étude d’évaluabilité
- Exemple d’étude d’évaluabilité : l’intervention en réseau
- Devis de l’étude d’évaluabilité
- Mise en œuvre de l’étude d’évaluabilité
- Déroulement et description des étapes
- Déterminer le but, recueillir l’engagement, mettre en place le groupe de travail
- Définir les limites/frontières du programme à évaluer
- Identifier et analyser les documents liés au programme
- Développer/clarifier la théorie du programme
- Identifier et interviewer les parties prenantes
- Décrire la perception qu’ont les parties prenantes du programme
- Identifier les besoins, intérêts et différences de perceptions des parties prenantes
- Déterminer la plausibilité du modèle du programme
- Tirer les conclusions et faire des recommandations
- Établir un plan d’utilisation des données de l’étude d’évaluabilité
- Résultats obtenus
- Analyse réflexive
- Conclusion
- Citation
Mathieu Seppey et Valéry Ridde
2. L’évaluation de la pérennitéUne intervention de financement basé sur les résultats au Mali
- Contexte
- Le Mali
- Financement basé sur les résultats (FBR)
- Plan d’évaluation
- Méthodologie
- Revue de la littérature et cadre conceptuel
- Construction de l’outil et validation
- Échantillonnage
- Collecte de données
- Gestion, traitement et analyse des données
- Résumé des résultats
- Analyse réflexive
- Forces et faiblesses
- Enjeux de la mise en œuvre de l’évaluation
- Leçons apprises
- Citation
Partie II. Les approches qualitatives et participatives
Mathieu Bujold et Jean-Alexandre Fortin
3. L’évaluation qualitative, informatisée, participative et inter-oganisationnelle (EQUIPO)Exemple d’un programme en faveur des femmes victimes de violences en Bolivie
- Le volet qualitatif d’ÉQUIPO
- Le volet participatif d’ÉQUIPO
- Le volet inter-organisationnel d’ÉQUIPO
- Contexte : Justice entre les femmes et les hommes en Bolivie
- Budget et engagement des partenaires
- EQUIPO : une méthode d’apprentissage dans l’action
- Introduction au terrain et constitution des équipes dévaluation
- Adaptation du matériel pédagogique
- Formation d’introduction aux méthodologies qualitatives
- Recrutement des participant-e-s et collecte de données qualitatives
- Analyse qualitative assistée par ordinateur
- Forum inter-organisationnel : un espace de partage
- Répercussions du projet pilote ÉQUIPO
- Répercussions institutionnelles
- Répercussions personnelles
- Répercussions techniques
- Répercussions professionnelles
- Répercussions collaboratives
- Forces, faiblesses et défis
- L’importance de la mobilisation spontanée des employés
- Expériences et ressources des organisations
- Augmenter le niveau d’implication et d’engagement des bénéficiaires
- Être appuyé par une organisation qui applique elle-même la méthode ÉQUIPO
- Convaincre les bailleurs de fonds de la plus-value des méthodes qualitatives
- Analyse réflexive et conclusion : vers les méthodes mixtes
- Remerciements
- Citation
Lynda Rey, Wilfried Affodégon, Isabelle Viens et al.
4. La méthode photovoixUne intervention auprès de populations marginalisées sur l’accès à l’eau potable, l’hygiène et l’assainissement au Mexique
- À quoi sert la photovoix ?
- De la photovoix au photolangage : quels lieux communs ?
- La photovoix, une méthode de recherche et d’évaluative participative
- Le processus de photovoix
- Avantages et défis liés à la photovoix
- La photovoix pour évaluer l’art social : entre complexité et créativité
- Contexte
- La logique de l’intervention
- Le plan d’évaluation des activités d’art social
- Application de la photovoix comme démarche évaluative en contexte artistique et social
- Objectifs
- Processus
- La phase de planification
- Sélection des participant-e-s
- Sélection des photos
- Préparation des ressources humaines
- La mise en œuvre
- Organisation de l’espace du local (30 minutes)
- Présentation du travail au groupe (15 minutes)
- Choix individuel des photographies (10 minutes)
- Travail de groupe sur les questions î et 2 (durée : î heure)
- Travail individuel sur la question 3 (durée : 30 minutes)
- Conclusion de l’activité (îo minutes)
- L’analyse des données
- Résultats de l’évaluation
- Réactions des participant-e-s aux activités d’art social du projet
- Apprentissages des participant-e-s aux ateliers d’art social
- Analyse réflexive sur la photovoix comme outil d’évaluation
- Leçons apprises
- La sélection et l’impression des photos : une étape importante à planifier
- La langue : un facteur essentiel de participation et d’implication
- Le caractère innovant de la méthode et son contexte d’application : des éléments indispensables à prendre en compte
- L’analyse de l’activité : un processus long et complexe
- Conclusion
- Citation
Aka Bony Roger Sylvestre, Valéry Ridde et Ludovic Queuille
5. L’analyse d’une recherche-actionCombinaison d’approches dans le domaine de la santé au Burkina Faso
- Contexte et programme évalué
- Description du contexte où se déroule le programme
- Description du programme
- Méthode d’analyse
- I. Élaboration d’une grille de « meilleures pratiques »
- 2. Analyse externe de la démarche de la RA
- 3. Analyse réflexive de la démarche de la recherche-action par les parties prenantes
- Résultats de l’analyse
- Résultats de la revue documentaire
- Une brève description des résultats de l’analyse externe
- Étape préliminaire
- Étape de la planification
- Étape réflexion-évaluation
- Une brève description des résultats de l’analyse réflexive des parties prenantes
- Analyse réflexive du processus d’analyse
- Leçons apprises du processus évaluatif
- Forces et faiblesses de notre processus d’analyse
- Principaux enjeux liés à la conduite de l’analyse
- Comment procéder la prochaine fois ?
- Conclusion
- Citation
Partie III. Les méthodes mixtes
Quan Nha Hong, Anne-Marie Turcotte-Tremblay et Pierre Pluye
6. Les revues systématiques mixtesUn exemple à propos du financement basé sur les résultats
- Application de la méthode
- Étape 1: Formuler une question de recherche
- Étape 2 : Définir les critères d’éligibilité
- Étape 3 : Sélectionner les sources d’information
- Étape 4 : Élaborer une stratégie de recherche documentaire
- Étape 5 : Sélectionner les études
- Étape 6 : Évaluer la qualité des études
- Étape 7 : Extraire des données
- Étape 8 : Synthétiser les données extraites
- Devis de synthèse
- Devis de synthèse convergent
- Devis de synthèse convergent avec intégration au niveau des données
- Devis de synthèse convergent avec intégration au niveau des résultats de synthèse
- Devis de synthèse convergent avec intégration au niveau de l’interprétation
- Devis de synthèse séquentiel
- Analyse réflexive
- Citation
Pierre Pluye
7. L’intégration en méthodes mixtesCadre conceptuel pour l’intégration des phases, résultats et données qualitatifs et quantitatifs
- Contexte : pluralisme, devis, données et qualité
- Pluralisme des méthodes mixtes
- Principaux devis en méthodes mixtes
- Techniques de collecte de données QUAL et QUAN en méthodes mixtes
- Évaluation de la qualité des méthodes mixtes
- État des connaissances sur l’intégration en méthodes mixtes
- Trois types d’intégration en MM
- Application
- Cadre conceptuel
- Premier type d’intégration : connexion de phases (3 stratégies spécifiques)
- Stratégie 1.1. Connexion d’une phase QUAL à une phase QUAN
- Stratégie 1.2. Connexion d’une phase QUAN à une phase QUAL
- Cas particulier de 1.1 et 1.2. Suivi d’un fil d’Ariane entre phases QUAL et QUAN
- Deuxième type d’intégration : comparaison de résultats (3 stratégies spécifiques)
- Stratégie 2.1. Comparaison des résultats obtenus de manière séparée
- Stratégie 2.2. Comparaison des résultats obtenus de manière interdépendante
- Cas particulier des stratégies 2.1 et 2.2. Divergence des résultats QUAL et QUAN
- Troisième type d’intégration : assimilation des données (3 stratégies spécifiques)
- Stratégie 3.1. Transformation de données QUAL en données QUAN (quantification)
- Stratégie 3.2. Transformation de données QUAN en données QUAL (qualitativation)
- Stratégie 3.3. Fusion des données QUAL et QUAN
- Analyse réflexive : combinaisons de stratégies pour intégrer phases, résultats et données QUAL et QUAN
- Citation
Pierre Pluye, Enrique Garcia Bengoechea, David Li Tang et al.
8. La pratique de l’intégration en méthodes mixtesLes multiples combinaisons des satratégies d’intégration
- Contexte
- Plan
- Application
- Intégration 1. Connexion de phases
- Stratégie 1.1. Connexion d’une phase QUAL à une phase QUAN
- Stratégie 1.2. Connexion d’une phase QUAN à une phase QUAL
- Cas particulier des stratégies 1.1 et 1.2 : Suivi d’un fil d’Ariane entre phases QUAL et QU AN
- Intégration 2. Comparaison de résultats
- Stratégie 2.1. Comparaison des résultats obtenus de manière séparée
- Stratégie 2.2. Comparaison des résultats obtenus de manière interdépendante
- Cas particulier des stratégies 2.1 et 2.2 : Divergence des résultats QUAL et QUAN
- Intégration 3. Assimilation des données
- Stratégie 3.1. Transformation de données QUAL en données QUAN (quantification)
- Stratégie 3.2. Transformation de données QUAN en données QUAL (qualitativation)
- Stratégie 3.3. Fusion des données QUAL et QUAN
- Combinaisons de stratégies et stratégies émergentes
- Analyse réflexive et leçons à tirer
- Conclusion
- Remerciements
- Citation
Partie IV. L’évaluation de l’efficacité et de l’efficience
Tarik Benmarhnia et Daniel Fuller
9. Les méthodes quasi-expérimentalesL’effet de l’âge légal minimum sur la consommation d’alcool chez les jeunes aux États-Unis
- Périmètre du chapitre
- Présentation du contexte d’évaluation : les interventions pour réduire la consommation d’alcool chez les jeunes
- Présentation et application des méthodes proposées
- Méthode de « différence dans les différences »
- Présentation générale de la méthode DD
- Description des données
- Construire un contre-factuel
- Estimer l’effet de la politique publique
- Conclusion
- La méthode de « régression avec discontinuité »
- Présentation générale de la méthode de RD
- Description des données
- Application de la méthode RD en sept étapes
- 1. Définir le seuil
- 2. Vérifier qu’il n’y a pas de biais ou erreur de mesure pour la variable d’intérêt par rapport au seuil
- 3. Vérifier que la variable d’attribution est continue et mesurée précisément
- 4. Visualiser la variable d’attribution par la variable d’intérêt
- 5. Comparaison de variable d’intérêt et co-variables
- 6. Sélectionner l’étendue de l’échantillon sélectionné
- 7. Estimer l’effet de la politique publique par des modèles de régression
- Conclusion
- Discussion
- Citation
Alexandre Dumont
10. Les essais randomisés en grappeUn exemple en santé maternelle et infantile
- Défis des essais contrôlés randomisés en grappes
- Contexte et programme évalué : l’essai QUARITE pour réduire la mortalité maternelle hospitalière
- Protocole d’évaluation
- Application de la méthode
- Prise en compte de l’effet du temps : l’approche « différence des différences
- Prise en compte de l’effet du groupe
- Prise en compte de l’effet grappe
- Analyse réflexive et conclusion
- Citation
Tarik Benmarhnia et Britt Mckinnon
11. La mesure de l’équitéUn exemple d’intervention de gratuité des soins obstétricaux
- Présentation du contexte d’évaluation de l’équité : l’exemple de l’exemption du paiement des frais de soins (gratuité des soins) et l’impact sur l’accès aux soins obstétricaux
- Méthodes pour mesurer les inégalités de santé
- Enjeux quant à la mesure des inégalités de santé
- Inégalités absolues vs relatives
- Classifier les groupes sociaux
- Mesures des inégalités de santé
- Les indicateurs simples d’inégalités (comparaison par paires)
- L’indice d’inclinaison des inégalités
- L’indice de concentration
- Mesures complexes des inégalités avec groupes non ordonnés – l’indice de Theil
- Application aux études d’évaluation des effets
- Approches simples de type avant/après
- Approches quasi-expérimentales
- Analyses stratifiées combinées à un test d’hétérogénéité.
- Analyses avec double interaction ou analyses de type différences dans les différences dans les différences (DDD)
- Analyses avec méthodes de décomposition
- Conclusion
- Citation
Guillaume Jouquet
12. L’analyse coût-efficacitéUne intervention de décentralisation des soins VIH/SIDA à Shiselweni, Swaziland
- Contexte et programme évalué
- Swaziland
- Région de Shiselweni
- Le programme MSF
- Plan/devis/protocole d’évaluation
- Objectif
- Questions d’évaluation
- Budget et planification
- Application de la méthode
- Collecte des données
- Estimation du coût
- Mesure de l’efficacité
- Principaux résultats
- Analyse réflexive et conclusion
- Citation
Emmanuel Bonnet, Samiratou Ouédraogo et Diane Saré
13. L’analyse spatialeUn cas d’intervention communautaire de lutte contre le moustique Aedes aegypti au Burkina Faso
- Analyse spatiale des effets d’une intervention communautaire de lutte contre la dengue à Ouagadougou
- Site d’étude et participant-e-s
- La théorie de l’intervention
- Devis d’évaluation
- Application de la méthode LISA
- Étape 1 : Analyse de la distribution spatiale du nombre de larves et de nymphes par la cartographie
- Étape 2 : Mesure de la distribution spatiale du nombre de larves et de nymphes au sein des quartiers de l’étude à Ouagadougou
- Étape 3 : Indicateurs locaux d’association spatiale du nombre de larves et de nymphes au sein des quartiers
- Analyse réflexive et conclusion
- Citation
Partie V. L’évaluation des processus et de la fidélité d’implantation
Valéry Ridde et Anne Marie Turcotte-Tremblay
14. L’analyse des processus de mise en œuvreUne intervention complexe au Burkina Faso : le financement basé sur les résultats
Lara Gautier, Catherine M. Pirkle, Christopher Furgal et al.
15. L’évaluation de la fidélité d’implantationUn projet de distribution d’omble chevalier aux femmes enceintes du Nunavik
Dennis Pérez, Marta Castro et Pierre Lefèvre
16. L’évaluation de la fidélité et de l’adaptationUn exemple de mise en œuvre des interventions en santé mondiale
Jean-Paul Dossou et Bruno Marchal
17. L’évaluation réalisteL’exemple de l’adoption d’une politique publique de santé au Bénin
- Présentation de la méthode, utilité et défis d’application
- Contexte et programme évalué : la politique de gratuité de la césarienne au Bénin
- Protocole d’évaluation : le cycle de l’évaluation réaliste
- Étape 1 du cycle de l’évaluation réaliste : formuler la question de recherche
- Étape 2 du cycle de l’évaluation réaliste : élaborer la théorie de programme initiale
- Étape 3 du cycle de l’évaluation réaliste : choisir le devis de l’étude
- Étape 4 du cycle de l’évaluation réaliste : collecter les données
- Étape 5 du cycle de l’évaluation réaliste : analyser les données
- Étape 6 du cycle de l’évaluation réaliste : faire la synthèse
- Application de l’approche de l’évaluation réaliste
- Étape 1 du cycle de l’évaluation réaliste : la question de recherche
- Étape 2 du cycle de l’évaluation réaliste : la théorie de programme initiale
- Étape 3 du cycle de l’évaluation réaliste : le devis de l’étude
- Étape 4 du cycle de l’évaluation réaliste : la collecte des données
- Étapes 5 et 6 : l’analyse et la synthèse
- Quelques résultats
- Les pratiques autour de l’adoption de la politique par les gestionnaires des hôpitaux
- Dans l’hôpital privé confessionnel
- Dans l’hôpital public
- Quelques configurations causales autour de l’adoption dérivée des résultats
- Synthèse et discussion : les théories autour de l’adoption de la politique
- Leçons apprises et discussion sur les enjeux de la mise en œuvre de l’évaluation
- Citation
