Le Projet d’évaluation des pratiques (PEP) a été mis en œuvre entre 2006 et 2009 auprès de six équipes d’intervenants du Centre jeunesse de Québec-Institut universitaire (CJQ-IU). Il s’agissait de montrer la possibilité, pour des équipes d’intervenants, de se mobiliser autour d’une démarche évaluative des pratiques cliniques auprès des usagers. Appuyé par une équipe d’animation scientifique, un intervenant est libéré de ses tâches habituelles pour assurer l’animation de son équipe tout au long de la démarche. Les équipes définissent leurs questions d’évaluation, mettent en place les collectes de données nécessaires pour y répondre et s’approprient les résultats obtenus. Après avoir décrit l’évolution et exposé l’origine et les principes sous-tendant le PEP, les activités réalisées et les retombées du projet pour l’amélioration des pratiques des équipes sont décrites. Enfin, les avantages et les difficultés associés à ce type de démarche sont discutés.

1Depuis 1995, plusieurs projets d’évaluation ont été réalisés au CJQ-IU pour répondre à cette exigence de la mission universitaire. Ces projets, subventionnés ou non, de plus ou moins grande envergure, étaient habituellement initiés par des chercheurs rattachés à une université, par les directions de l’établissement, ou, à une plus petite échelle, par des équipes d’intervenants qui avaient mis sur pied des projets particuliers. Ces initiatives ont porté leurs fruits en permettant à l’établissement de mesurer et d’évaluer la qualité des services et des programmes offerts à sa clientèle. Lors de l’évaluation de la candidature du CJQ-IU en vue du renouvellement de son statut universitaire en 2001, le ministère de la Santé et des Services sociaux (MSSS) a reconnu explicitement les efforts du CJQ-IU à ce sujet : « Plusieurs recherches évaluatives sont associées aux activités de pratique ou aux activités de formation. […] Le Centre jeunesse de Québec accorde de l’importance à la conceptualisation et à la formalisation de modèles de pratique clinique à partir des résultats de recherche évaluative. […] Ces façons de faire sont notées positivement, car elles traduisent une culture d’évaluation particulièrement vivante dans l’établissement. » (MSSS, 2001)

2En 2004, le Comité sur l’organisation universitaire des services sociaux précise ses attentes quant à la pratique de l’évaluation dans les établissements désignés instituts universitaires (MSSS, 2004). Ceux-ci « devront consolider l’évaluation de leurs pratiques, car ces pratiques d’évaluation font nécessairement partie du processus de développement et de diffusion de ces nouvelles pratiques (cliniques). »

3C’est dans cette perspective qu’en février 2006, le comité scientifique du CJQ-IU donnait son aval pour le déploiement du PEP. La Direction du développement de la pratique professionnelle et des affaires universitaires (DDPPAU) de l’établissement contribuait aussi financièrement à la mise en place du projet.

perspectives théoriques soutenant le projet

4La capacité d’une organisation à produire des données sur la qualité de ses services et activités constitue un atout institutionnel important. Cette capacité d’évaluation peut revêtir différentes formes, depuis la réalisation d’évaluations ponctuelles sur des initiatives particulières jusqu’à la mise en place d’un service interne dédié exclusivement à l’évaluation, en passant par toute la gamme des tableaux de bord servant la gestion des établissements. Ces formats se retrouvent avec diverses modalités de réalisation dans les établissements, selon les ressources disponibles propres à chacun. Mais existe-t-il un avantage supplémentaire pour un établissement à favoriser la participation du personnel à l’évaluation de ses activités ? La documentation scientifique à ce sujet suggère quelques pistes de réflexion.

5Un premier concept en lien avec cette préoccupation est celui de l’utilisation des résultats. Dès le début des années 1970, aux États-Unis, les professionnels de l’évaluation notaient que les résultats issus des évaluations des grands programmes sociaux mis en place par l’administration américaine n’étaient pas toujours utilisés pour enclencher des modifications aux programmes en place. Weiss, qui est l’une des premières à souligner l’aspect politique des décisions – lequel prenait souvent préséance sur les données objectives fournies par les évaluations – constate que « les décideurs utilisent rarement les données des évaluations comme base de décisions immédiates » (2004). Ce grand constat a amené les évaluateurs américains à se pencher plus formellement sur les facteurs permettant d’optimiser l’utilisation des résultats des évaluations.

6Dans cette perspective, Patton (1997) est l’un des premiers auteurs à bâtir sa pratique de l’évaluation à partir de préoccupations liées directement à l’utilisation des résultats (Utilization-Focused Evaluation), au point de centrer toutes les étapes du processus d’évaluation autour de cet enjeu. Depuis la définition du mandat jusqu’à la diffusion des résultats, Patton se montre soucieux de la façon dont la démarche d’évaluation est animée et structurée avec les principales parties prenantes (stakeholders) touchées par l’évaluation. Selon lui, cette attention portée aux besoins des acteurs principaux de l’évaluation augmente les chances que les résultats de l’évaluation soient opportunes et puissent être utilisés pour améliorer leurs activités. L’auteur conclut : « Fondamentalement […] les futurs utilisateurs seront plus enclins à utiliser les résultats des évaluations s’ils comprennent et s’approprient le processus et les résultats de celles-ci. Ils comprendront et s’approprieront davantage ceux-ci dans la mesure où ils se seront activement commis. »

7Cette conception de la pratique de l’évaluation semble de plus en plus intégrée dans les façons de faire des professionnels de l’évaluation. En 1991, Shadish, Cook et Leviton identifient l’utilisation des résultats de l’évaluation comme une composante à part entière des théories de l’évaluation, et Alkin (2004) l’identifie comme l’une des « racines » théoriques et pratiques de l’évaluation. Dans la même veine, plusieurs auteurs se sont intéressés à la pratique des évaluations dites participatives ou « responsabilisantes » développées, entre autres, par Fetterman et Wandersman (2005) ainsi que par Mertens (1999). Selon ces auteurs, on ne peut penser améliorer les services offerts à une population si l’on ne met pas activement à contribution les acteurs principaux, en particulier le personnel et les clients qui participent au programme. Certains auteurs, comme Fetterman et Wandersman (2005), qualifient même leur pratique évaluative d’empowerment evaluation pour signifier à quel point les acteurs sont partie prenante du processus.

8En dépit de l’importance de ce courant de pensée dans la pratique de l’évaluation, on peut identifier deux problèmes importants liés au concept général d’évaluation participative. Le premier concerne la définition opérationnelle de ce qu’est, dans la pratique, une évaluation participative. Ainsi, dans un examen de 47 études étiquetées comme des évaluations de type « empowerment », Miller et Campbell (2006) laissent planer un doute sur la validité des concepts qui caractérisent cette approche. Plus récemment, Daigneault et Jacob (2009) ont proposé, à partir des travaux de Cousins et Withmore (1998), trois concepts permettant de mieux définir la notion d’évaluation participative : la diversité des participants impliqués, l’étendue de la participation et le contrôle du processus évaluatif. De fait, les chercheurs continuent à réfléchir sur le choix des critères et des mesures de ce qui constitue une évaluation réellement « participative ».

9Le second problème réfère au lien entre le recours à ce type d’évaluation et l’utilisation des résultats. En effet, en dépit du fort courant qui anime la pratique de l’évaluation participative, peu d’études empiriques ont réussi à montrer un lien solide entre cette pratique et des enjeux comme l’utilisation des résultats ou encore la capacité d’une organisation à apprendre (organizational learning) (Cousins et al., 2004). Ces auteurs concluent que les études qu’ils ont recensées suggèrent ce type d’association, mais que les méthodologies utilisées (auto-évaluation, étude de cas) ne sont pas suffisamment fiables pour tirer des conclusions solides sur l’évaluation comme système d’apprentissage organisationnel.

10Un second champ de réflexion qui a guidé la conception du PEP est l’idée du développement de la capacité d’évaluation des organisations (evaluation capacity building). Conçue comme un processus continu de la vie des organisations, « la capacité d’évaluation d’une organisation peut être vue comme un système intentionnel de processus et de pratiques, qui vise à créer et à soutenir un état de fait dans lequel l’évaluation de programme et son utilisation appropriée sont des pratiques habituelles et continues… » (Stockdill, Baizerman et Compton, 2002).

11La leçon la plus intéressante de leur livre a trait aux constats qu’ils émettent sur le succès mitigé qu’ils ont observé dans les expériences relatées par les contributeurs à leur ouvrage, et concerne la question de l’implication des acteurs. En particulier, les auteurs concluent que, pour être efficace, un processus de développement de la capacité d’évaluation d’une organisation doit tenir compte du plus grand nombre possible d’acteurs.

12Dans le même ordre d’idées, Taut (2007) suggère que, pour que l’organisation développe une culture d’apprentissage et d’auto-évaluation, il faut que le personnel puisse s’approprier la démarche d’évaluation, être responsable de l’amélioration de la qualité de l’objet d’évaluation (service, programme) et être suffisamment autonome pour modifier, le cas échéant, l’objet d’évaluation. L’auteure ajoute que la transparence, la confiance et une approche constructive quant aux échecs et aux erreurs doivent imprégner les différents échelons hiérarchiques pour permettre une culture d’apprentissage ouverte et positive. Et qu’une politique organisationnelle d’évaluation dans laquelle on retrouve les conditions d’application d’une pratique d’auto-évaluation et d’amélioration de la qualité des services doit être mise de l’avant.

13Comme on peut le constater, la documentation scientifique tend à soutenir l’hypothèse qu’une organisation qui désire améliorer sa capacité à évaluer ses activités a grand intérêt à mobiliser le plus d’acteurs possible, et en particulier le personnel qui dispense directement les services à la clientèle, autour de ses projets d’évaluation.

14En dépit des réserves des auteurs sur la clarté des concepts et la force du lien entre l’aspect participatif d’une évaluation et l’utilisation efficiente des résultats, les promoteurs du PEP ont adopté cette perspective en proposant un projet qui vise l’augmentation de la capacité d’évaluation par le moyen de la participation des intervenants. L’hypothèse de départ était que l’augmentation de la participation devrait accroître les probabilités que les résultats servent à modifier les pratiques en cours.

15Il est important de noter que l’intention du PEP n’était pas de démontrer systématiquement cette hypothèse. Cette présomption était à la base du travail d’animation avec les équipes, mais il s’est révélé évident, dès le début, que l’équipe d’animation scientifique du PEP était très mal placée pour évaluer objectivement les retombées réelles du projet. À cet égard, la section sur l’évaluation du PEP offre quelques résultats pertinents.

mise en place du pep

16Mis en œuvre en avril 2006, le PEP offrait aux équipes cliniques la possibilité d’initier un questionnement par rapport à leur pratique et d’y trouver une réponse en utilisant une variété de moyens mis à leur disposition par l’équipe d’animation de la direction scientifique de l’établissement. Dans le contexte quotidien où les interventions accaparent la presque totalité du temps, le PEP offrait la possibilité aux intervenants de partager des interrogations et des questionnements et, également, de construire des réponses aux questions mises en priorité.

Objectifs généraux

17Le projet original propose deux objectifs généraux : permettre aux équipes participantes d’évaluer leur pratique à partir de leurs intérêts propres et permettre aux équipes participantes de s’approprier la démarche d’évaluation.

18Le PEP vise donc à augmenter la capacité de l’établissement à évaluer ses activités en mettant activement à contribution les équipes d’intervenants dans l’évaluation de leurs pratiques. L’idée de base est qu’en mobilisant les intervenants autour d’un projet d’évaluation qui provient de leurs préoccupations, les probabilités d’induire des changements dans les pratiques seront alors augmentées. Ce projet novateur visait à montrer la faisabilité de réaliser des évaluations basées sur la participation active d’équipes d’intervenants, à partir de questions ou de sujets qu’elles auraient choisis.

Sélection et présentation des projets d’équipe

19La sélection des équipes s’est faite par appel d’offres à la trentaine d’équipes cliniques du CJQ-IU. Chaque équipe devait remplir un formulaire de mise en candidature dans lequel elle devait proposer un sujet de recherche/d’évaluation, décrire la pertinence et la nature de la problématique abordée, les informations qu’elle souhaitait recueillir et l’utilisation éventuelle des résultats. Un comité de cinq personnes procédait à la sélection.

20À la suite de deux appels d’offres, sept équipes ont proposé des projets. Le jury de sélection en a retenu six : trois ont été réalisés entre 2006 et 2008 et les trois autres, entre 2007 et 2009. Le PEP avait prévu un budget pour libérer des intervenants de leurs tâches habituelles. La valeur de la libération était le maximum autorisé par les règles en vigueur à ce moment, soit jusqu’à un quart de temps sur une base annuelle. Ce format a été adopté afin de laisser du temps aux équipes pour s’approprier la démarche d’évaluation et aussi une période de collecte de données suffisamment longue pour permettre d’obtenir des résultats valables. Au total, le PEP s’est déroulé sur trois années financières.

21L’encadré suivant présente la liste des projets PEP avec les principales questions d’évaluation, les titres d’emploi des personnes qui ont été libérées à un moment ou à un autre du projet1, la provenance des équipes participantes ainsi que les instruments utilisés pour les collectes de données.

22Les projets présentaient un niveau de pertinence élevé en lien avec plusieurs préoccupations actuelles du réseau des centres jeunesse, en particulier avec l’adoption de la nouvelle Loi sur la protection de la jeunesse (« loi 125 ») en juin 2007. Ainsi, un des projets visait la problématique de l’évaluation des milieux élargis qui se sont vus reconnaître une plus grande place dans la nouvelle loi. Un autre s’intéressait au temps écoulé entre le placement en banque mixte2 et le moment où le jeune est déclaré adoptable. Le même projet s’est penché sur l’expérience vécue par les ressources de type banque mixte. Enfin, une équipe s’est intéressée à la façon dont on pouvait suivre l’implantation d’une approche de type consensuel (approche de médiation) dans la pratique des intervenants, une préoccupation que l’on retrouve dans la loi 125. Pour le détail des informations sur un projet précis, le lecteur peut consulter la documentation disponible3.

structuration et animation de la démarche d’évaluation

23À partir de la démarche en six étapes proposée par le Center for Disease Control and Prevention d’Atlanta (U. S. Dep. of Health and Human Services, 2005), le PEP veut stimuler, encadrer et proposer aux équipes des temps de réflexion, des outils, des méthodes pour répondre à leurs interrogations. Ainsi, sur une période de deux ans, les équipes formulent une série de questions qui les intéressent, structurent la collecte des données nécessaires et s’approprient les résultats obtenus. La répartition des efforts est approximativement la suivante :

Du 1^er au 6^e mois : Consultation des acteurs impliqués dans le projet ; mise en forme du programme à évaluer (modèle logique) ; élaboration des questions d’évaluation ; création des procédures et instruments de collecte de données ; mise en place de la collecte de données.

Du 7^e au 18^e mois : Collecte de données.

Du 19^e au 24^e mois : Fin de la collecte de données ; analyse des données ; présentation et discussion des résultats ; transfert des connaissances ; rédaction du rapport d’évaluation.

24Une grande partie du travail de réflexion se fait lors des rencontres régulières entre les intervenants et l’équipe d’animation scientifique. Ce travail conjoint permet à la fois de structurer la démarche d’évaluation et de se familiariser avec la réalité du programme à évaluer. Les intentions, les objectifs et les activités du programme ne sont pas toujours explicitement définis et, même lorsqu’ils sont écrits, il faut valider ces informations à la lumière du déroulement réel sur le terrain. Ce travail de validation se fait, entre autres, par la consultation des participants ou partenaires lors des premières phases de la démarche d’évaluation.

25En ce qui concerne l’animation des équipes, la mobilisation des intervenants doit prendre effet dès la phase de définition des objets d’évaluation (services, programmes, activités) et se poursuivre jusqu’à l’étape d’utilisation des résultats, laquelle est nécessaire pour penser apporter des changements dans les pratiques d’intervention. Cet aspect de l’animation des équipes autour du projet PEP est confié principalement à la personne libérée dans l’équipe, car elle paraît la mieux placée pour décider des moyens les plus pertinents pour animer l’équipe autour du projet. Le groupe d’animation scientifique a contribué à cette activité dans la mesure où les initiatives proposées s’accordaient avec les intentions, motivations et disponibilités des équipes. Ainsi, dans plusieurs équipes, un temps était consacré de manière régulière au PEP lors des rencontres d’équipes hebdomadaires. De fait, il est très difficile de s’immiscer dans les ordres du jour des rencontres d’équipe. En plus des discussions de type clinique, plusieurs informations administratives sont transmises aux intervenants durant ces rencontres, ce qui fait que le temps disponible pour discuter de projets particuliers peut être très restreint. Cet état de fait justifie d’autant l’importance d’un intervenant libéré issu de l’équipe pour assurer la transmission de l’information.

Collectes de données réalisées par les équipes

26Chaque projet PEP a donné lieu à plusieurs collectes de données pour documenter les questions d’évaluation. L’encadré présenté plus haut expose de manière succincte les moyens utilisés par les équipes. Comme on peut le constater, plusieurs de ces collectes ont eu recours à des questionnaires ou à des sondages maison créés expressément pour répondre aux besoins d’information du projet.

27Bien que certaines données aient pu être extraites des banques de données informationnelles du CJQ-IU, la plupart des collectes ont nécessité la participation active des membres des équipes PEP pour assurer une bonne couverture de la population visée et une constance dans le temps. Ainsi, la participation des membres des équipes s’est avérée essentielle pour produire des données fiables. À cet égard, il est important non seulement de s’assurer que les modes de collecte employés soient faciles à appliquer, mais aussi de réaliser un suivi en temps réel de la collecte. Par exemple, lorsqu’il s’agit pour une équipe d’intervenants de compléter un sondage en ligne, il faut être en mesure de donner rapidement une rétroaction sur le degré de complétion du sondage pour inciter les intervenants à le remplir dans les meilleurs délais.

Diffusion et appropriation des résultats

28Toutes les équipes ont créé des présentations de type PowerPoint portant sur leur projet et sur les résultats obtenus. Ces présentations ont été faites à leurs équipes respectives en cours de projet et à diverses instances internes (comités de direction) et externes (colloques). De plus, deux éditions du Bulletin PEP ont été publiées en mars 2008 et en mars 2009 où l’on trouve des articles résumant les principaux résultats des projets, des articles rédigés par les membres de l’équipe d’animation du PEP et des entrevues avec des participants au projet. Enfin, chaque équipe a rédigé un rapport complet de sa démarche4.

29L’appropriation des résultats et les changements éventuels qu’elle peut induire dans la pratique des intervenants constituent sans aucun doute le cœur même du PEP. En tant qu’équipe d’animation scientifique, nous avons été à même de constater un très grand intérêt des équipes participant au projet lors des présentations des résultats de leur démarche. Ces présentations ont été faites dans le cadre de rencontres d’équipes, souvent en fin d’année lorsque celles-ci se réunissent pour faire le bilan de leurs activités. Les résultats présentés ont provoqué de nombreux échanges à l’intérieur des équipes et ont incité les intervenants à revoir ou à repenser certains éléments de leur pratique. En voici quelques exemples :

• Une unité de réadaptation à l’interne a remis en question l’utilisation des exercices de réflexion proposés aux jeunes lorsque les résultats ont montré que 30 % des jeunes interrogés ont déclaré n’avoir eu aucun retour sur cet exercice de la part des intervenants.
• Une unité de réadaptation à l’interne se pose la question de la pertinence de leur programmation créée à l’origine pour des jeunes plus âgés (15-17 ans) alors que la moyenne d’âge semble avoir baissé autour de 14 ans.
• L’évaluation montre que 85 % des parents ne seraient pas présents au moment de l’entrée de leur jeune au centre de réadaptation. Les intervenants se demandent comment améliorer cet état de fait.
• Le sondage auprès des banques mixtes (BM) a mis en lumière deux difficultés : la préparation des banques mixtes pour leur passage devant le tribunal et les contacts entre les parents des BM et les parents naturels. Une révision des activités de préparation et de formation est envisagée.
• Les données sur les enfants placés avec une ordonnance de cinq ans lorsqu’ils ont moins de six ans offrent un profil de la pratique très intéressant. Les données sur les déplacements de ces jeunes et les délais pour obtenir une ordonnance d’adoptabilité ont amené un questionnement sur les meilleures pratiques à implanter. Un chercheur universitaire qui a eu accès à ces données s’en sert lors d’une présentation pour argumenter un point de vue.
• Le volume de co-interventions enregistré dans l’équipe montre qu’elle est une pratique courante des intervenants et qu’ils la considèrent comme utile dans plusieurs dossiers.
• Les données sur l’implantation de l’approche de médiation montrent une progression intéressante, mais plus lente que prévu. Il paraît nécessaire de maintenir le soutien clinique dans l’équipe à cet égard. De plus, l’évaluation des plans d’intervention des intervenants suggère qu’il faudrait insister davantage sur la façon de les rédiger en tenant compte des paramètres de l’approche de médiation.
• La grille d’évaluation des milieux élargis a été adoptée par les intervenants des équipes concernées et ces derniers s’engagent à la remplir chaque fois qu’une évaluation de ces familles sera requise. Cela permettra, entre autres, de constituer une banque de données sur ces familles, qui pourra éventuellement servir à des fins de recherche. De plus, la grille se révèle un outil pertinent qui peut être utilisé comme document de référence en cour.

30Ces quelques observations sur l’appropriation des résultats de l’évaluation par les équipes PEP suggèrent que la démarche enclenchée par celles-ci a pu mener ou mènera à des changements dans les façons de faire des équipes. Une remarque s’impose : l’amélioration des services se produit rarement par une remise en question drastique des activités en cours. De fait, les ajustements faits aux programmes et services sont souvent progressifs et leur origine est difficile à retracer une fois qu’ils ont été adoptés dans la pratique. On remarque que, lorsqu’un résultat apparaît clair ou évident à un intervenant ou à gestionnaire, celui-ci l’intégrera dans sa façon de penser et de dispenser les activités et, dans la mesure où il peut modifier certains aspects de ces dernières, le changement se fera sans nécessairement qu’une trace formelle en témoignant apparaisse dans des documents officiels. Bref, la transformation des pratiques est un phénomène qui est souvent difficile à suivre sur le terrain, à moins d’y porter une attention particulière en instaurant une « caméra » qui permet de saisir ces événements au moment où ils se produisent.

évaluation du pep

31Comme nous l’avons souligné, l’équipe d’animation du PEP était mal placée pour évaluer elle-même la pertinence de son travail. Nous avions quand même prévu, au début du projet, de mandater des étudiants pour rencontrer des participants des équipes PEP afin d’obtenir un premier son de cloche après une première année de fonctionnement. Ainsi, le rapport de Brodeur et Roux-Perreault (2007) collige le contenu d’une vingtaine d’entrevues réalisées avec différents protagonistes des projets PEP5.

32Également, au cours du déroulement du projet, la possibilité d’une évaluation indépendante du PEP par l’équipe de Steve Jacob, professeur au département de sciences politiques de l’Université Laval, s’est présentée. Les membres de cette équipe ont réalisé une trentaine d’entrevues avec des acteurs reliés de près ou de loin au PEP, à l’automne 2008 et à l’hiver 2009, soit six mois après la fin des projets de la première cohorte et six mois avant la fin des projets de la seconde cohorte. Cette évaluation fait partie d’une étude subventionnée par l’École fédérale de la fonction publique portant sur l’évaluation participative dans les établissements publics (Jacob et Ouvrard, 2009). Voici, en vrac, quelques constats tirés de ces deux opérations d’évaluation :

• L’un des obstacles rencontrés dans le PEP est le taux très élevé de roulement du personnel (incluant les chefs d’équipe et certains intervenants libérés) qu’ont connu plusieurs équipes au cours des deux années de leur projet. Cette situation a rendu plus difficile le processus de réalisation et d’appropriation de la démarche et a semblé ralentir certaines opérations. L’idéal, pour de tels projets, est que le même intervenant puisse commencer et terminer le travail de responsable d’équipe et que la composition de l’équipe demeure sensiblement la même.
• Un autre obstacle est la difficulté, pour certains intervenants libérés, de se dégager de leurs tâches quotidiennes. Plusieurs d’entre eux nous ont fait savoir que, même si leur charge de cas avait été diminuée pour tenir compte de la compensation financière de la libération, la charge de travail a fait en sorte qu’à maintes reprises ils ont dû reporter leur libération PEP pour répondre à des urgences dans les dossiers. Il va sans dire que le fait de « sauter » des semaines de libération a nui au projet. Il est plus facile de garder le fil conducteur si l’on consacre du temps au projet régulièrement, chaque semaine.
• Une troisième difficulté a été de tenir au courant et de faire participer les intervenants non libérés pour le projet. Certains d’entre eux ont senti qu’ils n’étaient pas toujours au fait des avancées et des décisions prises dans le cadre du PEP. Une telle situation a pu causer un désinvestissement de la part de certains. Dans ces équipes, où le projet a été perçu davantage comme celui de l’intervenant libéré et moins celui de l’équipe, il aurait fallu plus de suivi et d’attention afin de garder vivant l’intérêt de tous les membres.

33Le PEP compte également plusieurs aspects facilitants.

34Premièrement, il a été intéressant de constater l’investissement de certaines équipes, dans lesquelles chacun y mettait du sien, depuis le cadre supérieur jusqu’aux intervenants non libérés. Ces projets ont été de réels projets d’équipe, tels qu’ils ont été pensés au départ, et même au-delà des attentes. Lorsque tous les acteurs se sentent concernés et impliqués dans l’évaluation, le projet avance à grands pas, les bons coups sont nombreux et l’ambiance au sein de l’équipe est bonne.

35Un autre élément facilitant a été la disponibilité d’un poste informatique dans les locaux de l’équipe d’animation scientifique. Il a été plus facile de suivre les travaux des intervenants libérés qui ont utilisé cette ressource. La proximité entre les intervenants libérés et les membres de l’équipe d’animation PEP a aussi fait en sorte qu’en plus des rencontres de travail formelles, plusieurs échanges informels ont eu lieu et ont contribué non seulement à l’avancement des travaux, mais aussi à la connaissance réciproque des deux mondes que sont la recherche et la pratique. Comme le disait un intervenant : « La meilleure façon de démystifier la recherche, c’est de démystifier les chercheurs. » En général, les équipes se disent satisfaites des données produites par leur démarche. Elles les considèrent comme crédibles et utiles pour les aider à réfléchir sur leur pratique. Des données fiables permettent de dépasser l’intuition et d’être plus près de la réalité.

36La démarche d’évaluation semble aussi avoir eu des effets positifs sur les participants. Un certain sentiment de fierté s’est exprimé dans certaines équipes, doublé de l’impression de faire les bonnes choses pour la clientèle. Quelques équipes ont d’ailleurs continué la collecte de données une fois la libération de leur intervenant terminée. L’équipe scientifique de l’établissement a assuré un soutien pour faciliter la poursuite de ces activités (questionnaire en ligne, analyse de données). Dans son rapport portant sur l’évaluation du PEP, Jacob (2009) constate : « Plusieurs acteurs ont exprimé le souhait que l’évaluation devienne un outil, une activité à part entière et soit globalement mieux reconnue à tous les échelons, ce qui suppose une organisation et des conditions favorables (au niveau budgétaire, humain, etc.). Ils souhaitent développer une culture d’auto-évaluation et poursuivre ce mode de recherche qui associe le plus souvent possible le monde de l’intervention et celui de la recherche pour continuer à offrir aux intervenants un espace de réflexion suffisant sur la pratique. »

aspects novateurs du projet

37Le Projet d’évaluation des pratiques se veut innovateur sous plusieurs aspects. Un premier aspect est l’origine de son développement. Le PEP n’est pas ce qu’on pourrait appeler un « pop-up » qui est apparu par hasard sur le radar de l’organisation et qui a évolué en vase clos avant de faire son apparition formelle. Le PEP est plutôt l’aboutissement d’une prise de conscience progressive de l’importance de l’évaluation comme vecteur de la mission universitaire de l’établissement et de l’amélioration de la qualité des services à la clientèle. D’une certaine manière, le PEP découle d’une dizaine d’années de sensibilisation, de côtoiement, de familiarisation et de questionnement sur l’évaluation. Ce processus n’est pas nécessairement conscient ; il pourrait s’apparenter à ce que Gladwell (2000) appelle « tipping point », ce point de bascule où, après une lente progression, un phénomène prend de l’ampleur et se répand rapidement dans les mœurs, habitudes ou façons de penser et de faire des populations. Le point de bascule pour le PEP a été le fait que de plus en plus de gestionnaires et d’intervenants de l’organisation ont pu être exposés, au cours des années, à des opérations d’évaluation de leurs programmes et constater d’eux-mêmes l’utilité potentielle de ce genre de démarche. Il y avait donc un terreau fertile pour l’avènement d’une initiative de ce genre.

38Un autre aspect novateur du PEP est que l’offre d’y participer a été ouverte à toutes les équipes d’intervenants de l’établissement (plus de 30 équipes potentielles). Cela reflète bien l’esprit dans lequel le projet a été pensé : offrir une opportunité à tous, sans prérequis, sauf évidemment l’engagement de base nécessaire à la réalisation du projet. Le message était lancé que toutes les équipes sont capables de développer et de réaliser un projet d’évaluation de leurs pratiques ! On pourrait aussi associer à cet aspect une notion de démocratisation de l’évaluation.

39Paradoxalement, le PEP est une décision de la direction de l’établissement, donc une décision que l’on pourrait qualifier à première vue de « hiérarchique », mais dont le sens est de favoriser la participation active des intervenants. Ainsi, on a affaire à une décision de type « top-down » pour mettre en place une opération de nature « bottom-up ».

40Concernant la réalisation des projets, les aspects novateurs peuvent être identifiés à différents moments de la démarche. Par exemple, dans le choix des questions d’évaluation, les équipes doivent proposer elles-mêmes des sujets d’intérêt ; lors des collectes de données, les intervenants doivent s’investir pour les faciliter en sollicitant les usagers, complétant eux-mêmes des sondages, etc. La prise de connaissance des données par les équipes est un moment privilégié dans la démarche PEP. Le niveau d’intérêt est alors très élevé et suscite des échanges nombreux entre les membres des équipes. L’aspect novateur tient ici au fait que les équipes s’approprient les données disponibles, peuvent en critiquer la qualité et émettre des opinions sur le sens à leur donner en lien avec l’évaluation de leurs pratiques.

41Enfin, un dernier aspect novateur du PEP est la réduction du temps entre l’identification des questions d’évaluation et la prise de connaissance des résultats. Bien que les projets PEP s’échelonnent officiellement sur deux ans, les résultats disponibles sont rapidement acheminés aux équipes. Selon le projet, des équipes ont pu avoir accès aux premières informations sur leurs pratiques entre trois et six mois après le début de celui-ci.

***

42Le PEP a permis d’expérimenter concrètement une démarche d’évaluation issue des intérêts des praticiens. On sait que la notion d’évaluation crée des craintes et des appréhensions chez ceux qui pensent qu’ils doivent la subir. En engageant activement les intervenants tout au long du processus, le PEP a réussi, du moins en partie, à atténuer les appréhensions des intervenants à cet égard. Il a également permis de raccourcir le temps habituel entre la production de données et leur appropriation par les personnes intéressées. À mesure que les résultats étaient produits, les équipes en étaient saisies et participaient à la discussion sur le sens à leur attribuer. Ce processus d’appropriation est crucial si l’on veut que les résultats soient utiles à l’action.

43Le PEP a poussé la pratique de l’évaluation au CJQ-IU à un niveau plus avancé en mettant à contribution les praticiens dans l’élaboration et la réalisation de leur propre évaluation. Cependant, l’évaluation telle qu’elle a été réalisée dans le cadre du PEP peut être qualifiée d’opération ad hoc, c’est-à-dire non récurrente et sûrement pas institutionnalisée. En ce sens et dans une perspective d’avenir, la performance des équipes quant à l’évaluation de leur pratique et à leur capacité à se mobiliser autour de résultats probants demeure incertaine. Le PEP est un projet de démonstration sur la faisabilité de ce genre d’opération, mais la pérennité éventuelle d’une telle pratique au sein de l’établissement demande une réflexion plus poussée sur les paramètres opérationnels à mettre en place pour atteindre cet objectif. Ce qui n’a pas empêché l’établissement de démarrer trois équipes PEP supplémentaires en 2010 et de lancer un appel d’offres pour deux nouvelles équipes en janvier 2011.