1Depuis la récession économique des années soixante-dix, l’Etat, les administrations publiques, les collectivités territoriales et locales, soucieuses de mieux contrôler leurs dépenses, sont devenues nécessairement plus attentives aux résultats des actions qui relèvent de leur financement. Ainsi, ont été mis en place des programmes d’évaluation des politiques ou des actions menées dans des secteurs aussi divers que la santé, l’éducation, l’assistance économique ou la formation professionnelle. Citons, par exemple : les travaux d’utilité collective (TUC), l’allocation de parent isolé, les niveaux scolaires ou les villes pilotes de l’Agence française pour la maîtrise de l’énergie. L’effet est aussi très sensible dans le secteur du travail social notamment depuis la décentralisation des compétences de l’Etat vers les départements. Des opérations d’évaluation ont été menées dans des établissements, des centres, des services accueillant ou prenant en charge des publics déficitaires ou difficiles (Dutrenit, 1986 ; Le Poultier 1990). Très symptomatique aussi est le fait que dans les recommandations qui ont accompagné la mise en place du revenu minimum d’insertion (RMI) figurait en toutes lettres la nécessité d’accompagner étroitement cette action d’un dispositif d’évaluation, ce qui fut fait (Viveret, 1990). Si directement ou indirectement la crise économique est à l’origine de leur expansion, les pratiques évaluatives ont d’autres objectifs que de rendre compte d’une utilisation efficiente des fonds publics. Elles contribuent aussi à justifier des choix politiques dans ces domaines et à légitimer des dispositifs organisationnels adoptés. En bref, l’évaluation est un processus lourdement chargé d’enjeux sur les plans économique, politique, organisationnel et idéologique mais elle est aussi entrée dans les mœurs ; elle s’est institutionnalisée ; elle donne lieu au développement, sans doute un peu excessif, d’une véritable culture évaluative, au point que la question essentielle n’est plus de savoir s’il faut ou non évaluer mais plutôt de savoir comment évaluer. Les réponses méthodologiques à cette question ne font pas défaut y compris dans le champ de la psychologie sociale et à l’intérieur même de ce volume. Cependant, la complexité des objets à évaluer et le poids des enjeux qui pèsent sur eux conduisent rapidement à considérer que leur évaluation ne peut se satisfaire de l’application d’un outil ad hoc maîtrisé par un praticien et requièrent plutôt un travail d’ingénierie mené par un expert capable d’analyser l’objet et son contexte, de concevoir un programme logique adapté, d’en assurer la régulation et le contrôle. Ainsi en a-t-il été de l’évaluation de l’action qui sert d’exemple à cette contribution : le plan de formation des cadres du Ministère de la justice.

Le plan de formation des cadres du Ministere de la justice

2Mis en œuvre en janvier 1990, le plan de formation des cadres du Ministère de la justice est probablement l’un des programmes de formation les plus ambitieux mis en place pour un organisme d’état. En effet, il est prévu pour accueillir, sur une période de cinq ans, 2500 cadres du Ministère de la justice dont 700 dès la première année. Il s’agit aussi d’une initiative originale à la fois dans sa conception et dans sa réalisation parce qu’elle vise à réduire un cloisonnement interne qui est pourtant revendiqué comme une réelle richesse, mais qui ne correspond plus aux besoins actuels de l’institution judiciaire et aux exigences de son environnement.

Des appartenances catégorielles trés fortes

3Le Ministère de la justice, contrairement à la perception immédiate qu’une personne extérieure pourrait en avoir, est loin d’être une organisation monolithique. Il s’est constitué au fil du temps par strates successives sans qu’une politique arrêtée ait accompagné les différentes réformes ou redéploiements comme par exemple la prise en charge des équipements pénitentiaires, la création de l’éducation surveillée ou la fonctionnarisation des greffes. En fait, ce qu’il est convenu d’appeler “l’institution judiciaire” se compose de cinq administrations : l’administration centrale, la magistrature, les greffes, l’administration pénitentiaire et la protection judiciaire de la jeunesse qui correspond à l’ancienne éducation surveillée. Pour des raisons historiques qui ne peuvent être développées ici, chacune de ces administrations a sa propre culture et ses propres modes de fonctionnement. Un fait illustre bien le caractère composite du Ministère de la justice et contribue sans doute à accentuer ce phénomène de différenciation inter-administration. Il n’existe pas de centre de formation commun à l’ensemble du ministère mais chaque administration possède son lieu de formation et ses formations spécifiques. La magistrature a deux écoles nationales : l’une à Paris et l’autre à Bordeaux ; les greffes ont leur école nationale à Dijon, l’administration pénitentiaire a la sienne à Fleury-Mérogis et enfin la protection judiciaire de la jeunesse a son centre de formation installé à Vaucresson. Sur le plan psychosocial, ce cloisonnement historiquement obligé des cinq administrations entraîne évidemment des phénomènes de catégorisation intergroupe qui structurent les relations entre les administrations et situent sur des échelles de valeur les personnes appartenant à l’une ou l’autre de ces administrations. Ainsi, pour résumer, les magistrats constituent le corps noble de la justice, ceux qui “disent la loi” et représentent le groupe le plus valorisé socialement. Tous les magistrats sont statutairement cadres et une très forte résistance est apparue au sein de ce groupe quand la notion de cadre n’a plus été rattachée au statut mais aux réelles fonctions d’encadrement. Il en est tout autrement pour les “fonctionnaires” de l’administration pénitentiaire, des greffes ou de la protection judiciaire de la jeunesse qui, tout en ne voulant pas être confondus entre eux, se définissent plutôt comme des groupes dévalorisés. Ce phénomène de catégorisation intergroupe, bien appréhendé théoriquement par les psychologues sociaux, est une donnée essentielle à cette étape de l’analyse. La suite le montrera puisqu’en effet il aura une influence importante sur la fréquentation des formations par les personnes de l’une ou l’autre des administrations.

Soutien à la modernisation et création d’une culture commune

4Dans les années quatre-vingt, l’institution judiciaire est fortement secouée par des luttes sociales aiguës et par des “affaires” au travers desquelles la justice a sans doute perdu un peu de sa crédibilité. Par ailleurs, elle offre à l’extérieur l’image d’une administration obsolète, complexe, difficile d’accès et surtout incapable de faire face aux changements et aux redéploiements rendus pourtant obligatoires par l’augmentation des contentieux, l’inflation du nombre de mesures d’emprisonnement et la nécessité d’une prévention active de la récidive dans certains secteurs (De Liège, 1989). A l’intérieur, chacune des administrations se recentre sur sa propre identité pour se dissocier de cette image générale de la justice plutôt dévalorisée accentuant en cela le phénomène évoqué plus haut et entraînant consécutivement des problèmes de relations inter-administration de plus en plus complexes à réguler.

5L’ensemble des changements nécessaires pour offrir à la justice une image revalorisée vont être regroupés sous le concept de “modernisation de la justice”. Le Garde des Sceaux avance alors l’idée de création d’une culture commune à l’ensemble du ministère en arguant du fait que la modernisation souhaitée ne peut aboutir que si un travail de coopération entre les différentes administrations de l’institution judiciaire est mis en œuvre. Ces deux orientations politiques sous-tendent donc la mise en place en mars 1989 d’un plan de modernisation de la justice dont le but est d’articuler les différentes actions entreprises. Ces actions reposent sur plusieurs axes dont le principal est l’élaboration et la mise en place d’un plan de formation des cadres du Ministère de la Justice qui est conçu comme un moyen de création d’une culture commune à l’ensemble des cadres des cinq administrations et de soutien aux actions de modernisation.

Un moyen d’opérationnaliser des objectifs politiques

6Le plan de formation des cadres du Ministère de la justice se voit donc assigner deux objectifs principaux dont les définitions opératoires sont en résumé les suivantes. Le premier objectif est la tentative de décloisonnement des administrations et de création d’une culture commune aux cadres du Ministère de la justice par l’acquisition d’un savoir-faire commun dans les domaines de la gestion des ressources humaines. La mise en place de pratiques nouvelles de management est en effet conçue comme un moyen de faire évoluer les relations et les représentations entre les différentes administrations par la création d’un “corps de cadres transversal” à l’ensemble du Ministère de la justice. Afin d’opérationaliser cet objectif dans une formation, trois principes de base ont été énoncés d’emblée. Premièrement, afin d’éviter les effets d’appartenance catégorielle, le plan de formation des cadres doit être indépendant des cinq écoles qui forment les personnels du ministère. Deuxièmement, pour faciliter la création d’une culture commune, les formations sont transversales ce qui implique la présence simultanée dans chaque stage de personnels des cinq administrations. Troisièmement, la notion de cadre n’est plus rattachée à son caractère statutaire mais à son caractère organisationnel “est cadre celui qui a une véritable fonction d’encadrement”. Cette définition de la notion de cadre a pour ambition de diminuer la saillance de l’appartenance à une administration et de favoriser l’accentuation d’un point commun à la plupart des cadres fonctionnels à l’intérieur de l’ensemble du Ministère de la Justice : la gestion d’un service. Un ensemble de modules de formation regroupés sous l’intitulé “management et justice” portent ainsi sur l’environnement judiciaire et administratif, la gestion des ressources humaines, la gestion des relations sociales, la communication externe, la communication interne.

7Le deuxième objectif est plus proche du terrain puisqu’il s’agit d’accompagner, par la formation, des actions de modernisation menées ici ou là. Un ensemble modulaire intitulé “formations spécifiques” a été programmé pour répondre à cet objectif. Il est composé de modules qui s’adressent à des publics particuliers pour des besoins ponctuels ou spécifiques comme par exemple : la gestion du temps, la gestion de l’espace ou la mise en place de tableaux de bord. Il comporte également des modules de formation de formateurs destinés, à terme, à réduire le recours à des sociétés de formation extérieures. Il propose également des modules de formation-action dans lesquels sont programmés des apports méthodologiques à la conduite de projets déjà en cours. Cet ensemble de formations spécifiques vise un public plus large qui peut inclure des cadres n’ayant pas de réelle fonction d’encadrement ou encore des cadres potentiels.

L’evaluation du plan de formation : une option methodologique

8Après deux années de fonctionnement, le Ministère a demandé une évaluation du plan de formation des cadres. A cet effet, sur la base d’un cahier des charges, il a lancé un appel d’offre auquel ont répondu divers organismes : cabinets privés, associations, équipes de recherches universitaires issues de différents secteurs disciplinaires comme les sciences de l’éducation, les sciences économiques et la psychologie sociale. Le projet retenu a été celui proposé par un laboratoire de psychologie sociale d’une université. Le fait mérite d’être mis en exergue non pas pour entonner un couplet d’auto-satisfaction mais parce qu’il est peut-être symptomatique d’une revalorisation de l’apport de la recherche scientifique fondamentale aux domaines des applications.

9Le projet accepté par le Ministère de la justice était nettement inspiré par les développements récents de la psychologie sociale cognitive et étayé par une méthodologie d’esprit ouvertement expérimental. Sur plusieurs aspects fondamentaux, il tranchait avec la plupart des autres projets qui envisagaient de recourir à une organisation comportant une série d’entretiens classiques et une enquête par questionnaires non moins conventionnelle.

10Un point de divergence avait trait, par exemple, au statut des informations obtenues en interrogeant les personnes au cours des entretiens ou à travers les questionnaires. Dans plusieurs autres projets, il était implicitement présupposé que les personnes, en l’occurrence les promoteurs du plan, les formateurs ou les cadres formés, avaient un accès direct aux “vrais” raisons de leurs décisions ou aux “vraies” données de leurs jugements sur l’intérêt ou l’apport de la formation. Cette conception conduisait tout naturellement à une programmation méthodologique dans laquelle les techniques sont utilisées pour permettre aux personnes de dire ce qu’elles ont à dire, la préoccupation essentielle étant de créer les conditions qui favorisent l’expression du produit de cette auto-observation. Il n’est nul besoin de faire de longs développements théoriques sur la cognition sociale pour admettre que les réponses à un questionnaire même standardisé ou les propos tenus à un interviewer même neutre et bienveillant sont le résultat d’un traitement d’informations et non le strict exposé des états intérieurs du sujet en matière d’opinion. Ce traitement est immanquablement affecté dans son fonctionnement et dans la qualité de ce qu’il produit par des biais, des erreurs ou des distorsions dont la liste est presque un sommaire de manuel de psychologie sociale cognitive et qui sont de deux ordres en théorie distincts (Le Poultier, 1993). Certains relèvent de dysfonctionnements cognitifs : ne se souvenir que des premières ou dernières informations, par exemple, et impliquent des modalités techniques précises pour être évités ou réduits. D’autres effets de distorsion sont d’origine normative comme, par exemple, répondre ce qui paraît socialement le plus acceptable compte tenu de qui est présupposé comme attentes chez celui qui pose la question ou conduit l’entretien. Leur traitement méthodologique est plus complexe parce qu’il nécessite, par exemple, de masquer ou de rendre moins visible ce que mesure réellement un questionnaire pour éviter que les personnes répondent conformément à des attentes normatives. Beauvois, dans ce volume, donne un exemple montrant comment il est possible d’obtenir auprès d’une même population des données d’opinion complètement divergentes en utilisant un instrument dans lequel l’objet mesuré est visible et un autre dans lequel il ne l’est pas.

11Ce principe brièvement exposé à propos du statut des informations de base et quelques autres non moins importants avaient donc conduit à proposer une organisation méthodologique et des modalités de construction et d’utilisation d’outils sensiblement différentes des autres projets d’évaluation du plan de formation des cadres du Ministère de la justice. Etait-ce la distinctivité du projet, l’appel à des théories dans l’air du temps, le recours à des modèles méthodologiques plus “durs” qui ont penché en faveur de ce projet ? La question reste posée. Quoiqu’il en soit, il faut relever à ce propos un fait important dont la portée est plus générale. Il semble que là comme ailleurs le renouvellement des pratiques psychosociales passe peut-être par les laboratoires et la recherche fondamentale.

Deux objets à évaluer et deux programmations méthodologiques

12Le programme proposé par le laboratoire de psychologie sociale et retenu par le Ministère de la justice a duré un peu plus d’une année. Schématiquement, il a procédé à une analyse pas-à-pas du processus qui, en théorie, avait conduit des grands objectifs gouvernementaux émis à la fin des années quatre-vingt aux retombées effectives dans l’institution judiciaires et plus précisément dans le fonctionnement quotidien des services quelques années plus tard. L’étude de ce processus a amené à considérer deux objets distincts à évaluer. Le premier était le fonctionnement du plan de formation et le second son efficacité. Autrement dit, l’évaluation portait, d’une part, sur la logique de mise en œuvre des moyens et, d’autre part, sur les résultats. Cette distinction n’était pas purement formelle puisque l’organisation méthodologique qui devait répondre à cette question : “La formation mise en place est-elle une traduction opératoire cohérente des objectifs assignés à cette formation ?” n’était par la même que l’organisation méthodologique qui devait apporter une réponse à cette autre question : “La formation a-t-elle produit les effets espérés lors de sa mise en place ?”. Comme le cadre restreint de cette contribution ne permet pas de longs développements techniques, il est préférable de résumer cette différence d’architecture méthodologique en indiquant que l’évaluation portant sur le fonctionnement relevait d’une approche descriptive communément appelée “audit” aujourd’hui et que l’évaluation de l’efficacité emprunte plutôt sa démarche à l’approche expérimentale.

L’évaluation du fonctionnement du plan de formation des cadres

13Cette première partie a consisté à combiner, suivant une programmation strictement définie, plusieurs techniques psychosociales : analyse du contenu d’une quarantaine de documents, entretien semi-directif mené auprès d’un panel d’une vingtaine de personnes, traitements de données statistiques relatives aux 1500 stagiaires formés en deux ans et questionnaire adressé à un échantillon de 250 stagiaires. L’objectif était de parvenir à une description à la fois la plus précise et la plus fidèle possible du processus de mise en place et de fonctionnement du plan de formation des cadres. Cette organisation méthodologique pourra sembler à certains assez habituelle et somme toute peu innovante. Sans entrer dans le détail, il faut quand même souligner quelques points importants.

14Cette démarche “multi-technique” n’est pas aussi répandue qu’il y paraît. Il est fréquent qu’une évaluation ou qu’un audit soit mené avec comme seul support technique des questionnaires ou une série d’entretiens et que, par conséquent, le produit de l’évaluation ou de l’audit ne soit pas autre chose que le résultat de l’exploitation des seuls questionnaires ou des seuls entretiens. L’idée fondamentale qui a déterminé le choix de recourir à plusieurs techniques dérivait en partie de ce qui a été brièvement exposé plus haut. Une personne impliquée à un moment ou un autre dans le processus de mise en place et de fonctionnement du plan de formation ne détenait pas à elle seule des informations valides, fiables et pertinentes rendant compte du déroulement effectif des opérations. Seul le recoupement d’informations diverses, contradictoires, factuelles relatives aux mêmes objets obtenus à partir de supports différents permettait la meilleure reconstitution du processus de mise en place du plan de formation.

15Ensuite, il faut préciser que les outils utilisés dans ce programme d’évaluation ont toujours été construits à partir d’un ensemble d’indicateurs qui ne devaient pas en eux-mêmes constituer des critères d’évaluation immédiatement accessibles comme tels à la connaissance des personnes. Qu’il s’agisse du guide d’entretien, de la grille d’analyse de contenu ou des questionnaires, les formulations retenues ont toujours été aussi descriptives que possible de telle sorte que les sujets interrogés ne se situent pas d’emblée dans un registre évaluatif en pensant qu’ils doivent donner leur avis ou produire un jugement mais s’efforcent plutôt de restituer des informations en décrivant le déroulement des événements et en expliquant comment ils s’enchaînent. Cependant, il faut rester lucide quant à l’efficacité et aux limites d’une telle procédure. Des erreurs, des confusions et autres distorsions persistent nécessairement. Les conditions de remémoration a posteriori d’événements dans lesquels les personnes sont impliquées comme acteur rendent difficilement inévitables des biais comme l’auto-complaisance (Zukermann, 1979) ou bénefficience (Greenwald, 1992). Comment pourrait-on empêcher une personne de s’attribuer le mérite des réussites et de refuser d’endosser les échecs ? Un exemple parmi d’autres : des personnes interrogées avaient tendance par exemple à surestimer la fréquence de certains événements. Nombre d’entre-elles ont fait état de “plusieurs opérations portes ouvertes” qui, après vérification dans les documents, se sont réduites à une seule.

16Précisons enfin que la phase de recueil des informations a été formellement dissociée de la phase d’évaluation ou de production de jugements de valeur sur la cohérence du déroulement des opérations. En interprétant de manière immédiatement évaluative un événement ou un fait particulier au moment où il en prend connaissance, un opérateur a toutes les chances de mettre en place des stratégies de confirmation d’hypothèse pour démontrer le bien fondé de ses inférences. A certains égards, cette distinction entre évaluation immédiate et évaluation différée pourrait s’apparenter à celle qui est faite entre le traitement de l’information “en route” et le traitement de l’information “par rappel en mémoire” dans l’activité de jugement (Hastie et Park, 1986). Là comme ailleurs, les risques de distorsions dans le traitement de l’information sont plus élevés dans le premier cas que dans le second. En résumé, le problème majeur de d’évaluation du fonctionnement du plan de formation des cadres était lié au recueil a posteriori d’un ensemble d’informations diluées dans le temps et marquées par des effets de reconstruction tendant à rendre cohérent après-coup le déroulement de la mise en place.

L’évaluation de l’efficacité à trois niveaux

17Cette seconde partie du programme d’évaluation avait pour objectif de mesurer les effets du plan de formation des cadres à trois niveaux. Le premier correspondait au niveau intra-individuel où sont habituellement mesurés les effets d’une formation autrement dit à travers la perception que les stagiaires ont, pour eux-mêmes, des apports de la formation qu’ils ont suivie. Les autres niveaux sont moins classiques puisque ont été mesurés, à un deuxième niveau, l’effet de la formation dans la pratique professionnelle quotidienne des cadres formés et, à un troisième niveau, l’impact de cette formation dans l’environnement professionnel des stagiaires.

18Un questionnaire a été adressé à un échantillon de 250 stagiaires. Il comportait un ensemble de questions portant globalement sur les attentes des stagiaires avant la formation, sur les apports effectifs de la formation en termes d’acquis professionnels et sur l’atteinte des objectifs de modernisation et de création d’une culture commune au cadre du Ministère de la justice. La construction du questionnaire a été constamment guidée par la volonté de réduire ou de contrôler les effets normatifs liés à des valeurs personnelles ou catégorielles. Ainsi, la formulation des questions et des réponses standardisées impliquait des données factuelles : des comportements professionnels, des situations concrètes, des acquis repérables. Malgré les précautions prises, les promoteurs de l’évaluation ne se font pas trop d’illusion sur ce que mesure réellement cette phase. Même si l’énoncé des contenus de formation pouvaient agir comme un indice de rappel, un an ou deux ans après, les stagiaires ne se souvenaient pas avec précision de leurs attentes avant la formation, des apports de celle-ci et des acquis qu’ils en ont retirés. Ils ont sans doute fonctionné comme bon nombre de personnes interrogées dans les mêmes conditions qui reconstruisent le passé à la lumière des données présentes (Snyder et Uranowitz, 1978), qui adoptent implicitement pour soi une démarche auto-justifiante (Greenwald, op. cit.) ou encore valorise de manière quasi inconditionnelle la formation reçue. Une raison majeure avait néanmoins conduit à retenir ce type de procédure pour mesurer les effets de la formation à ce niveau déclaratif. Cette phase étant suivie de deux autres portant sur le niveau comportemental et le niveau environnemental, il était intéressant de pouvoir associer les trois niveaux dans une même évaluation sans exclure aucun cas de figure y compris celui où les stagiaires considéraient que la formation leur avait beaucoup apporté sans que leur pratique professionnelle s’en soit ressentie et sans qu’elle ait eu le moindre impact dans leur environnement.

19Au deuxième niveau, l’évaluation de l’impact de la formation sur les pratiques professionnelles des stagiaires a été conçue selon un plan d’observation quasi-expérimental assez proche de celui utilisé pour évaluer d’autres actions, des Centres d’Aides et de Redynamisation par le Travail, par exemple (Dutrenit, op. cit.). Deux groupes de cadres du Ministère de la justice ont été constitués. Le premier était composé de personnes ayant suivi la filière de formation “management et justice”, le second groupe servant de groupe témoin comportait des personnes fonctionnellement équivalentes à celles du premier groupe mais n’ayant suivi aucun des stages du plan de formation des cadres. Une liste de cinquante comportements ou actes professionnels significatifs a été construite notamment à partir des acquis ou des savoir-faire visés par les formations “management et justice” A titre d’exemple, figuraient dans cette liste des actes professionnels comme : “élaborer avec ses collaborateurs une grille d’auto-contrôle de l’avancement du travail”, “utiliser des diagrammes de Paréto”, “programmer l’évaluation périodique de l’avancement des dossiers” ou “informer ses collaborateurs des résultats d’un dossier traité”. Pendant une période de deux mois et à raison d’une interrogation par semaine, les cadres des deux groupes devaient indiquer par téléphone s’ils avaient ou non adopté chacun des cinquante actes professionnels de la liste au cours de la semaine écoulée. Concrètement, un opérateur lisait un à un les cinquante comportements et la personne interrogée devait répondre par oui ou par non pour chacun des comportements. Le caractère factuel des informations, le mode de traitement séquentiel et la pression temporelle qui résulte du mode d’interrogation contrarient nécessairement la tendance à “travailler cognitivement” ses réponses pour les rendre acceptables ou donner une image de soi positive. En bref, il était supposé que les cadres interrogés n’auraient pas le temps ni les moyens de se construire une perception d’ensemble de la liste qui leur aurait permis de développer une stratégie de traitement autre que celle de répondre “j’ai fait” ou “je n’ai pas fait”. Sur ce point aussi, il y a une divergence fondamentale entre les approches fondées sur l’idée que les personnes peuvent restituer directement et “honnêtement” ce qu’elles font et celles qui présupposent qu’elles n’ont pas cet accès direct et qu’il faut fonctionner en rappel à partir de listes dont la logique et la signification globale échappent à celui qui y répond. Il y a une distance méthodologique de quelques années lumières entre poser cette question : “Avez-vous le sentiment d’avoir managé de manière participative votre équipe ?” et inviter à répondre rapidement par oui et pas non aux items d’une liste dans laquelle figurent réparties aléatoirement une dizaine de comportements significatifs d’un cadre-manager participatif.

20Le troisième niveau auquel étaient évalués les effets du plan de formation des cadres portait sur l’impact sur l’environnement professionnel des stagiaires. L’architecture méthodologique était assez semblable à celle qui organisait l’évaluation au deuxième niveau. Deux populations de cadres du Ministère de la justice ont été constituées. L’une était composée de cadres ayant suivi de manière relativement intensive la formation, l’autre de cadres n’ayant participé à aucune des formations. Ensuite, pour chaque cadre des deux populations, ont été recensées, d’une part, les personnes qui travaillent sous sa responsabilité et, d’autre part, les principaux partenaires extérieurs avec lesquels il est susceptible de collaborer : responsables de mission locale pour l’emploi, élus locaux, inspecteurs de Direction départementale des affaires sanitaires et sociales, par exemple. Un questionnaire a été adressé aux subordonnés des cadres ayant suivi la formation et aux subordonnés des cadres n’ayant pas suivi la formation. Il portait globalement sur le fonctionnement du service, les relations interpersonnelles, la communication. Un second questionnaire a été envoyé aux partenaires des mêmes cadres. Il traitait des relations inter-institutionnelles, du fonctionnement du service vu de l’extérieur, de l’image du Ministère de la justice. L’objectif était évidemment de procéder à une comparaison entre ceux, collaborateurs ou partenaires, qui travaillent régulièrement avec un cadre formé aux pratiques managériales et ceux qui travaillent tout aussi régulièrement avec un cadre non formé aux pratiques managériales. La construction des questionnaires a été guidée par les mêmes principes que ceux qui sous-tendaient l’élaboration des instruments dans les phases précédentes. Par exemple, pour mesurer de manière indirecte la polarité des relations interpersonnelles, ont été utilisées des listes de qualificatifs établies par Bazoumana et Belle (1985) et employées depuis par Beauvois pour des expériences rapportées dans ce volume. Plutôt que d’évaluer sur une échelle allant d’un pôle positif à un pôle négatif la qualité de leur relation avec leur responsable ou leur partenaire, les personnes interrogées devaient caractériser cette relation au moyen d’une liste de 27 concepts en choisissant ceux qui leur semblaient les plus appropriés. Pour elles, tout se passait comme si elles décrivaient leurs rapports professionnels et non comme si elles ont à porter explicitement un jugement de valeur sur ceux-ci. Pour convaincre le lecteur de l’importance de cette distinction, invitons le simplement à imaginer ce qui peut se passer dans la tête d’un subordonné quand il rencontre une question lui demandant de produire même anonymement un jugement de valeur sur ses rapports professionnels avec son responsable.

21Tel a été le programme mis en place pour évaluer le plan de formation des cadres du Ministère de la justice. Il est récapitulé dans la figure 1.

Figure 1. : Organisation du programme d’évaluation du plan de formation des cadres du Ministère de la justice

Quelques resultats

22L’objectif de cette contribution, le lecteur l’aura compris, n’est pas fournir des résultats rendant compte d’une avancée décisive de la connaissance scientifique en psychologie sociale mais de montrer comment des apports théoriques et méthodologiques issus de la recherche fondamentale sont intégrés dans la conception et la mise en place d’un programme d’évaluation portant sur un processus impliquant des personnes, des groupes et des fonctionnements organisationnels. Néanmoins, les principales conclusions aux-quelles ce programme a permis de parvenir méritent d’être mentionnées notamment parce qu’il est peu vraisemblable qu’une méthodologie traditionnelle aurait permis de les mettre en évidence.

Une mise en place et un fonctionnement apparemment cohérents

23Au terme de la partie “audit” de l’évaluation portant sur la mise en place du plan de formation, la démarche allant des décisions gouvernementales à leur transcription dans les modules de formation apparaît comme un processus généralement, linéaire, logique et cohérent. Est-ce le modèle d’évaluation qui, pour reprendre l’expression de Beauvois (1981), étant de nature “technocratique” aurait lui-même mis de la cohérence là où il n’y avait peut-être pas autant ? Certes, pour “pister” le déroulement d’un processus comme le font les cognitivistes (Courrieu, 1989), il est nécessaire d’envisager, au moins provisoirement, les différentes étapes par lesquelles il passe et de mettre en place des outils d’observation à chacun des passages. De là, à conclure que le dispositif d’observation crée la cohérence du phénomène voire le phénomène lui-même, il n’y a évidemment qu’un pas facile à franchir. Mais, dans le cas présent, l’évaluation de la cohérence d’une démarche qui a conduit des objectifs gouvernementaux à la définition du contenu de la formation ne s’est pas contentée de vérifier si le processus a bien franchi ces différents passages obligés que sont la définition des objectifs généraux, l’analyse des besoins, l’élaboration d’un programme, le choix des contenus et des intervenants, etc. Elle s’est surtout focalisée sur la cohérence entre ces différentes phases, autrement dit, pour une phase donnée, sur son articulation avec celle qui précède et sa prise en compte dans celle qui suit.

24Si globalement la démarche semble cohérente, une ou deux articulations particulièrement “fluides” soulèvent quelques interrogations. Ainsi, en est-il du passage de la demande de formation du ministère lors d’un appel d’offre à la réponse des cabinets de formation. Cette étonnante adéquation entre l’offre et la demande résulte probablement d’une définition très large de la demande qui pouvait ainsi être traitée selon des angles différents. Par exemple, les documents d’offre de formation étaient pour leur part relativement flous quant à des objectifs précis en terme d’acquis ou d’apports professionnels. Tout aurait pu se passer comme si, pour pallier le décalage inévitable entre les exigences du ministère et les exigences propres aux organismes de formation, une sorte de compromis avait été trouvée entre la demande de formation et les offres de formation sur des valeurs abstraites mais désirables qui tenaient lieu d’objectifs généraux (Beauvois, op. cit.). Plus loin dans le processus, les documents d’évaluation “à chaud” des stages émanant de ces mêmes cabinets ont reflété une satisfaction générale des stagiaires, satisfaction d’autant plus grande que les stagiaires retournaient les documents au secrétariat du plan de formation des cadres et les accompagnaient d’une lettre reprenant le discours politique d’usage sur la nécessité du plan de formation des cadres. Une évaluation classique aurait pu en rester là et conclure ainsi : les objectifs ont été respectés, les formateurs ont fait ce qui leur était demandé et les stagiaires sont satisfaits.

Quelques craquements dans le fonctionnement du dispositif

25Cette relative cohérence et cette efficacité apparente au moins jusqu’au niveau de la satisfaction immédiate des stagiaires sont remis en cause par une simple étude statistique de la fréquentation du dispositif de formation. En effet, un fort déséquilibre est constaté dans la participation des différentes administrations au plan de formation des cadres. Les magistrats, qui représentaient la plus grande partie des cadres à former, sont, dès la seconde année, les grands absents de la formation, montrant en cela qu’ils ne se reconnaissaient pas dans la nouvelle définition de la notion de cadre qui remettait en cause leur supériorité statutaire de droit. Tout aussi importante est la désaffection, la deuxième année, des formations de la filière management et justice, qui était le vecteur principal de la création d’une culture commune, au profit des formations spécifiques plus ciblées et répondant à des demandes précises. Enfin, selon les sessions, les formations n’ont pas toutes été transversales. La notion de transversalité comme d’ailleurs la notion de cadre semble en effet davantage relever d’une volonté des organisateurs du plan de formation que d’une réelle préoccupation des cadres. En bref, le mode de fréquentation des stages examiné d’un point de vue strictement statistique montre que les objectifs de décloisonnement, de transversalité et de création d’une culture commune ne pouvaient plus être réalisés, puisque dès la deuxième année, les stagiaires faisaient à nouveau jouer leur appartenance catégorielle et s’intéressaient à des contenus très spécifiques en rapport direct avec leurs préoccupations professionnelles du moment. Que penser alors de l’étude des besoins qui avait contribué à élaborer ce programme et avait identifié comme prioritaires des contenus de formation qui n’attiraient plus les stagiaires dès la deuxième année ? Il est alors probable que l’étude des besoins réalisée lors de la mise en place du plan de formation relevait plus d’une démarche de confirmation d’hypothèse ou d’une enquête d’utilité publique. Pouvait-il en être autrement compte tenu de la place de l’étude des besoins dans le processus d’élaboration du plan de formation des cadres qui intervenait après la définition des grands objectifs de formation ? Le problème posé par l’étude des besoins n’est cependant pas propre à la mise en place du plan de formation des cadres, il se retrouve dans toute mise en place de formation : l’analyse des besoins prend traditionnellement place après la définition des grands objectifs de formation qu’elle pourra tout au plus réajuster. Elle a donc plus pour fonction de cautionner la mise en place d’une action de formation et accessoirement de dégager les manques susceptibles d’être comblés (Beauvois, op. cit.).

Une absence de retombées effectives

26Les objectifs généraux du plan de formation des cadres ont été bien accueillis par les stagiaires. Leur participation aux formations a été motivée en partie par ces objectifs. Ils sont satisfaits de l’organisation des stages et du contenu pratique et théorique des formations. Ces données obtenues quelques années après le déroulement des stages sont consistantes avec les évaluations faites à chaud par les formateurs. Pourtant, les retombées positives du plan de formation des cadres pour les stagiaires s’arrêtent pratiquement là. Avec le recul du temps, les cadres ayant suivi les formations sont très partagés quant à l’atteinte des objectifs de soutien à la modernisation et de création d’une culture commune. Par ailleurs, il apparaît que leurs attentes avant les stages étaient significativement plus élevées que les apports effectifs dans les différents domaines traités par la formation. Ce résultat est à prendre avec beaucoup de circonspection car même, avec des techniques de mesure indirecte comme cela fut le cas dans ce programme d’évaluation, les sujets ont souvent tendance à surestimer leurs attentes. Cependant, ce décalage au niveau déclaratif entre le degré de satisfaction mesuré au sortir de la formation et l’apport de la formation mesuré quelques années plus tard amène à douter des retombées de la formation. Ce doute est confirmé par les résultats obtenus au niveau comportemental.

27Entre le groupe des cadres ayant suivi la filière “management et justice” et le groupe des cadres n’ayant pas participé à cette formation, il n’y a pas de différence significative quant à la mise en pratique d’un échantillon d’actes professionnels supposés acquis dans la formation. En effet, le premier groupe met en pratique 41,57 % des actes professionnels de cet échantillon, le second groupe 40,62 % L’examen de la fréquence d’utilisation des actes professionnels rubrique par rubrique ne révèle aucune différence significative entre les deux groupes sauf en ce qui concerne la rubrique “communication interne” mais la différence va dans le sens opposé à celui attendu : les cadres qui n’ont pas suivi le plan de formation ont pendant la période considérée davantage mis en pratique des actions favorisant la communication interne que ne l’ont fait les autres cadres ayant suivi la formation. Il devenaient alors vraisemblable de penser qu’aucune différence ne devrait être observée entre les personnes, subordonnées et partenaires, travaillant avec des cadres formés au management et celles travaillant avec des cadres non formés au management puisque les premiers n’ont pas plus que les seconds mis en pratique ce qu’ils étaient supposés avoir acquis dans leur formation.

28Certes, une absence de différence est toujours délicate à interpréter parce qu’elle peut être imputable aux conditions techniques et/ou à l’organisation méthodologique qui n’étaient pas appropriées pour rendre compte de possibles différences. La période pouvait être mal choisie, les actes professionnels pas suffisamment discriminants, le mode d’interrogation nivelant, l’échantillon de cadres supposés non formés biaisé, etc. Il n’est pas possible d’entrer ici dans un long exposé qui, plaidant en faveur du dispositif adopté, invite à prendre en considération les résultats obtenus et à conclure que les effets du plan de formation des cadres dans la pratique professionnelle n’ont pu être objectivement mesurés.

En conclusion

29Que dire au terme de cette contribution sinon qu’il est impossible de conclure à l’efficacité du plan de formation quant à sa capacité à infléchir dans un sens plus managérial les pratiques des cadres du Ministère de la justice. De multiples raisons peuvent être invoquées pour expliquer ce constat. Première explication, il est apparu que les cadres dont la pratique a été observée en continu utilisent à peu près la moitié des comportements disponibles sur la liste de référence et ceci y compris dans le groupe témoin des cadres n’ayant pas participé au plan de formation. Ce fait pourrait signifier qu’une certaine pratique du management existait déjà chez les cadres du Ministère de la justice. Les formations aurait apporté, comme l’indiquent les résultats obtenus à l’issue de la phase précédente, une formalisation et une théorisation de cette pratique sans pour autant entraîner une plus grande intensité des actes managériaux. La seconde raison complèterait cette première explication. Au Ministère de la justice, comme ailleurs, les pratiques de management se heurtent à des lourdeurs administratives incontournables qui en l’occurrence auraient bloqué l’effet de la formation reçue par les cadres. Adoptons une vision résolument optimiste de l’évolution de l’administration française et imaginons que les cadres formés ne manqueront pas d’utiliser pleinement leurs ressources managériales dès que les conditions de leur travail le leur permettront, ce qui pourrait demander encore quelques années. La troisième raison est d’un ordre plus général. Les phénomènes identitaires qui dérivent d’appartenances catégorielles fortement marquées sont en général structurellement installés dans les organisations. Les psychologues sociaux le savent bien et le lecteur trouvera dans ce volume quelques exemples significatifs. En théorie au moins, les cadres du Ministère de la justice possèdent tous une double appartenance catégorielle. Un premier niveau concerne leur administration d’appartenance : administration pénitentiaire, magistrature, greffe, administration centrale, protection judiciaire de la jeunesse. Un second niveau supposé sur-ordonné au précédent renvoie au fait d’appartenir au Ministère de la justice. Cependant, le sentiment d’appartenir à l’un ou l’autre de ces niveaux n’est pas interchangeable dans n’importe quel contexte. Il est possible de se demander si le plan de formation des cadres en introduisant la notion de cadres transversaux et en insistant sur la représentation égalitaire de chacune des administrations n’a pas renforcé le sentiment d’appartenance à la catégorie d’origine et accentué des phénomènes de sociocentrisme. La désaffection de certaines catégories de cadres, les magistrats notamment, est un fait significatif. Résumons nous en disant qu’il était alors peu problable qu’une action de formation même associée à une opération de communication puisse modifier cet état des choses. Les moyens pourtant considérables qui ont été déployés n’étaient pas à la hauteur d’objectifs ambitieux ou plus exactement ces objectifs étaient quasiment hors d’atteinte du plan de formation des cadres. On ne crée pas une culture commune dans une organisation cloisonnée comme le Ministère de la justice en immergant tous ses cadres dans des formations managériales pendant quelques jours.

30Cette conclusion pour le moins réservée contraste pourtant avec des jugements formulés en amont. Ainsi, la mise en place du plan de formation des cadres a été cohérente puisqu’aucune dérive importante n’a été observée dans ce processus qui va des grandes missions émise au plus haut niveau politique à la définition des contenus de formation. Les stages proposés ont bien marché. Les formateurs avaient du métier. Les stagiaires étaient satisfaits. Mais, lorsque le programme d’évaluation se donne le recul du temps et la distance que confère nécessairement les statistiques, il apparaît que, dès la deuxième année, la formation n’était plus en mesure d’atteindre ses objectifs et surtout qu’elle n’a produit aucun effet tangible dans la pratique et dans l’environnement des cadres formés. Au risque de nous répéter, seule une approche ingénierique de l’évaluation pouvait permettre la mise en évidence de ces écarts entre la cohérence du fonctionnement, la satisfaction immédiate des stagiaires, la fréquentation du dispositif et l’efficacité de la formation. Combien de programmes d’évaluation se seraient satisfaits de quelques entretiens auprès des promoteurs, auprès des formateurs et d’un questionnaire auprès des stagiaires au sortir de la formation et tout aurait été parfait ? Sans reprendre des aspects techniques qui ont été traités plus haut dans ce chapitre, disons que cette démarche psychosociale est au moins caractérisée par trois grands principes. Elle repose sur une culture scientifique théorique et méthodologique qui est ici largement teintée de cognitivisme et d’expérimentalisme. Elle nécessite une capacité d’analyse de la complexité des systèmes ou des contextes sociaux notamment lorsqu’ils reposent sur des appartenances catégorielles fortes. Elle requiert une aptitude à concevoir et à réguler un processus supposant une mise en œuvre coordonnée de diverses techniques elles-mêmes construites et configurées de manière réfléchie. A l’examen des compétences et des savoirs requis par un tel travail, il apparaît alors que le terme d’“ingénierie psychosociale” ou d’“ingénieur psychologue”, utilisé aussi par Monteil dans ce volume, n’est ni une appellation usurpée ni un sacrifice à la mode du moment.

31Le mot de la fin est un hommage adressé aux responsables du Ministère de la justice impliqués dans la mise en place de ce plan de formation des cadres. Ils ont délibérément choisi ce type d’évaluation et ont ainsi pris le risque que les résultats ne correspondent pas nécessairement à ceux qu’ils auraient souhaités.