La formation, objet de tous les soupçons

1Le fait de formation est fascinant : parce que chacun estimant en détenir une expérience légitime peut, sans risquer le ridicule, en juger un aspect ; parce que l’éducation en général constituant en permanence une préoccupation sociétale, elle peut, à toute occasion, fournir les termes d’un débat ; parce que les Sciences de l’Éducation n’ayant peut-être pas (encore ?) réussi à imposer des paradigmes, des concepts et plus simplement des connaissances spécifiques, toute discipline reconnue peut s’autoriser à expliquer les phénomènes qui en relèvent...

2La tentation est si grande qu’il n’est pas rare de rencontrer, par exemple sous couvert d’évaluation, la critique gourmande, voire la négation de l’utilité de la formation. Opération sans risque : qui protestera ? Depuis Illich (1971), mais aussi Bourdieu et Passeron (1966, 1971), les soupçons vis-à-vis de l’école et de son utilité n’ont pas manqué, non sans raisons, de se faire connaître.

3La contribution de Le Poultier s’inscrit dans cette perspective, ou du moins, certaines analogies utilisées par l’auteur pour introduire « l’évaluation » présentée et pour pimenter l’interprétation semblent aller dans ce sens. Pour répondre à la sollicitation de réaction à cet exposé, il ne sera aucunement procédé ici à une remise en cause de la pertinence de la problématique ni de la qualité de l’étude réalisée : l’apport d’un tel travail est évident, les conclusions sur la nécessité des études préalables à la conception de la formation ne peuvent qu’être approuvées. Mais, puisqu’il s’agit d’« évaluation », c’est sur ce thème et sur les conséquences qu’il entraîne en matière d’interprétation, ainsi que sur les dérives auxquelles il peut donner lieu, que le discutant souhaite réagir.

4C’est, en effet, l’évaluation comme gourmandise (dont il n’est pas conseillé d’abuser) qui, à notre avis, mérite ici discussion. L’effet-formation peut-il ainsi, sans autre précaution, être aussi aisément isolé et désigné ? L’évaluation d’une formation peut-elle se réduire à une enquête sur le point de vue des stagiaires suivie d’un sondage par téléphone ?

5Vaste sujet, dont on n’évoquera ici que deux grandes interrogations proposées à la réflexion : quel objet l’évaluation présentée a-t-elle réellement mesuré (§ 1) ? Selon quelles modalités (§ 2) ? Il faudra peut-être accepter d’en conclure non que l’étude présentée souffre de quelque faiblesse mais que l’évaluation n’est toujours que conjecture (§ 3).

Quel objet mesuré ?

S’agit-il d’évaluer la formation elle-même ou le principe du recours systématique à la formation ?

6Lorsqu’on prend connaissance de ce qui est présenté comme l’« évaluation » d’une formation, on cherche d’abord à savoir ce qui est évalué. Ici, la mesure porte sur « le recours systématique à la formation des personnes » comme « vecteur principal sinon unique du changement organisationnel ». L’objet de l’évaluation, pour le lecteur, paraît donc être non pas la formation elle-même comme dispositif de « usine à gaz... qui finit par ne servir à rien » (première formulation de l’auteur), mais plus exactement la démarche qui consiste à y recourir « systématiquement » pour régler n’importe quel problème. Dans ce dernier cas, on ne peut que suivre l’auteur jusque dans ses conclusions portant sur le défaut d’analyse préalable. Il y aurait alors un risque d’amalgame entre deux objets : la mauvaise utilisation de la formation versus l’inutilité de la formation ? Dans le domaine de l’évaluation plus que dans tout autre, il convient d’éviter le malentendu sur la nature de l’objet étudié.

La connaissance acquise ou son utilisation ?

7On a l’habitude, dans le système scolaire en général, mais aussi dans les organismes de formation professionnelle, d’évaluer, en fin de cycle, des connaissances, des savoir faire, des attitudes. Il existe même un consensus social peu souvent contesté qui accorde à ces évaluations une fonction de certification (via les diplômes, par exemple) sinon d’orientation et de recrutement. Le système de formation professionnelle, pour sa part, rajoute comme mission à l’évaluation de vérifier sa cohérence avec les objectifs de l’organisation en termes d’adaptation et de productivité. Il y a bien entendu également influence réciproque entre les deux systèmes qui explique que le système scolaire (surtout dans ses filières d’enseignement technique) se préoccupe de vouloir vérifier (à travers les dispositifs d’alternance et la multiplication des travaux d’atelier) la pertinence des apprentissages par rapport aux tâches professionnelles auxquelles ils sont censés préparer les élèves (on connaît le recours fréquent, dans les programmes de ces filières, aux « référentiels de métiers »). Mais, dans le même esprit, il y a aussi, dans de nombreux dispositifs de formation professionnelle la préoccupation de construire – et d’évaluer – les éléments d’une formation générale destinés à améliorer les capacités de réflexion, d’expression et de communication sans lesquelles il est postulé que les connaissances acquises ici et là sur tel ou tel sujet spécialisé rencontreront des difficultés à être exploitées.

8Autrement dit, on peut attendre deux types de résultats de la formation : une acquisition de connaissances, de savoir-faire ou même d’« attitudes » qui concourent au développement de l’individu, en même temps qu’une éventuelle application (à court, moyen ou long terme) dans telle ou telle situation professionnelle. C’est pourquoi il paraît difficile de juger une formation « inutile » lorsqu’on a procédé uniquement à la mesure de l’écart entre un objectif peut-être maladroitement élaboré et des comportements professionnels sélectionnés.

9Autrement dit, il paraît difficile d’évaluer une formation sur le seul critère de l’utilisation d’une connaissance sans prendre en compte la connaissance elle-même et ses potentialités d’intégration dans d’autres processus. Le recours à l’analogie n’y changera rien : lorsqu’on avance, par exemple, comme argument que la connaissance des méfaits du tabac n’entraîne pas la diminution de consommation de certains fumeurs, devrait-on en déduire que la connaissance de ces méfaits est inutile ? A-t-il été démontré que ces fumeurs, après un long cheminement au cours duquel la connaissance antérieure, combinée à d’autres informations et à des événements rapprochés, n’ont jamais pris de décision contraire ?

La formation efficiente ou la formation efficace ?

10Généralisons : toute connaissance inutilisée là (et au moment) où on l’attend, qu’elle soit d’origine scolaire ou autre, ne serait pas efficiente et donc ne mériterait pas de donner lieu à une quelconque formation. L’efficience entendue comme mesure de rentabilité serait donc le critère essentiel d’évaluation de la formation. Dans cette logique, les curricula scolaires seraient donc à dépoussiérer de toutes ces connaissances inutiles relevant entre autres de l’histoire et de la philosophie... ou, tout au moins, ils devraient être évalués non selon la culture qu’ils prétendent transmettre, mais selon ce qu’ils peuvent contenir de réutilisable dans tel ou tel comportement professionnel ou social attendu à tel endroit dans telles circonstances.

11Mais plutôt que l’efficience, ne serait-ce pas plutôt l’efficacité de la formation qui serait ici l’objet de l’évaluation ? Dans ce cas, il conviendrait d’en définir les composantes parmi lesquelles pourrait figurer en bonne place « l’impact » de la formation (y compris celui que l’on déduit, comme ici, du discours ou des réponses d’une population donnée).

La « culture d’entreprise » ou la légitimité d’une organisation à revendiquer une « culture » ?

12L’auteur juge « contestables » les « utilisations métaphoriques qui ont été faites de la notion de culture et les applications managériales auxquelles cela a donné lieu... ». La « culture » serait donc en l’occurrence objet d’évaluation : beau sujet pour un colloque, cette question ne peut qu’être effleurée ici. D’autant plus que la notion de culture est particulièrement polysémique : dans son spectre sémantique, cette notion comporte aussi bien un pôle universaliste (la culture occidentale...) qu’un pôle différentialiste (la culture « rock »), de même qu’un pôle collectif (les choix culturels de l’école) et un pôle individuel (le fait de privilégier la littérature classique) et que nombreuses sont les revendications d’appartenance à l’un ou l’autre de ces pôles. Une définition de Forquin (1992, p. 9) rappelle « l’acception descriptive et objective de cette notion développée par les Sciences Sociales contemporaines : la culture considérée comme l’ensemble des traits caractéristiques du mode de vie d’une société, d’une communauté ou d’un groupe... » Sous un tel angle, une « culture d’entreprise » ne paraît pas, sous réserve d’inventaire, un non sens. Qu’elle soit revendiquée comme existante ou suggérée comme but ou comme référent d’une formation, du moins en ce qui concerne la recherche des formes possibles de son expression et de sa prise en compte dans les choix de formation, en quoi sera-t-elle illégitime ?

13En tous cas, elle ne semble pas avoir été désignée comme objet d’évaluation. Elle ne peut donc pas être jugée par simple analogie (encore une fois) avec une activité ne relevant en rien d’une « culture », comme celle consistant, pour un responsable d’hypermarché, à sponsoriser une équipe de football. On ne soulignera jamais assez les dangers du raisonnement analogique en évaluation.

Selon quelles modalités ?

14On vient de « s’interroger », comme le suggère l’auteur, « sur ce que mesurent vraiment » les évaluateurs en mettant en questions l’objet-même de l’évaluation. Mais le choix des modalités détermine également l’évaluation. Dans l’étude précédente, on en relèvera quatre traces visibles qui indiquent la manière dont on s’y prend pour :

Isoler l’effet formation

15C’est en général une opération périlleuse que l’évaluateur évoque avec beaucoup de réserves en signalant les nombreux biais possibles et en empruntant au langage hypothétique. L’acquisition d’une compétence, par exemple, provient-elle de l’apprentissage auquel elle a donné lieu ou d’une élaboration cognitive dans laquelle la formation a pu jouer un rôle plus ou moins important ? Il paraît certes plus facile de postuler que la formation n’a pas d’effet : cette question ne se posera pas.

Utiliser les comparaisons

16On entend souvent les évaluateurs professionnels affirmer qu’évaluer c’est comparer. À notre avis, toute comparaison n’est pas évaluation, dans la mesure où, pour être utilisée, elle nécessite une justification extérieure à elle-même. Guilford (1967) avait déjà donné à ce sujet une indication éclairante : « l’évaluation est définie comme un processus de comparaison d'un produit d’information avec une information connue en fonction d’un critère logique ». On prolongera cette définition en précisant que l’information connue est alors considérée comme information de référence. Ici, le fait de comparer un groupe de cadres formés et un groupe de cadres non formés ne constitue pas en soi une évaluation. Cela peut y contribuer si les critères de cette dernière sont clairement définis : par exemple, l’effet-formation sera-t-il jugé sur la quantité des « mises en pratique » de la formation ou sur leur qualité ou encore sur les méthodes utilisées, etc. ?

Interpréter

17Quand on évalue une formation, on est toujours « amené à s’interroger sur ce que mesurent vraiment les évaluations opérées », et ceci aussi bien « juste à la fin des opérations de formation... » que par la suite. Le problème n’est pas seulement celui du moment, c’est de manière plus générale un problème d’interprétation de tout résultat. Une performance « à chaud » ne peut pas être comparée à une pratique de travail in situ. Dans le premier cas (réponses à un test, à un questionnaire, à une épreuve d’examen, etc.) il s’agit, en général, d’apprécier la mémorisation de connaissances ou la compréhension de méthodes jugées utiles par les responsables de la formation. Il serait hasardeux de déduire de ces performances une quelconque compétence professionnelle et on peut même penser que les formateurs procédent plutôt à une vérification de la réalisation de la première partie de leur contrat : l’information a-t-elle été entendue et mémorisée dans l’immédiat ? Les méthodes de résolution de problèmes proposées ont-elles été réutilisées dans des exercices de simulation ?... On peut difficilement mesurer autre chose à ce stade du processus de formation, sinon le degré de satisfaction des participants, satisfaction dont l’interprétation rencontre les limites que l’on sait.

Généraliser des résultats

18Une enquête a été menée qui montre que les cadres ayant suivi la formation affirment avoir exécuté des actes professionnels avec le même score que ceux qui ne l’ont pas suivie, et cela à partir d’une liste de 52 énoncés téléphonés. Le résultat lui-même est certes sans appel. Mais, à l’instar des QCM, on retrouvera ici un problème que personne n’a encore résolu : la représentativité des réponses obtenues (qui constituent une partie des effets possibles de la formation) par rapport aux compétences qu’elles prétendent évaluer. Si on admet, avec Abernot (1996), que, « étant donné un corpus enseigné, qui constitue un tout, l’évaluation est une tentative d’appréhension de la compétence sur un tout à partir d’une performance sur une partie », on est amené à devoir relativiser la généralisation envisagée. Et ceci, d’autant plus qu’il s’agit d’énoncés validés uniquement selon le choix des formateurs, soumis à réaction immédiate, excluant par conséquent toute nuance, tout doute et toute évocation spontanée. Mais nous ne sommes pas en train de justifier à tout prix, ici, l’utilité de la formation : le problème eût été le même avec des résultats éventuellement inverses, bien entendu.

L’évaluation, science des conjectures

19Les remarques qui précèdent n’avaient pas pour prétention, on l’a bien compris, de mettre en doute l’étude présentée : au contraire, nous partageons les conclusions de l’auteur qui suggère une meilleure prise en charge scientifique de la conception d’une opération de ce type. Mais une recherche (fût-elle psychosociale) peut rester une recherche : elle n’est « évaluation » que si elle le veut. La recherche peut tenter de répondre à une question curieuse (et gratuite) sur la cause ou les effets d’un phénomène et s’arrêter là. L’évaluation veut trouver une signification générale aux résultats obtenus et la restitution de ces derniers va provoquer toutes sortes de conséquences (jugements, décisions, changements, etc.). De plus, la notion d’évaluation de la formation reste difficile à définir de manière indiscutable et universelle. Les auteurs qui s’y sont risqués (Dominicé, 1981 ; Barbier, 1985) ont bien pris soin d’en souligner la diversité et la signification toute relative, en fonction, notamment, du système de référence construit et invoqué (Figari, 1994). C’est également la leçon tirée des différents colloques spécialisés qui tentent de dresser des bilans des travaux d’évaluation, que ce soit celui de l’ADMEE1 ou celui du CNRS2, dans le contexte des politiques publiques duquel nous extrayons un exemple de cette diversité : « deux grandes tendances se dégagent en matière d’évaluation des politiques publiques... l’une privilégie la qualité scientifique... dont l’approche expérimentale représente la référence idéale..., l’autre, plus soucieuse de participation des acteurs impliqués par la politique publique à évaluer, est conçue comme un processus de construction collective de connaissances... Bien sûr, il existe des formes intermédiaires... et il est d’un grand intérêt de connaître les référents théoriques et empiriques qui illustrent les différentes formes d’évaluation mises en œuvre ». Plus que toute autre procédure de production de connaissances, l’évaluation est hypothétique et relative : en isolant des éléments de la formation (objectifs des concepteurs, objectifs des formateurs, objectifs des apprenants, activités des apprenants, etc.) et en leur attribuant une valeur de représentation de tout un dispositif, on ne peut que produire de la conjecture...