4
Enjeux de l’évaluation des Maisons des sciences de l’Homme94
p. 103-129
Texte intégral
1Les structures fédératives constituent en France un cas très particulier en matière d’évaluation. Le Réseau des Maisons des sciences de l’homme (MSH) est d’autant plus intéressant comme cas de figure qu’il s’agit d’une structure interinstitutionnelle et pluridisciplinaire au niveau national, et que chaque Maison est elle-même une structure de ce type. De par la diversité des disciplines et l’importance des effectifs de chercheurs et d’enseignants-chercheurs (environ 4 000) accueillis dans les Maisons, le Réseau occupe une place prépondérante dans le paysage de la recherche en sciences humaines et sociales. Cependant, la majorité des Maisons, en tant qu’unités mixtes de services (UMS), n’ont pas, paradoxalement, à être évaluées pour leur contribution scientifique en tant que structure de recherche. En outre, les dispositifs d’évaluation mis en place ne sont pas adaptés pour prendre en compte la pluridisciplinarité.
2Ces particularités constituent pour le Réseau des MSH à la fois un problème95 et un défi, car il s’agit de trouver un mode d’évaluation qui soit d’une part assez souple pour ne pas surcharger des chercheurs et enseignants-chercheurs déjà soumis à de multiples évaluations, d’autre part assez rigoureux pour légitimer et crédibiliser le processus, dans un contexte où les SHS s’efforcent d’obtenir leurs lettres de noblesse.
3Cette tâche est d’autant plus délicate que le concept d’évaluation tend à être utilisé en France de façon non différenciée pour désigner à la fois une appréciation ex ante de la qualité des prestations proposées, et un bilan a posteriori de la qualité des performances accomplies. Cet usage pose problème, du fait que, en principe, ces deux activités répondent à des logiques et à des finalités distinctes. Rien n’empêche cependant que les deux missions soient prises en charge par une même instance, comme c’est le cas pour le conseil scientifique du Réseau des MSH, à condition que la finalité et les modalités des deux soient bien précisées. Il est donc important d’utiliser le terme évaluation en faisant référence à l’optique pertinente et à la finalité visée.
4Le chapitre commence par un rappel du contexte dans lequel se situent les activités d’évaluation. Il analyse ensuite les implications, en matière d’évaluation, de la diversité des statuts des Maisons, et du changement de statut du Réseau, transformé en 2006 en groupement d’intérêt scientifique (GIS), avant de passer en revue les différentes formes d’évaluation adoptées dans le cadre du Réseau MSH et d’en relever les implications pour les missions du futur conseil scientifique. Pour terminer, nous faisons le point sur la fonction de l’évaluation dans le contexte du GIS et sur son rôle dans le pilotage de la recherche pluridisciplinaire en SHS.
Un contexte nouveau
5Ce chapitre s’appuie sur l’expérience des membres du conseil d’orientation scientifique (COS) du Réseau des MSH entre 2000 et 2005, expérience qui a suscité des débats au sein du COS sur la question de l’évaluation et de son rôle dans le fonctionnement du futur conseil scientifique à un tournant important du développement du Réseau. Trois grands changements ont contribué à l’actualité de cette réflexion sur l’évaluation.
6Tout d’abord la création, en 2005, au niveau national, de l’Agence nationale de la recherche (ANR) a entraîné la suppression du Fonds national de la science (FNS) et a donc mis fin aux financements spécifiques du Réseau par les actions concertées incitatives (ACI), destinées à promouvoir la structuration de la recherche en SHS. Tandis que les ACI avaient fortement développé l’esprit de Réseau en misant sur des programmes scientifiques partagés, les mobilités et la mutualisation des moyens, les appels d’offres blancs de l’ANR en SHS, par contre, sont ouverts à tous les chercheurs et enseignants-chercheurs dans ces disciplines.
7Ensuite le Réseau, qui relevait depuis sa fondation en 2001 d’une convention entre le ministère chargé de la recherche, le CNRS, les présidents des universités de rattachement des Maisons et les directeurs des Maisons dotées de structures juridiques autonomes, a été transformé en GIS à partir du 1er janvier 2006.
8Enfin, la création d’une Agence nationale d’évaluation de la recherche, attendue en 2006 dans le cadre de la loi d’orientation et de programmation de la recherche, prévoit le rapprochement des procédures d’évaluation des organismes, notamment du CNRS et des universités. Ce mouvement a des implications pour l’évaluation des activités du Réseau, puisque la plupart des Maisons dépendent à la fois des universités et du CNRS pour leur évaluation.
La diversité des statuts
9Le statut adopté par les Maisons détermine non seulement leur structure administrative, mais aussi les procédures et modalités d’évaluation auxquelles elles sont soumises.
Le statut d’unité mixte de service (UMS) - treize Maisons
10Le statut d’UMS est de loin celui le plus largement adopté pour les Maisons. Les UMS sont des structures qui proposent des services d’appui à la recherche, autour d’une technique ou d’un savoir-faire (cartes, construction de bases de données, laboratoire, analyse). Ce sont des entités pilotées conjointement par le CNRS et un établissement d’enseignement supérieur. Elles abritent le plus souvent des personnels CNRS (ingénieurs, techniciens et administratifs, ITA) et universitaires (ingénieurs, agents administratifs, techniques, ouvriers de services sociaux, de santé et de bibliothèques, IATOS), mais peu de chercheurs et d’enseignants-chercheurs. La formule souple d’UMS sert de canal technique pour l’affectation de moyens scientifiques et humains, sans rien indiquer sur la programmation scientifique des Maisons, ni demander leur évaluation par le CoNRS en tant qu’entité de recherche.
Le statut de fédération de recherche (FR) - la Maison de l’Orient méditerranéen (Lyon MOM)
11Les FR sont des groupements de structures de recherche relevant du CNRS et d’autres organismes, en vue de coordonner leurs activités scientifiques et la mise en commun des moyens, en principe sur un même site. Elles n’ont pas vocation à fusionner les programmes de recherche des unités fédérées. Puisque la plupart des FR résultent d’un partenariat entre le CNRS et des établissements d’enseignement supérieur ou des organismes publics, elles regroupent plusieurs unités mixtes de recherche (UMR) et financent, en général, des projets transversaux. Les FR sont créées pour quatre ans renouvelables et sont soumises pour évaluation aux instances compétentes du Comité national de la recherche scientifique, à l’instar des unités de recherche composantes. Le statut de FR est assez bien adapté à la mission des Maisons dans la mesure où il leur permet de conduire des activités de recherche propres, tout en préservant l’autonomie des unités constitutives.
Le statut de fondation d’utilité publique - la MSH de Paris
12Le statut de fondation d’utilité publique, structure adoptée par la première des MSH, celle de Paris, fondée en 1963 par Fernand Braudel pour favoriser un mode de structuration de la recherche en dehors des disciplines, lui permet de bénéficier d’une grande autonomie. Les activités propres de la fondation sont évaluées par la Mission scientifique, technologique et pédagogique (MSTP), dans le cadre de la contractualisation. En 1993, la MSH a mis en place un comité international d’évaluation scientifique, qui tient lieu, en quelque sorte, de conseil scientifique pour les programmes de la fondation.
Le statut de groupement d’intérêt public (GIP) - la Maison des sciences de l’Homme « Ange-Guépin » à Nantes
13Les GIP sont toujours constitués d’au moins deux personnes morales de droit public, dont un établissement public ayant une activité de recherche ou de développement technologique. Ils doivent aussi compter au moins un partenaire non public. Ils visent à regrouper sur un objectif précis ou sous une thématique de recherche différents partenaires institutionnels. Leur objet consiste à mettre en commun des moyens pour l’exercice d’activités de recherche ou de développement technologique, ou pour la gestion d’équipements d’intérêt commun, nécessaires à ces activités. Ils ne relèvent pas du CNRS, bien que celui-ci puisse y être impliqué. En contrepartie de la personnalité qui lui est reconnue, la création du GIP est soumise à un formalisme lourd et contraignant. Sa constitution nécessite, en effet, des délais souvent longs, puisque le conseil d’administration du CNRS délibère sur la création, les modifications statutaires et le renouvellement des GIP, et qu’un arrêté interministériel clôture la procédure. La majorité des droits statutaires doit être détenue par le secteur public. Enfin, le GIP est nécessairement soumis à un contrôle des pouvoirs publics, impliquant la désignation d’un commissaire du gouvernement, d’un contrôleur d’État et d’un contrôle a posteriori de la Cour des comptes. Le GIP « Ange-Guépin » est doté d’un conseil scientifique dont les membres sont nommés avec l’accord du CNRS.
Le statut d’association de la loi de 1901 - la Maison des sciences de l’Homme d’Aquitaine
14Créées dans le cadre de la loi de 1901, les associations ne relèvent pas d’un établissement public de recherche. La Maison d’Aquitaine est un dispositif de recherche en sciences humaines et sociales à vocation interdisciplinaire. Elle est dotée d’un contrat quadriennal spécifique articulant un ensemble de programmes en SHS, ouvrant ainsi la possibilité d’être évaluée par la MSTP dans le cadre de la contractualisation.
Le statut de groupement d’intérêt scientifique (GIS) - l’Institut international Erasme à Lille ainsi que le Réseau MSH à partir de 2006
15Le GIS est une structure qui vise, comme le GIP, à regrouper sur une thématique de recherche ou sur un objectif précis plusieurs partenaires institutionnels. À la différence du GIP, le GIS n’a pas de personnalité morale. En conséquence, il ne dispose pas des facilités qu’ouvre l’autonomie financière et juridique pour gérer des moyens, exécuter des travaux ou recruter du personnel. Il a donc besoin d’être adossé à une entité juridique, telle qu’un établissement d’enseignement supérieur ou un organisme de recherche. Les équipes conservent leur individualité, et les personnels appelés à travailler en leur sein restent affectés à l’unité dont ils relèvent. Aucun patrimoine propre ni recrutement de personnel ne sont possibles. Un GIS peut se munir d’une convention pour créer des organes particuliers, destinés à veiller au bon déroulement de la coopération, tels un conseil de gestion et un conseil scientifique, conformément à la convention constituant le Réseau.
16Comme elle n’a pas besoin d’être soumise à l’avis des instances compétentes du CoNRS, la création du GIS présente l’avantage d’être souple et rapide. Sa durée est laissée à la libre appréciation des parties. Le directeur du GIS est désigné par les parties et ses fonctions sont différentes de celles confiées à un directeur chargé de la responsabilité scientifique et administrative d’une structure CNRS. En revanche, le GIS bénéficie a priori de peu de garanties scientifiques et son évaluation n’est pas, en principe, du ressort du CoNRS.
La mixité des statuts à l’intérieur des Maisons
17La plupart des Maisons sont composées d’UMR et d’équipes universitaires. Les UMR sont des regroupements de recherche qui accueillent aussi bien des chercheurs CNRS que des enseignants-chercheurs, et dont le pilotage scientifique est assuré conjointement par le CNRS et l’établissement d’enseignement supérieur cocontractant. Tandis que les équipes universitaires sont évaluées par la MSTP, l’évaluation des UMR est assurée par le Comité national de la recherche scientifique (CoNRS) pour le compte de tous les partenaires institutionnels cocontractants. Exceptionnellement, la MSTP intervient si l’évaluation par le CoNRS n’est pas en phase avec le contrat quadriennal.
18Il est courant que les structures fédératives se dotent d’instances d’orientation et d’évaluation (conseil scientifique), mais lorsqu’il y a superposition de structures de ce type, il n’y a pas toujours articulation et coordination entre les partenaires cocontractants. Dans le cas des MSH par exemple, certaines Maisons sont inscrites comme composante de l’université qui les accueille physiquement, au même titre qu’un département, un laboratoire et un centre de recherche. Le fait d’être à la fois UMS pour le CNRS et composante pour l’université peut ainsi donner lieu à une coexistence de statuts et à une diversité de règles de fonctionnement.
À chaque source de financement, son évaluation
19Théoriquement, il peut y avoir évaluation dès qu’il y a attributions de crédits, qu’il s’agisse de crédits contractualisés ou de crédits attribués pour des recherches ciblées sur programmes. Au cours d’une période de quatre ans, les structures de recherche d’une Maison et ses diverses composantes sont ainsi évaluées par la MSTP (équipes universitaires, écoles doctorales) et par le CoNRS (équipes associées et UMR) dans le cadre de la négociation du contrat quadriennal. Elles peuvent aussi être évaluées dans le cadre d’un financement européen, par un comité international. S’y ajoutent les évaluations demandées par les collectivités territoriales, lorsqu’elles soutiennent des programmes scientifiques conduits par les Maisons (dans ou hors contrats de plan État-Régions), et les évaluations liées aux appels d’offres de l’ANR, lorsque la Maison ou ses chercheurs répondent à ces appels d’offres. Les visites de l’Inspection générale de l’administration de l’Éducation nationale et de la Recherche96 et de la Cour des comptes sont également vues par les intéressés comme autant d’évaluations.
20Aux yeux des Maisons, les évaluations les plus importantes sont celles qui assurent leur pérennité, c’est-à-dire celles où le lien entre évaluation et financements contractualisés est univoque. La contractualisation des Maisons n’est cependant pas systématique et paradoxalement, lorsqu’une Maison apparaît dans le contrat quadriennal d’une université, ce n’est souvent que par le biais d’un programme pluri-formation (PPF) et non comme structure effective de recherche.
21Il en ressort que les composantes des Maisons sont soumises individuellement et collectivement à de multiples évaluations, en raison des diverses sources de financement dont elles disposent, en général sans que les évaluations soient coordonnées. Afin d’éviter des charges supplémentaires par la multiplication des évaluations, il importe donc de poser la question de leur finalité et de leur valeur ajoutée.
Missions du nouveau conseil scientifique du Réseau
22Répondant à une préoccupation scientifique, la création du Réseau des MSH sollicitait une organisation plus structurée que celle applicable dans un contrat classique. La première convention en 2001 a ainsi institué les instances destinées à veiller au bon déroulement de la coopération sous forme d’un conseil de gestion et d’un conseil scientifique. Les activités qui ont été évaluées jusqu’en 2005 par le COS le seront désormais par le conseil scientifique du GIS. La mission de celui-ci reste en effet précisée dans la charte : il « évalue, au regard des obligations qu’elles ont souscrites en adhérant à la charte, l’activité des MSH, il évalue l’activité du Réseau et il se prononce sur les demandes d’adhésions nouvelles au Réseau ».
23Il revient donc au conseil scientifique de se prononcer sur les demandes d’adhésion et sur les performances des MSH, aussi bien au niveau des Maisons qu’au niveau du Réseau et de transmettre ses avis au comité directeur de celui-ci.
24Compte tenu du nouveau contexte du pilotage de la recherche en France et des expériences acquises dans le cadre du COS, la convention du GIS apporte les précisions suivantes sur le rôle du conseil scientifique du GIS « MSH ». Il doit :
- formuler un avis sur les orientations générales et les priorités du Réseau ;
- donner son avis sur les demandes d’adhésion au Réseau qu’il évalue conformément à la charte ;
- élaborer une synthèse annuelle à partir des rapports d’activité qui lui sont adressés par le conseil scientifique de chacune des Maisons, conformément à la charte ;
- formuler un avis préalable à la décision du comité directeur sur l’exclusion d’une Maison.
25La charte et la convention du GIS attribuent donc au conseil scientifique une fonction d’évaluation et de pilotage des activités, tant au niveau des Maisons qu’à celui du GIS. Selon la nature des objectifs visés, les activités d’évaluation peuvent être perçues tantôt comme outils de gestion, servant à assurer un choix optimal de projets et d’actions à promouvoir en fonction des priorités et stratégies affichées, tantôt comme instruments stratégiques de pilotage aussi bien pour les activités de recherche que pour les actions incitatives.
26Durant son mandat, le COS a progressivement élaboré et rendu opérationnelle une réflexion sur les procédures pour formuler et transmettre ses avis au comité directeur du Réseau. Pendant les quatre premières années de son mandat, le Réseau a reçu un nombre important de demandes d’adhésion de nouvelles Maisons. Bénéficiant à cette époque d’un financement fléché par le biais d’une ACI, le COS a eu pour tâche principale d’évaluer les projets scientifiques de Maisons souhaitant rejoindre le Réseau, ainsi que les réponses aux appels d’offres dans le cadre des ACI, effectuées en liaison avec la MSTP.
27La majeure partie du travail d’évaluation du COS a eu pour objectif d’assurer l’adéquation des moyens mis en œuvre et, à un moindre degré, l’accompagnement et le suivi des Maisons à but proactif et formatif. Les activités d’évaluation ont donc été réalisées essentiellement dans une perspective ex ante, visant à formuler des recommandations concernant les projets de nouvelles Maisons ou des avis sur les projets soumis en réponse aux appels d’offres. Le COS n’a pas été interpellé pour faire des évaluations a posteriori ou se prononcer sur les résultats des recherches financées. Il n’a pas entrepris de vérifications des « performances » par rapport aux objectifs visés. Il n’a pas non plus eu à statuer sur la valorisation des travaux, et aucun cas de sortie du Réseau par une Maison n’a été appréhendé.
28Dans le cadre du GIS, l’essentiel de l’activité du conseil scientifique devrait désormais porter à la fois sur le suivi des Maisons et leur positionnement par rapport au Réseau, et sur les orientations prioritaires et stratégiques du Réseau à promouvoir. Bien qu’il soit possible que celui-ci finance ses propres appels d’offres et que l’on s’adresse au conseil scientifique pour évaluer les dossiers, et sous réserve également de nouvelles demandes d’adhésion au Réseau, la mission d’orientation stratégique est, de ce fait, dorénavant appelée à prendre toute son ampleur.
Instruments et procédés d’évaluation du conseil d’orientation scientifique
29Les activités du conseil scientifique en matière d’évaluation s’inscrivent dans trois catégories d’instruments incitatifs et de pilotage dont les modalités ont été développées par le COS :
- autorisation du label MSH ;
- sélection des projets dans le cadre d’appels d’offres ;
- suivi des performances, au niveau des Maisons et au niveau du Réseau.
Le label MSH
30L’objectif principal de la charte des MSH est de définir les missions des Maisons qui souhaitent être reconnues comme telles. Elle conditionne la reconnaissance d’une Maison en tant que MSH à sa capacité à définir et à mettre en œuvre un projet scientifique auquel participent des équipes, des chercheurs et des enseignants-chercheurs rattachés à la Maison. Ces missions sont précisées dans les termes suivants :
- regroupement de chercheurs, équipes ou unités de recherche relevant de disciplines différentes, associées dans la conduite de projets scientifiques ;
- promotion d’une interdisciplinarité active avec des programmes communs ;
- définition d’une identité scientifique, qui donne à chaque Maison sa cohérence et lui permet de devenir un pôle de référence à l’échelle nationale et internationale ;
- capacité à innover, que ce soit en matière de thématiques, de programmes ou de chercheurs, équipes ou unités ;
- intégration prioritaire de jeunes chercheurs ;
- intégration internationale ;
- accès à des équipements et à des moyens collectifs ;
- collaboration avec des institutions publiques et privées ;
- activités de diffusion.
31Tous ces critères, et plus particulièrement les projets scientifiques proposés, conditionnent l’acceptation par le conseil d’orientation des projets de nouvelles Maisons, en vue de leur adhésion au Réseau. Celles-ci doivent ensuite se doter d’un conseil scientifique qui leur est propre. Il est parfois constitué à l’image des conseils scientifiques des universités, c’est-à-dire avec des représentants des personnels et des représentants de partenaires régionaux.
Procédures d’admission au Réseau
32Les premières demandes d’admission au Réseau provenaient des projets de nouvelles Maisons à Strasbourg, Paris-Nord (Saint-Denis), Nice, Lille et Montpellier. Chaque dossier, analysé par le COS, était présenté devant le conseil par le chef de projet accompagné de son président d’université. Certains projets jugés insatisfaisants en l’état ont fait l’objet de recommandations et d’un accompagnement par le COS, deux de ses membres étant choisis comme experts pour une visite sur place. Les projets scientifiques ont ensuite été validés au fur et à mesure que les échanges avec le COS permettaient aux porteurs des projets de mieux répondre aux critiques formulées initialement.
33Par la suite, les procédures d’admission des Maisons sont devenues plus formalisées. Lorsqu’un projet est soumis au COS, son président et le président du conseil des directeurs se rendent sur place pour une prise de contact avec les différents acteurs du projet. Parallèlement, le conseil d’orientation nomme deux de ses membres (un Français et un étranger) comme rapporteurs pour effectuer une visite du site et pour examiner le projet scientifique avec les équipes impliquées, le(s) président(s) de l’(des) université(s) et le cas échéant d’autres partenaires. Les rapporteurs rédigent ensuite un avis et le dossier est soumis au COS qui en débat, les représentants du département SHS du CNRS et de la Direction de la recherche étant systématiquement invités aux réunions du conseil. Conformément aux statuts du Réseau, l’avis du COS est ensuite transmis au conseil des directeurs qui statue sur l’admission ou non de la future Maison dans le Réseau.
34Les critères scientifiques pour l’évaluation des projets sont les critères habituels : définition de l’objet de recherche, objectifs, méthodes et calendrier proposés, moyens demandés, auxquels s’ajoute la pertinence du projet dans les axes de la Maison. La nécessité d’identifier un nombre limité d’axes est particulièrement importante mais difficile à mettre en œuvre. Elle est importante pour la viabilité du projet de Maison, mais difficile à réaliser, car source d’exclusion des équipes qui n’entrent pas dans les axes choisis, et donc source de tensions contraires à la volonté fédératrice d’une Maison au niveau local.
Observations sur les demandes d’admission au Réseau
35À travers l’expérience de quatre années de fonctionnement, le COS a relevé, comme étant essentielles pour la genèse et la réussite d’une Maison, les conditions suivantes :
- la présence d’un chef de projet scientifique, choisi en accord avec l’ensemble des universités appelées à se mobiliser pour la future Maison ;
- la cohérence d’un projet scientifique autour d’un petit nombre d’axes de recherche, donnant au projet de Maison une identité scientifique et une visibilité locale et nationale, impliquant une bonne définition, au départ, de l’état de l’art dans les domaines de recherche concernés ;
- la présence du CNRS et du ministère dans le développement du projet de Maison ;
- l’existence de locaux et d’équipements de recherche adaptés (construction ou réhabilitation) ;
- la présence d’une stratégie concertée pour assurer une interdisciplinarité productive (par exemple par des approches pluridisciplinaires d’un même objet de recherche) ;
- des mesures prévues pour assurer l’insertion de jeunes chercheurs et la place accordée à la formation par la recherche et l’accueil des doctorants dans la Maison ;
- l’identification, pour chacun des axes, des projets de recherche soutenus par la Maison, ainsi que des responsables des projets et des équipes participantes, y compris les collaborations internationales ;
- les efforts consentis pour assurer une ouverture au monde socio-économique dans le projet ;
- la prévision de procédures pour assurer le renouvellement des projets et, le cas échéant, une évolution des axes de la Maison.
36En se portant garant du label MSH, le Réseau et son conseil scientifique ont aussi en charge de veiller à ce que les Maisons respectent les modalités de fonctionnement inscrites dans la charte. Les Maisons existantes créées antérieurement à la charte sont en principe tenues de faire évoluer leurs pratiques pour se conformer aux principes de la charte. Ainsi la non-conformité à ces objectifs doit pouvoir servir de référence pour une opération de retrait ou d’exclusion d’une Maison.
37Une leçon à tirer de l’expérience du COS est que le travail relatif aux demandes d’adhésion et aux sorties du Réseau suppose une continuité dans l’accompagnement des Maisons. Ce constat justifie le dispositif des « correspondants » mis en place par le COS, de même que la nomination de membres du conseil scientifique, chargés de suivre la conception et la réalisation des projets de création de nouvelles Maisons et leur insertion ultérieure dans le Réseau.
Les appels d’offres
38Le Réseau des MSH a pu bénéficier, dès 1999, d’une ACI lui permettant d’assurer sa structuration. Les dossiers de candidature préparés par les Maisons devaient être fondés sur des projets scientifiques représentant leurs axes ou thèmes prioritaires, de façon à favoriser l’émergence ou le développement de spécificités et donc d’une identité.
39Par la suite, d’autres ACI ont favorisé les rapprochements entre les Maisons. Dans le cadre de l’ACI « Terrains, techniques et théories » (TTT), les propositions faites par les Maisons ont permis de renforcer l’aspect fédérateur du Réseau par la mutualisation de moyens techniques et la mise en commun de projets scientifiques, pour certains, nouveaux et innovants. Les ACI ont ainsi servi d’instrument pour consolider les activités coopératives entre les Maisons.
Critères de sélection
40À la différence des autres programmes lancés par le FNS, les ACI dédiées aux MSH ont pris en compte des critères qui ne sont pas exclusivement scientifiques. Le conseil a ainsi élaboré une fiche d’évaluation précisant les critères suivants :
- qualité scientifique du projet (contenu, aspect novateur) ;
- cohérence avec les axes scientifiques des MSH participantes ;
- projet structurant pour les collaborations scientifiques entre MSH ;
- qualité des partenaires (dont écoles doctorales et, éventuellement, partenaires étrangers) ;
- perspectives de développements ultérieurs (à quoi il convient d’ajouter la valorisation des travaux et le transfert des connaissances) ;
- qualité du dossier (état de la question, hypothèses de travail, méthodologie proposée, cahier des charges faisant mention des moyens à mettre en œuvre, types de réunions, calendrier) ;
- dimension interdisciplinaire du projet ;
- dimension européenne du projet.
41Dans les évaluations rendues, les critères n’ont pas été pondérés et n’ont pas non plus pris en compte la valorisation des travaux déjà financés (mesurée par la production scientifique et le transfert des connaissances provenant de la production scientifique antérieure). En outre, les appels d’offres ne précisaient pas le montant maximal du budget attribué aux projets. Une telle précision aurait pu éviter que les porteurs de projets surévaluent leurs budgets, et que ceux-ci ne soient coupés par la suite.
42Pour chaque dossier, le conseil d’orientation a désigné deux de ses membres comme rapporteurs. Ceux-ci ont utilisé une grille de lecture commune, commentant les aspects scientifiques du dossier et offrant une appréciation globale selon les critères retenus. Chaque dossier a été évalué en parallèle par deux experts désignés par la MSTP. Lors de la réunion du conseil, les expertises de la MSTP et celles des rapporteurs du COS ont été prises simultanément en considération afin d’arriver à un avis consensuel. Une synthèse des appréciations a été communiquée aux porteurs de projets.
Observations relatives aux procédés de sélection
43L’expérience a montré l’intérêt et l’importance des ACI pour le Réseau. Lors de l’ACI « TTT », par exemple, il a été constaté que, quand la réponse aux appels d’offres comportait la construction de réseaux internationaux pour la réalisation d’un programme de recherche spécifique, ce réseau a perduré au-delà du programme. Il s’est développé ensuite sur d’autres thèmes et pour d’autres cycles d’échanges. La dimension « internationale » des actions du Réseau des MSH ne s’est, en effet, pas limitée à la participation occasionnelle de chercheurs invités. Il n’est pas exclu que, à l’avenir, le Réseau s’organise pour faire ses propres appels à projets afin de consolider les liens entre les Maisons. Dans cette optique, il peut être intéressant de tirer les leçons de l’expérience du COS pour que ce type d’évaluation se fasse dans les meilleures conditions possibles.
44L’examen des dossiers en réponse aux appels d’offres soulève de nombreuses questions sur le fonctionnement du système d’évaluation par les pairs, questions qui se posent quels que soient le dispositif et l’objet de l’évaluation. Puisque la légitimité et la crédibilité du conseil scientifique en dépendent, il serait sans doute utile de susciter un débat sur les principes déontologiques de l’évaluation et sur leur mise en œuvre.
45Ces principes sont nombreux97, les plus pertinents pour le Réseau étant sans doute les suivants :
- assurer par la composition de l’instance d’évaluation, la représentativité scientifique (et non une représentativité par groupes d’intérêts), la diversité des disciplines et des approches méthodologiques, l’extériorité (par la présence d’étrangers et de personnalités non impliquées dans le fonctionnement des Maisons), et l’intégrité (assurée par l’application de principes déontologiques consacrés par le désintéressement et la séparation des pouvoirs) ;
- appliquer dans les procédures d’examen et de sélection de projets des principes de transparence, d’objectivité et d’impartialité ;
- assurer la transparence par la communication explicite des objectifs, des indicateurs et des critères, ainsi que par la communication des résultats ;
- veiller à la pertinence et à l’efficience du processus par des suivis systématiques.
46Ces mêmes principes veulent que les experts déclarent tout conflit d’intérêt et que, lors du lancement des appels d’offres, les membres du conseil et les porteurs de projet soient informés des critères prioritaires qui seront utilisés et de leur pondération. Ils veulent aussi que les personnes intéressées par le projet ne soient pas présentes lors des délibérations, que les évaluateurs fassent preuve d’objectivité et d’intégrité et que leur compétence en la matière soit reconnue.
47Le conseil n’étant pas un comité d’évaluation censé posséder les connaissances scientifiques nécessaires pour évaluer tous les aspects de tous les dossiers qui lui sont remis, il devrait faire systématiquement appel à des experts externes choisis pour leur compétence scientifique ou technique dans le domaine en question. Le nombre d’experts doit pouvoir varier en fonction du type de financement à engager et de la nature des dossiers à traiter.
48En comparaison à d’autres conseils scientifiques en France, le conseil scientifique du Réseau a la particularité d’être composé d’une proportion importante (le tiers) d’étrangers francophones, susceptibles de porter un regard extérieur sur les activités des Maisons et sur leurs orientations stratégiques. Convaincu de l’intérêt de leur contribution en raison de leurs connaissances et de leurs compétences différentes, le COS a su bénéficier de son ouverture vers l’extérieur et de l’apport des étrangers pour mettre en valeur la diversité des approches culturelles et pour nourrir l’échange des bonnes pratiques déontologiques.
49Le Comité d’éthique du CNRS (COMETS, 2004) souligne l’importance de l’ouverture à des évaluateurs étrangers comme moyen d’élargir la base de compétence et de jugement des instances d’évaluation. Cependant, il émet certaines mises en garde à ce propos. Même si la présence de membres étrangers participe à la légitimité des travaux du conseil, le COMETS reconnaît qu’elle n’est pas automatiquement un gage de neutralité et d’indépendance. Ce constat s’applique au conseil scientifique du Réseau des MSH, puisque la francophonie de ses membres est due souvent au fait qu’ils sont, d’une manière ou d’une autre, impliqués dans le milieu français de la recherche.
50Sans que le Réseau ait bénéficié d’une évaluation formelle par le COS, le bilan de l’activité du COS confirme l’intérêt de sa composition internationale pour une vision distanciée de l’activité du Réseau et une mise en perspective internationale de celle-ci.
Le suivi
51Les activités de suivi ont été développées dans le prolongement des évaluations de demandes d’adhésion des nouvelles Maisons, avec la désignation pour chaque Maison de deux correspondants, membres du conseil, chargés par le COS de suivre l’évolution des projets scientifiques de celle-ci. Ce dispositif a une double finalité, pour les Maisons et pour le Réseau.
52Pour les Maisons, il est utile comme :
- outil pour dialoguer et faciliter l’inscription active des Maisons dans une stratégie collective au niveau du Réseau ;
- outil d’autorégulation, permettant aux Maisons d’ajuster plus facilement leur action et leurs priorités en fonction d’un regard extérieur.
53Sur le plan du Réseau, le suivi des Maisons par le conseil scientifique se présente comme un outil stratégique de gestion, nécessaire pour mener une action concertée. Il constitue :
- un instrument d’accompagnement, permettant au conseil scientifique de proposer des mesures visant à contrebalancer les déséquilibres scientifiques ou d’implantation territoriale, ou des problèmes de gestion, par des interventions adaptées, tant au niveau du Réseau qu’à celui des Maisons ;
- un instrument de veille prospective et stratégique, permettant au conseil scientifique d’acquérir une vue d’ensemble des orientations des Maisons, des moyens investis, des lacunes et des points forts ainsi que des problèmes structurels, en référence aux objectifs de la charte et aux principes fondateurs ;
- un instrument de contrôle administratif, permettant au conseil scientifique de se porter garant du label MSH.
Procédés de suivi
54Suite aux visites des deux membres du COS à l’occasion des demandes d’adhésion, et aux échanges qu’elles ont rendus possibles, échanges vécus très positivement aussi bien par les Maisons que par les experts, le COS a décidé de désigner pour chaque Maison, nouvelle ou ancienne, deux correspondants chargés d’assurer le suivi de la Maison par des visites récurrentes.
55L’expérience acquise a montré que les visites pouvaient être doublement instructives et appréciées. Pour les correspondants, notamment les étrangers, il a été très important d’acquérir, lors de ces visites, une vue d’ensemble des activités scientifiques des Maisons concernées, de voir les installations et les ressources humaines et matérielles sur place, d’apprécier les mesures de valorisation et d’insertion locale et régionale adoptées par la Maison, et de mesurer l’esprit d’équipe et le climat collectif transmis par les chercheurs.
56Pour les Maisons, l’intérêt des visites tient sans doute non seulement aux informations et aux conseils qui ont pu être apportés par les correspondants, mais tout autant aux questions posées par des personnes venant de l’extérieur, engagées dans l’avenir de la Maison et dans sa stratégie, mais avec une vue distanciée. Un autre facteur à prendre en compte est l’effet mobilisateur de la participation collective des équipes dans une présentation commune de l’ensemble des activités de la Maison, facteur ayant d’autant plus d’effets si un dialogue en commun avec toutes les équipes peut être organisé pendant la visite.
Observations sur la fonction de suivi
57La finalité du suivi dans le cadre du GIS est double : elle se situe, d’une part, au niveau du Réseau et, de l’autre, au niveau de chaque Maison, prise individuellement. Dans les deux cas, il constitue un instrument de pilotage essentiel.
58Dans la convention de création du GIS, le suivi des Maisons se situe dans le cadre de bilans annuels. Cette convention charge en effet le conseil scientifique de faire un bilan annuel à partir de rapports d’activités, fournis par les Maisons. La mission du conseil scientifique consistant à dresser une synthèse à partir de ces rapports d’activités permet au GIS d’avoir une vue d’ensemble des activités en cours, et de s’en servir pour nourrir un débat prospectif.
59Certains des principes qui se dégagent de l’expérience du COS sont à retenir pour le développement d’un pilotage dynamique :
- adopter une logique d’accompagnement, basée sur un échange d’informations pertinentes, en aval et en amont, et un dialogue portant sur les problèmes perçus et les choix stratégiques, tant au niveau des Maisons qu’au niveau du Réseau ;
- bien expliquer aux Maisons le sens des visites des correspondants délégués et les attentes du conseil scientifique ;
- viser une concertation et une coordination avec l’agenda des Maisons et de leurs conseils scientifiques, afin d’éviter la multiplication des visites et des demandes administratives faites aux Maisons par les différents acteurs intéressés ;
- constituer, pour les évaluations a posteriori des performances scientifiques d’une Maison donnée, une instance légère de coordination, permettant de convenir de l’organisation et de la périodicité de visites communes avec d’autres instances d’évaluation.
60Les rapports annuels que doivent élaborer les conseils scientifiques des Maisons permettent aux correspondants d’assumer plus activement une fonction de relais pour l’inscription active des Maisons, non seulement dans le Réseau en tant que tel, mais également dans d’autres réseaux, nationaux et internationaux. Les correspondants deviennent, dans ce contexte, plutôt des « ambassadeurs ».
61Dans le cadre du GIS, la procédure légère d’évaluation, proposée ci-dessus, devrait permettre au GIS non seulement d’élaborer la synthèse annuelle des rapports d’activité des Maisons, mais aussi d’évaluer les résultats des financements accordés et de l’action de valorisation accomplie par la Maison, en tenant compte, entre autres, de la conformité aux objectifs visés, de la valeur ajoutée pour le Réseau, des réalisations interdisciplinaires, de la communication des résultats, et des coopérations et financements acquis au niveau national et international.
L’évaluation comme instrument de pilotage : bilan et perspectives
62Le bilan présenté dans cet ouvrage fait ressortir l’utilité du travail de soutien, de conseil et d’accompagnement dans le processus de création des Maisons, grâce aux échanges avec les promoteurs des projets, aux missions sur les sites de membres du COS, et à la mise en place de correspondants pour chacune des Maisons existantes. Il montre, en outre, l’utilité du rôle d’« ambassadeur » joué par les membres du COS pour convaincre tous les acteurs concernés de l’intérêt des principes fondateurs des Maisons, tels qu’ils sont contenus dans la charte. À cela s’ajoute une fonction de promotion pour faire rayonner, au niveau national et international, cette politique de structuration de la recherche en SHS.
63Le contexte nouveau dans lequel le conseil scientifique du Réseau va prendre ses fonctions, contexte rappelé au début de ce chapitre, donne au conseil l’opportunité de développer une réflexion sur les orientations stratégiques du Réseau. Dans le cadre du GIS, le conseil scientifique est bien placé pour assumer une fonction spécifique d’évaluation qui se distingue de celle portant sur les équipes et leurs programmes de recherche. L’évaluation des équipes se fait, et continuera à se faire, ailleurs. Les admissions et sorties du Réseau sont peu fréquentes et demandent des dispositifs ad hoc. Les activités de suivi des Maisons rentrent ainsi dans le cadre de la gouvernance scientifique, qui relève d’une équipe d’évaluateurs capables d’apprécier aussi bien la qualité des montages interdisciplinaires que l’efficacité et la faisabilité des programmes par rapport à l’environnement local et l’état des connaissances nationales et internationales.
64La mission du conseil scientifique, en tant que garant du label MSH, portera davantage sur le suivi des actions engagées, en vue de veiller à la cohérence interne du Réseau, à son ouverture et à son rayonnement au niveau local, national et international. Par les ressources dont il dispose en capital humain et par les synergies qu’il mobilise, le Réseau a vocation à répondre largement aux besoins sociaux de connaissances en SHS. Cette mission privilégie l’ouverture des Maisons sur l’environnement socio-économique et culturel ; elle assure en même temps le transfert et la valorisation des connaissances acquises dans un contexte territorial précis, faisant valoir leur inscription au niveau local.
65La qualité scientifique des activités de recherche induit bien sûr aussi leur inscription au niveau national et européen. Ce sont autant de critères qui peuvent être utilisés pour évaluer le fonctionnement du Réseau. Il reste à les rendre opérationnels dans le dispositif de suivi en élaborant des indicateurs pertinents.
66Il n’en reste pas moins que les problèmes auxquels sont exposées les Maisons en matière d’évaluation demeurent. Ils sont révélateurs de la façon dont est traitée la question de l’évaluation de la recherche en France :
- la dualité universités-établissements publics de recherche favorise la juxtaposition des évaluations ;
- la complexité des rapports central-local ne va pas toujours dans le sens d’une coordination des évaluations entreprises à différents niveaux ;
- la lourdeur des évaluations ex ante contraste avec l’absence fréquente d’évaluations a posteriori et de suivis.
67Plus particulièrement pour ce qui concerne directement les MSH :
- le principe de l’interdisciplinarité au fondement de l’activité des Maisons se heurte à des dispositifs d’évaluation qui restent très fortement disciplinaires ;
- la distinction entre ce qui relève spécifiquement de l’activité du Réseau et ce qui relève de l’activité propre des Maisons n’est pas toujours facile à établir et, par conséquent, pose le problème des frontières entre les deux types d’activités pour l’évaluation.
68L’expérience du conseil d’orientation du Réseau et les solutions qu’il a trouvées pour apprécier et promouvoir l’orientation et la structuration stratégique de la recherche en SHS pourront servir d’exemple au pilotage d’une recherche au service de la société.
69Le Réseau des MSH aura ainsi apporté sa contribution « pour l’avènement de la nouvelle culture scientifique en sciences de l’homme et de la société », que les auteurs de l’introduction à cet ouvrage appellent de leurs vœux.
Notes de bas de page
94 Avec la participation de Jacques Commaille, Jacques Fontanille et Martine Bentaboulet.
95 Grunberg G. (sous la dir.), (2003), « Rapport de conjoncture établi à partir des débats et contributions du conseil scientifique de département pour réaliser une synthèse des rapports des sections », p. 28, conseil scientifique du département des sciences de l’homme et de la société, Paris : CNRS (document interne).
96 IGAENR (Inspection générale de l’administration
de l’Éducation nationale et de la Recherche), (2004), Les Maisons des sciences de
l’Homme (MSH),
rapport par S. Srodogora, G. Lesage, J.-R. Cytermann, M. Tyvaert
et T. Chalon au ministre de l’Éducation nationale, de
l’Enseignement supérieur et de la Recherche, et au ministre
délégué à la Recherche, no 2004-141, Paris : IGAENR.
ftp://trf.education.gouv.fr/pub/edutel/syst/igaen/rapports/msh_04.pdf
97 CNER (Comité national d’évaluation de la recherche), (2003), Évaluation de la recherche publique dans les établissements publics français, Paris : La Documentation française, http://www.cner.gouv.fr.
COMETS (Comité d’éthique du CNRS), (2004), « Éthique et évaluation », juin (document interne). Conseil national du développement des sciences humaines et sociales, (2001), Pour une politique des sciences de l’homme et de la société : recueil des travaux (1998-2000), Paris : Presses universitaires de France/Quadrige.
Auteurs
secrétaire scientifique au Conseil suédois de la recherche scientifique, membre du conseil d’orientation du Réseau national des MSH
directrice de l’European Research Centre, Loughborough, UK, membre du conseil d’orientation du Réseau national des MSH
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Avenir de la recherche et Maisons des sciences de l’Homme
Réédition 2020
Jacques Commaille (dir.)
2020
Mutations des sciences humaines et sociales
Les Maisons des Sciences de l'Homme et leur réseau
Françoise Thibault (dir.)
2021
Les thèses Cifre en sciences humaines et sociales
Ouvrir le champ des possibles
Clarisse Angelier et Françoise Thibault (dir.)
2023
L’interdisciplinarité sans concession
Réseau national des Maisons des sciences de l’homme (dir.)
2023