Chapitre 3
Les savoirs comme contre-pouvoirs. Des littéraires mobilisés contre la normalisation
p. 103-142
Texte intégral
1La montée en puissance des instruments visant à classer, hiérarchiser, comparer les performances des acteurs et des institutions est l’un des phénomènes caractéristiques des sociétés contemporaines (Power, 2005 [1997]). Qu’il s’agisse des palmarès hospitaliers (Ponet, 2005), des classements dans les milieux sportifs et les institutions scolaires (Darmon et Schotté, 2016), ces dispositifs de jugement « fabriquent l’excellence » (Bertrand et al., 2016), en consacrant ceux qui seront, au terme de l’épreuve, considérés comme les meilleurs. L’enseignement supérieur n’échappe pas à ces logiques : le classement de Shanghai, qui hiérarchise les universités, a contribué à les mettre en compétition à l’échelle mondiale, tandis que fleurissent les palmarès des meilleurs masters (Mignot-Gérard et Sarfati, 2015) et des meilleures écoles dans le supérieur (Espeland et Sauder, 2007)1. Enfin, les performances individuelles des chercheurs sont également mesurées, que ce soit à travers le nombre de citations de leurs articles ou, plus indirectement, à travers les facteurs d’impact des revues2 dans lesquelles ils publient. Dans certaines disciplines, on assiste également à la montée en puissance des classements de revues visant à circonscrire les « revues qui comptent » (Pontille et Torny, 2010, 2018), c’est-à-dire les revues les plus reconnues et les plus prestigieuses dans un domaine donné. Ce type d’instrument d’évaluation a de réelles incidences sur les comportements des chercheurs : les classements de revues peuvent entériner comme légitimes certaines pratiques de recherche et d’écriture, au détriment d’autres (Lee, 2007).
2Si l’emprise des classements a été bien documentée, ce chapitre s’intéresse au contraire aux résistances qu’ils génèrent et aux conditions qui permettent à une communauté professionnelle d’empêcher leur institutionnalisation. Il étudie un cas où les contestations, rarement considérées dans leur capacité à peser sur l’architecture des instruments, aboutissent à les réformer3. J’étudie pour ce faire les controverses sur les classements de revues, en prenant le cas de la recherche en littérature. Depuis une vingtaine d’années, une partie des représentants de cette discipline se mobilise pour entraver leur mise en place, de sorte que leur établissement est un chantier sans cesse remis à l’agenda par les pouvoirs publics, et perpétuellement abandonné4. Les disputes autour du caractère inclassable de la production de recherche en littérature permettent d’analyser l’action publique à partir de ses « ratés » et de montrer empiriquement que la force des dispositifs d’évaluation n’est pas inéluctable ou absolue.
3L’étude de ce cas exemplaire ne conduit pas pour autant à dénier leur efficacité aux classements. Ils s’instaurent dans bien des disciplines, et une partie des membres de la profession accorde crédit à ces formes d’objectivation des hiérarchies scientifiques, bien qu’ils reconnaissent les potentiels mésusages des classements. C’est pourquoi le chapitre étudie d’abord les discours favorables aux instruments visant à une hiérarchisation de la qualité académique en SHS. Il s’intéresse ensuite aux conditions sociales spécifiques qui ont permis aux littéraires d’entraver la construction d’un classement, en portant attention à leurs stratégies argumentatives pour délégitimer l’instrument. Les littéraires produisent une épistémologie de leurs pratiques savantes qui rend celles-ci impropres à toute forme de classification. Je propose de décrypter dans ce chapitre les discours qu’ils tiennent sur leur pratique professionnelle, et notamment, sur le type de créativité qu’ils revendiquent dans leur travail de production de savoirs.
4Les discours ne sont pas doués d’efficacité seuls, ils tirent également leur puissance des rapports de pouvoir institués dans la discipline. Loin d’être confinés dans des arènes fermées et toutes-puissantes, comme pourrait l’être l’AERES, les choix en matière de politiques d’évaluation sont aussi façonnés dans le cadre de concertations plus ou moins formelles avec d’autres représentants du monde académique – en l’occurrence, de la recherche en littérature –, qui peuvent tenir en échec des réformes qui leur sont imposées. La carrière des instruments d’évaluation et l’issue des controverses qu’ils suscitent dépendent à la fois des représentations dominantes des pratiques légitimes de recherche, de la congruence de l’instrument avec ces pratiques épistémiques, et des rapports de pouvoir entre les institutions représentatives de la communauté académique, qui peuvent défendre des modèles concurrents d’évaluation de la recherche.
Des classements pour quoi faire ?
5Ce chapitre s’intéresse d’abord aux arguments soutenant la production de ces classements. Dans de nombreux pays, des classements de revues ont émergé en sciences humaines et sociales, notamment en économie, psychologie, sociologie et science politique depuis les années 1970 (Pontille et Torny, 2016)5. Listes et classements de revues fournissent des indices indirects de la valeur des articles qui sont publiés – la qualité de ces articles étant inférée du prestige de la revue dans laquelle ils paraissent. En France, c’est à partir des années 2000 que se systématise la mise en place de ces instruments. Avant la création de l’AERES, les organismes de recherche (CNRS, INSERM, etc.), les instances de régulation des carrières universitaires (CNU) avaient déjà procédé à l’établissement de listes de revues, dans différents domaines scientifiques. En économie, par exemple (Pontille et Torny, 2010), les revues étaient distinguées dans les années 2000 par un nombre d’étoiles, chaque revue se voyant attribuée entre 0 et 5 étoiles6. Le caractère disciplinaire de la constitution de listes de revues permet aux différentes communautés scientifiques de produire des outils sensiblement différents, en fonction des pratiques propres à chaque domaine7. Cependant, toutes les disciplines ne disposaient pas de telles listes, et la création de l’AERES met ou remet à l’agenda la question de la diffusion de cet instrument à l’ensemble des domaines scientifiques, ainsi que celle des usages qui peuvent être faits de tels instruments.
6Dans les premières années d’existence de cette agence, l’ensemble des responsables de la section d’évaluation des laboratoires est favorable aux classements, ainsi que certains délégués scientifiques, c’est pourquoi je m’intéresse aux justifications qu’ils en donnent publiquement ou en entretien. À quoi ces classements servent-ils, et quels sont les enjeux de ce travail de tri des revues, du point de vue de leurs promoteurs à l’AERES ? Trois argumentaires principaux se dessinent à l’issue de l’enquête. La mise en place de classements s’inscrit d’abord dans une logique d’objectivation du jugement scientifique. L’affichage de ces listes est ensuite supposé, malgré de nombreux caveats des dirigeants de l’AERES, redéfinir les canaux légitimes de diffusion de la recherche. Enfin, la production de labels revaloriserait les sciences humaines et sociales, en alignant leurs formes de reconnaissance scientifique sur celles d’autres domaines.
Objectiver le jugement
7Les outils de mesure et de classement sont d’abord défendus par certains universitaires comme des aides au jugement par les pairs. Ils permettraient aux experts d’étayer leur avis scientifique sur des données quantifiables ou du moins objectivables. C’est en ce sens qu’avant même la création de l’AERES, l’un des dirigeants de la Mission scientifique et technique, un mathématicien qui a systématisé l’usage de tableaux de bord au début des années 2000, défendait le décompte des « publiants ». En entretien, il considère que les indicateurs dépassionnent le jugement et l’objectivent. Cependant, les outils permettant de décider des publications qui comptent n’étaient que peu formalisés, avant la création de l’AERES, dans les disciplines faiblement représentées au CNRS telles que les lettres. Ainsi, l’établissement d’une liste ou d’un classement de revues pour renseigner l’indicateur n’a jamais vu le jour à la Mission scientifique du ministère dans certaines disciplines des SHS, comme l’indique une directrice scientifique de la Mission à la fin des années 1990 :
Directrice : On n’était pas très quantitativiste sur les publications […].
Enquêtrice : Et il y avait des histoires de revues bien classées, mal classées ?
Directrice : Non, absolument pas. Mais en fait c’était quand même un critère qui existait dans les têtes. Il y a quand même des revues très, très locales, qui sont en plus des revues qui ne sont pas d’un très bon niveau, et puis des grandes revues. Donc rien n’était quantifié, mais… Ça comptait. […] C’est vrai qu’[en SHS] on se singularisait par des méthodes de travail particulièrement impressionnistes, c’est le moins que l’on puisse dire. Ce n’était pas le même contexte que les équipes de physique, habituées aux méthodes du CNRS.
8Les experts de la Mission renseignaient cet indicateur – avec quelques écarts cependant : certains évaluateurs remplissaient la case concernée par un point d’interrogation, tandis qu’un autre, refusant de faire les comptes, s’exprimait ainsi en marge : « Je trouve cette évaluation par la quantité bien contestable »8. Ils s’appuyaient sur leur propre échelle de valeurs pour décréter quels types de publications permettaient de compter un chercheur comme « actif », plutôt que sur un instrument publié et partagé. Si certaines sections d’évaluation d’organismes de recherche disposaient de classements de revues, dans d’autres, ce type d’instruments n’avait pas encore connu de formalisation aboutie. Ce sont les conventions propres aux disciplines qui se donnent ici à voir à travers les outils qu’elles mettent ou non en place.
9Cependant, plusieurs changements dans les usages de l’évaluation et les pratiques de production scientifique amènent une partie des membres de l’AERES à défendre la mise en place de classements. D’une part, la publication des résultats de l’évaluation et des indicateurs sur lesquels elle s’appuie renforce, aux yeux des membres de l’AERES, la nécessité de classer les revues. En effet, les expertises ministérielles n’étaient pas rendues publiques, et les débats sur la quantification des enseignants-chercheurs « actifs » en recherche étaient bien moins aigus qu’en contexte de publicisation massive des jugements dès 2007. Il s’agit alors, à travers l’établissement de listes de revues, d’objectiver les éléments sur lesquels se fondent la mesure et l’affichage public du « taux de publiants ». Les articles publiés dans les revues qui ne sont pas référencées dans le classement de la discipline ne seront pas retenus dans le décompte des publications du laboratoire évalué. Dès lors, les listes de revues prennent la valeur d’un argument qu’ils peuvent mobiliser pour justifier les résultats de l’évaluation :
Les contestations ne sont pas rares… donc on sort quelques fiches individuelles, en disant : « écoutez, il y a un article de nécrologie dans le bulletin truc, vous pensez vraiment qu’on peut compter ça comme de la production scientifique ? » […] Donc là on lui dit : « voilà ce que nous nous obtenons comme chiffres, et voilà comment nous l’obtenons ». (Délégué scientifique 2, sciences humaines)
10En mettant en lumière le processus par lequel le jugement est construit, ces instruments acquièrent, selon ce discours, une fonction de clôture de la controverse. En contexte de publicisation des résultats de l’évaluation, ce registre de promotion des classements, qui affirme leur rôle d’objectivation et de justification du jugement, est celui que leurs défenseurs à l’AERES mettent le plus volontairement en avant. Les classements de revues fourniraient des prises efficaces aux évaluateurs pour étayer et rendre moins contestable leur jugement sur la qualité scientifique des laboratoires.
11D’autre part, listes et classements de revues auraient pour fonction de fournir des outils de repérage des travaux des différents champs scientifiques. Selon les promoteurs des classements, le développement de la publication scientifique rend indispensable leur constitution. Ils arguent que des outils permettant de circonscrire les revues et les publications « qui comptent » sont d’autant plus nécessaires que la quantité des publications, notamment dans le cadre de l’évaluation des collectifs de recherche, rassemblant plusieurs dizaines de chercheurs, rend difficile l’exercice d’un mode de jugement qui reposerait sur la lecture assidue des travaux de recherche. Sans pour autant souscrire à la légitimité des classements, des enseignants-chercheurs actent ce fait :
Il y a aussi eu un développement de la publication […]. Maintenant on peut publier énormément en quantité. Et il y a des gens qui publient… Ils font de la pisse-copie […]. Vous ne pourrez pas lire l’ensemble de ce qu’ils ont fait : ils écrivent plus vite que vous ne lisez. (Expert à la MSTP, président de comité de visite AERES 1, lettres)
12C’est parfois sur le registre de l’excuse que cet argument, bâti sur l’essor des productions et notamment celui des revues électroniques, est mobilisé par les membres de l’AERES pour légitimer la mise en place de labels indirects permettant de distinguer et de comparer les travaux des chercheurs. Lors d’un colloque sur l’évaluation de la recherche tenu en 2011, une coordinatrice des SHS de l’AERES, pour répondre aux accusations concernant l’usage de méthodes bibliométriques, recontextualisait ainsi le besoin d’outils pour classer les productions académiques : « Nous y sommes contraints avec la modification des vecteurs de communication et la numérisation, […] [il faut] inventer des systèmes régulateurs pour accompagner ces nouvelles techniques »9. Mais à l’AERES, les classements ne sont pas de simples outils de repérage et de description d’un champ scientifique. En effet, la mise en place de l’AERES s’accompagne du projet d’imposer à toutes les disciplines la constitution et l’usage d’un même instrument, là où les méthodes d’évaluation et les outils d’objectivation du jugement étaient hétérogènes et variables selon les disciplines. Avec la naissance de cette agence, certaines disciplines des humanités, jusqu’alors étrangères aux pratiques de classement, se verraient assujetties à ces nouveaux instruments. Dans ces disciplines en particulier, la mise en place d’instruments de quantification et de hiérarchisation s’accompagne également d’un projet de réforme des pratiques de production académique, volontiers endossé par les dirigeants de l’AERES.
Redéfinir les bonnes pratiques de publication
13Les membres de l’AERES sont conscients des effets prescriptifs des normes qu’ils fabriquent sur les pratiques scientifiques. C’est même en raison de leurs effets escomptés sur les comportements des chercheurs qu’une partie des dirigeants de l’AERES promeut la fabrique d’outils de classification :
Si vous mettez en place une évaluation quantitative, ça n’améliore pas forcément la science que vous faites, mais ça force les gens à publier dans les bonnes revues, c’est-à-dire que c’est un facteur incitatif. (Directeur de section B, AERES)
14Ce discours a une portée générale, mais il est, du point de vue des physiciens qui dirigent la section d’évaluation des laboratoires jusqu’en 2012, encore plus impérieux de réformer les pratiques de recherche des sciences humaines et sociales, qui souffriraient de l’absence de normes de validité communes. La réforme escomptée des pratiques académiques se lit d’abord à travers la valorisation des articles produits dans des revues. Même si les membres de l’AERES rappellent que les articles ne sont pas les seules productions comptabilisées pour la définition du « publiant », les pressions envers la création de classements de revues isolent ce type de productions académiques des ouvrages et des actes de colloque, et placent alors l’accent sur les revues comme principal support légitime de diffusion scientifique. Lors de l’ouverture du colloque sur l’évaluation des productions académiques, tenu en 2011 à l’AERES, un ancien délégué scientifique en SHS rappelait :
Les SHS ont la chance de disposer d’une très vaste gamme de supports de publication et de diffusion des connaissances […]. Cette diversité est une richesse […] qui ne doit pas masquer le fait que la publication dans les revues à comité de lecture est, sans doute, un des moyens les plus efficaces de publier des résultats de recherche qui ont été évalués par les pairs. (Kosmopoulos et Dassa, 2011, p. 3)
15Si l’on se réfère à de nombreux rapports, les disciplines des SHS souffrent d’un déficit de légitimité scientifique. Dans un rapport de 2006, le Comité national d’évaluation de la recherche (CNER) se proposait d’analyser la spécificité des SHS par rapport aux autres domaines10. Elles y apparaissent comme des sciences relativistes, marquées par un éclatement des paradigmes, et configurées autour de chapelles scientifiques qui compromettraient la possibilité de sélectionner des experts « neutres ». Cette littérature grise rejoint plusieurs travaux de sociologie des sciences. Certains d’entre eux analysent, d’une façon normative, les différences de pratiques de publications entre les sciences naturelles et les sciences humaines et sociales comme le reflet de l’état de progrès auquel sont parvenus ces domaines académiques : selon Elisabeth Clemens et ses collègues (1995), le fait que la publication d’articles dans des revues devienne prépondérante par rapport à d’autres modalités de publication académique signalerait la constitution de la discipline autour de paradigmes communs, le mécanisme de peer review garantissant par ailleurs la robustesse et la fiabilité du savoir produit. En revanche, lorsque la publication des travaux sous forme d’ouvrages est dominante, ils y voient le signe que la discipline ne produit pas un savoir éprouvé ou cumulatif, car il est a priori soustrait au contrôle des comités de lecture et de rédaction, ce qui indique également son faible degré de solidité paradigmatique. Comme le rappellent les auteurs d’un rapport sur la bibliométrie (Archambault et Vignola Gagné, 2004), un argument semblable avait été formulé par Sydney Pierce (1987). Selon elle, la forme ouvrage s’explique par l’éclatement des théories et des approches dominantes dans certaines disciplines. Les chercheurs voient alors dans les livres des manières de diffuser leur propre approche sans subir les barrières de comités de sélection qui peuvent leur être hostiles. Selon Maurice B. Line, la majorité des sciences humaines et sociales sont « relativement jeunes et peu organisées en tant que disciplines cohérentes » (Line, 1999, cité par Archambault et Vignola Gagné, 2004, p. 1111).
16En un sens, certains travaux de sciences sociales participent de la construction d’un stigmate sur les disciplines auxquelles appartiennent leurs auteurs : la validité des travaux de SHS serait locale, et non pas adossée à des normes internationales et partagées déterminant la qualité scientifique, leurs canaux de publication et de communication apparaissent comme hétérogènes (Nederhof et al., 1989 ; Hicks, 1999 ; Nederhof et Zwaan, 1991). Il ne s’agit pas ici de prendre position sur ces interprétations, mais de souligner qu’elles constituent un présupposé structurant dans les discours que tiennent certains membres de l’AERES sur les sciences humaines, du moins dans ses premières années :
Le propre des SHS c’est qu’on peut publier dans n’importe quoi, et si vous publiez dans la revue de votre université, ça ne garantit pas du tout que ce que vous publiez soit de qualité, le fait que c’est pas lisible à l’étranger, etc. il faut publier dans de bonnes revues, il faut que ce soit lu, qu’il y ait un comité de lecture sérieux, enfin voilà. (Directeur de section B, AERES)
17En mettant l’accent sur l’importance de publier des articles de revue dans ces disciplines, les membres de l’AERES reprennent la grille de lecture selon laquelle cette pratique scientifique garantirait à la fois la validité des résultats et la qualité du travail académique. Mais plus encore, en imposant la mise en place de listes et de classements de revues, ils donnent des moyens d’exclure des productions légitimes celles qui ne seraient pas parues dans les revues labellisées. Rendre publique la frontière entre les supports de publication légitimes et les autres devient un moyen de transformer les pratiques de recherche. L’expérience de l’étranger et les pratiques de recherche des acteurs peuvent éclairer certaines de leurs convictions en faveur de l’établissement de classements objectivant la qualité scientifique. Ainsi en est-il des prises de position de cet enquêté, qui représente un courant de recherche en sciences humaines particulièrement développé aux États-Unis :
Les hiérarchies intériorisées ça vaut rien ! Il y a des gens qui sont dans leur propre domaine et qui croient que la revue machin c’est le top niveau dans leur domaine, [alors qu’]il y a mettons mille lecteurs en tout et pour tout, et ils sont répartis seulement en France ! Est-ce que vous trouvez que c’est acceptable, ça, pour la recherche ? […] il faut que les chercheurs se rendent compte que, pour leur propre carrière, les publications en français, c’est niet ! C’est comme ça, alors tout le monde va pleurnicher, « le français, etc. ». Eh bien oui, mais on est dans un monde où le français n’a plus grande importance. (Membre C du CoNRS, section 35)
18L’établissement d’une telle frontière vise à infléchir les comportements ou les stratégies de publication des chercheurs, en les encourageant à publier dans les revues « qui comptent ». Mais elle vise également à modifier les représentations de la qualité académique, en remplaçant les échelles de valeurs domestiques par une définition plus internationalisée de la recherche légitime. En sciences humaines à l’AERES, la volonté de s’emparer des classements témoigne enfin de cette croyance particulière : en alignant les pratiques de jugement SHS sur des modèles à la fois internationaux et propres à d’autres domaines scientifiques, ces disciplines conquerront, ou reconquerront, un prestige et une position dont elles seraient privées.
Un levier de reconnaissance académique pour les SHS ?
19Lorsqu’ils cherchent à convaincre de l’intérêt de se prêter au jeu du classement des revues, les enquêtés mettent souvent en avant le fait que ceux-ci existent déjà à l’échelle européenne, dans des disciplines expérimentales mais également en sciences humaines et sociales. La Fondation européenne pour la science (European Science Foundation, ESF) a en effet produit et publié à partir de 2008 un Index européen de référence pour les humanités (European Reference Index for the Humanities, ERIH) qui classe les revues de sciences humaines en fonction de leur rayonnement international (A), national (B), ou régional (C). Lors d’une table ronde mettant en présence des représentants des instances d’évaluation en France, un coordinateur pour les SHS précise ainsi :
En ce qui concerne la bibliométrie, l’AERES n’en fait pas un usage plus important que ce qui pouvait se pratiquer auparavant. Si elle s’y intéresse, c’est parce que la mondialisation de la recherche aidant, certains pays se sont mis à l’utiliser. (Table ronde « L’évaluation en sciences humaines et sociales », ENS, 27 mai 2008)
20Comme plusieurs travaux l’ont montré, le choix des instruments peut être orienté par le fait qu’ils sont déjà en circulation dans d’autres secteurs ou pays (Le Galès, 2005 ; DiMaggio et Powell, 1983). Du fait de leur usage répété, ces instruments bénéficient d’une certaine reconnaissance et ont acquis le statut de bonne pratique. Que ce soit pour justifier ou au contraire pour critiquer les classements, leur diffusion « à l’international »12 revient souvent dans les discours des enquêtés ; un président de section du CNU voyait dans la création des classements le résultat de la diffusion d’« une mode européenne », tandis que la vice-présidente d’une autre section déroulait, sur le ton du pamphlet, les arguments qui lui étaient présentés pour légitimer l’importation de classements de revues dans sa discipline :
On nous disait qu’ils [les classements] existaient partout ailleurs, qu’il fallait se mettre aux normes machins, bla-bla-bla, bla-bla-bla ; si on voulait être aussi bon que les Américains, il fallait faire comme les Américains, et que les Japonais et les Chinois et les je ne sais pas qui. (Vice-présidente CNU)
21L’importation des classements en sciences humaines apparaît alors comme une forme d’acculturation de ces disciplines à des modalités de jugement et de reconnaissance académique perçues comme légitimes à l’échelle internationale, mais aussi dans certains secteurs scientifiques.
22En effet, les coordinateurs de l’AERES ont proposé que la fabrique des classements soit indexée sur celle de l’ERIH, les commissions nommées par l’agence devant alors importer la méthodologie de la ESF (classement en A, B et C, en fonction du « rayonnement » des revues). Il est ainsi prévu – même si les commissions sont supposées amender et compléter cette liste existante – que les classements AERES discréditent des pratiques « locales » de publication et valorisent un modèle « international », aligné sur celui des sciences expérimentales. Comme le souligne un coordinateur pour les SHS à l’AERES :
Ça nous paraissait important […] qu’une unité, qui n’aurait publié que dans la petite revue d’histoire locale ou d’archéologie locale, soit encouragée à étendre son rayon d’action vers des revues nationales ou internationales. Ce n’était jamais aussi caricatural que cela mais c’était un peu l’idée. (Coordinateur B, AERES)
23Importer des classements de revues sur ce modèle est perçu par certains enquêtés comme une opportunité pour les SHS de revaloriser leur position sur l’échelle du prestige scientifique. En quelque sorte, faire le tri entre les revues qui comptent et les autres permettrait de redorer le blason de disciplines qui souffrent d’un déficit de reconnaissance scientifique.
24En effet, certains travaux de recherche qui portent sur les sciences humaines et sociales considèrent que leur régime de scientificité est problématique. Un numéro spécial consacré au statut de la preuve dans les sciences sociales (Busino, 2003) souligne la frontière entre des sciences dont la pratique reposerait sur des techniques indurées d’administration de la preuve, et des sciences interprétatives, telle que la sociologie. Il prolonge ainsi les conclusions de Jean-Claude Passeron (1991), selon qui les méthodes et protocoles en vigueur dans cette discipline sont concurrents, font l’objet de conflits entre les praticiens, ces traits rendant la définition de ce qui fait preuve indécidable et controversée13. Les membres de l’AERES sont particulièrement au fait des postulats présentés ci-dessus, et c’est pour contrecarrer ces discours sur le statut académique problématique des SHS que certains proposent, en établissant des classements, de circonscrire le périmètre des publications scientifiques légitimes :
[Le coordinateur SHS] est parti d’une image : « les SHS sont mal vues, parce qu’à l’extérieur il se dit que ce n’est pas de la science, car ce n’est pas évalué, que tout est subjectif, qu’il n’y a rien de rigoureux ». Donc il a voulu prendre le contrepied de ça complètement, en disant : « on est capable en SHS aussi de se donner des critères rigoureux et de mettre des indicateurs derrière ». (Délégué scientifique 9, sciences sociales)
25En effet, selon plusieurs membres de l’AERES, l’importation et la fabrication des classements constituent un puissant levier de réaffirmation de la valeur scientifique des sciences humaines et sociales :
Une politique consistant à dire « tout le monde il est beau, tout le monde il est gentil », m’apparaît suicidaire pour l’image de notre discipline vis-à-vis des autres. Il faut assumer de hiérarchiser les revues. (Délégué scientifique 27, sciences sociales)14
26On retrouve ici un mécanisme de légitimation disciplinaire semblable à celui qu’avait analysé Benoît Godin (2006) : lorsque James McKeen Cattell, un psychologue américain, a commencé dès 1906 à produire et à publier des statistiques sur les performances des « hommes de science » en psychologie, l’objectif était de contribuer à la structuration et à l’avancement de la recherche dans la discipline, en la cartographiant15. Reprenant les différentes adresses de Cattell à ses contemporains pour justifier sa démarche, Benoît Godin (2006, p. 8) montre que la bibliométrie avait ici pour fonction d’attester le sérieux, la rigueur et la scientificité de ce champ émergent à un moment où il ne bénéficiait pas d’une reconnaissance académique équivalente à celle des sciences exactes et d’autres disciplines déjà institutionnalisées16. Dans un communiqué public, des délégués SHS considéraient que les listes de revues « fourniraient à nos disciplines et, plus généralement, aux sciences humaines et sociales les moyens de se défendre à armes égales avec les sciences exactes »17. Il ne s’agit pas de dire que les sciences exactes et expérimentales auraient précédé les SHS dans l’établissement des classements de revues, et que les SHS calquent mécaniquement leurs dispositifs sur les leurs : en effet, à de rares exceptions près (notamment l’Australie), les autorités publiques n’ont pas entrepris de réaliser des classements pour ces disciplines, qui avaient déjà l’habitude d’utiliser le facteur d’impact des revues. Mais absence de classement ne signifie pas absence de hiérarchisation : chez les biologistes par exemple, la hiérarchie des revues les plus prestigieuses, indexée sur les facteurs d’impact des revues, est particulièrement nette et fait assez peu débat, du moins relativement à certaines disciplines des SHS18. C’est bien plutôt parce que le facteur d’impact est une mesure contestée de la qualité des revues en SHS que certains de leurs représentants ont entrepris d’établir des listes et des classements, afin de construire, eux aussi, des outils pertinents de hiérarchisation dans leurs domaines.
27La mise en place des classements servirait un triple objectif. Instruments d’équité et de transparence du jugement en contexte de publicisation des expertises, les classements de revues clôturent également la définition des pratiques légitimes de publication. Enfin, la dissémination des classements à l’international et les pratiques de hiérarchisation dans les disciplines modèles rendent ces instruments incontournables aux yeux de leurs promoteurs : leur importation constitue un remède efficace contre la dévaluation dont pâtiraient certaines disciplines vis-à-vis de secteurs dominants, et ils deviennent garants de la légitimité académique des domaines scientifiques qui s’y prêtent. Mais en dépit du travail des responsables de l’AERES pour justifier la nécessité des classements, leur création a été systématiquement entravée dans certaines disciplines, telles que les lettres et les langues. Ce cas est suffisamment exceptionnel pour l’explorer. Il met en évidence ce qui reste souvent un impensé : les outils de classement, bien que massivement diffusés, ne s’imposent pas dans tous les mondes sociaux, et il convient de questionner les conditions de leur emprise. Tout comme l’institutionnalisation d’une catégorie, d’un nom, ou d’un instrument suppose un travail de la part d’acteurs sociaux (François, 2011), leur désinstitutionalisation requiert également un travail collectif, qu’il reste à analyser.
Rendre les classements illégitimes
28Les différentes disciplines des SHS ont adopté des modes de catégorisation ou de hiérarchisation distincts et s’approprient différemment les injonctions à classer. Certaines les rejettent frontalement : les lettres et les langues se singularisent par le refus de leurs représentants de constituer des listes ou des classements de revues. Alors que les professionnels sont souvent dépeints en situation de réagir aux classements, même s’ils disposent de marges de manœuvre (Sauder et Espeland, 200919 ; Paradeise et Thoenig, 2013), les littéraires parviennent ici à conserver ces instruments à un stade d’inachèvement tel qu’ils n’ont ni à transiger avec l’instrument ni à le manipuler. Les classements de revues, rejetés à l’extérieur de leur monde social, sont d’emblée inaptes à le réformer. Quelles stratégies argumentatives adoptent-ils donc pour se préserver de la nécessité de classer et empêcher la constitution d’instruments de hiérarchisation ?
Saper les fondements des classements
29Les représentants de la recherche en littérature tels que les présidents d’associations savantes, de sections du CNU, du Comité national, les directeurs de revues du champ, mais également certains délégués scientifiques de l’AERES, déploient un arsenal argumentatif qui attaque la légitimité des classements, à l’occasion de prises de position publiques ou privées. Ces prises de position se cristallisent d’abord lors des « commissions bibliométriques », c’est-à-dire les réunions mises en places dès 2007 par l’AERES pour construire des classements de revues par disciplines. Ces commissions se composent de présidents et de vice-présidents de sections du CNU, du CoNRS, de présidents de sociétés savantes, de présidents de comité de visite AERES et des délégués scientifiques de l’AERES correspondants. En lettres, au lieu d’être des espaces de production de classements, elles apparaissent comme des lieux de mise en doute aiguë des principes de jugement que cherchent à diffuser les dirigeants de l’AERES.
30Les travaux sur les instruments ont bien montré qu’ils technicisent et masquent les enjeux politiques (Lascoumes et Le Galès, 2005), ce qui rend leur contestation plus difficile (Bezès, 2005). Les littéraires effectuent au contraire un travail de re-politisation de l’instrument : déconstruisant la légitimité des classements, dévoilant leurs biais et leur absence de neutralité, réfléchissant enfin à leurs conséquences sur les pratiques des chercheurs, ils mettent au jour les projets politiques implicites qui sous-tendent leur mise en place.
31Certains représentants de la littérature sapent tout d’abord la prétention des classements à l’objectivité et à l’universalité. Pour plusieurs enquêtés, les classements de revues reflètent des points de vue spécifiques et des partis pris : empreints de la subjectivité de leurs concepteurs, ils sont le produit de conventions plus ou moins arbitraires ou a minima contingentes. Leur valeur en tant qu’instruments neutres est donc toute relative. C’est le sens du croquis et de l’encadré suivants qu’un délégué scientifique de l’AERES m’a montrés lors d’un entretien. Il les avait reproduits et fait circuler auprès des membres de la commission bibliométrique qu’il organisait20 :
Illustration 1. Le relativisme des classements

[Illustration 1bis]

32Le dessin humoristique illustre le fait que les préférences sont relatives à l’identité du groupe considéré. Tout comme la girafe et les amibes trouvent dans leurs semblables le parangon de la beauté, les évaluateurs sollicités pour établir un classement tendront à valoriser les travaux qui se rapprochent le plus des leurs et de leur esthétique de recherche. Ce biais, documenté dans la littérature (Travis et Collins, 1991), se traduit alors dans les classements : un même journal peut voir sa position varier entre les différents classements dans lesquels il apparaît. Une revue considérée comme de qualité dans une discipline des sciences sociales ne le sera pas nécessairement dans une autre qui lui est proche. Le fait qu’une même revue puisse se voir attribuer des notes différentes en fonction des classements considérés illustre leur inaptitude à circonscrire la valeur des productions académiques, qui reste dans ce cas indécidable. Rappeler les conditions de production de l’instrument et le fait que ses concepteurs s’inscrivent dans des communautés épistémiques particulières permet aux enquêtés d’en démontrer le caractère construit, et de relativiser sa valeur et son objectivité. L’instrument est alors rendu inutilisable, en raison des biais inhérents à son élaboration.
33Ce travail de sape du bien-fondé des classements est récurrent lors des commissions. Leurs participants passent au crible l’ensemble des postulats sur lesquels reposerait un tel classement des revues en littérature. En 2007, les dirigeants de l’AERES ont proposé aux commissions de travailler à partir des listes de revues conçues par l’ESF, qui classe les revues en fonction de leur « rayonnement » géographique – international, national ou local. L’accent est mis sur l’évaluation de la dimension internationale de ces revues – les seules qui se verraient attribuer un A, selon la grille retenue par l’ESF. Cependant, les participants ont immédiatement souligné le caractère problématique de ces labels :
Simplement qu’est-ce qui doit être international ? Le comité de lecture de la revue ? Le lieu de publication de la revue ? Les gens qui publient dans la revue ? C’est QUOI une publication internationale ? Est-ce que… Pour citer des revues dans mon domaine, est-ce qu’une revue comme [X], qui est une revue qui a pignon sur rue, qui est parisienne, extrêmement parisienne, c’est une revue internationale, ou pas ? (Vice-présidente CNU)
34Le flou de la notion de revue internationale permet ici à l’enquêté de dénigrer ce principe de classement. Mais au-delà des problèmes de frontière entre le national et l’international, impossibles à trancher et du même coup non pertinentes selon les enquêtés, plusieurs participants mettent en doute la dévalorisation même du « local » au profit de l’« international ». Dans un document d’archives, un délégué scientifique prend note des deux interventions suivantes lors d’une commission bibliométrique :
« Méfions-nous des “publications à l’étranger”, nous dit une autre collègue : il est plus facile de publier dans une revue indienne qu’en France, mais cela ne veut pas dire que la revue indienne a plus de visibilité… ».
« Il faut noter aussi un grand nombre de colloques qui se donnent le label “international” mais où aucun étranger n’est présent ».21
35Non seulement la méthodologie adoptée pour établir ces principes de distinction n’est pas aisée à établir, mais quand bien même elle le serait, ce principe de discrimination ne permettrait pas de refléter fidèlement la qualité ou la médiocrité de la recherche. En lettres, les participants aux consultations mettent systématiquement en cause les principes qui leur sont proposés pour procéder à l’établissement d’une liste de revues « qui comptent ».
36Ils n’expriment pas seulement leur réticence à valoriser la dimension internationale des revues, un même soupçon plane sur le deuxième principe de classement qui leur était proposé, à savoir une indexation qui prenne en compte le fonctionnement de la revue et notamment les modalités de sélection des articles. D’une part, plusieurs représentants de la discipline soulignent que le fonctionnement de l’évaluation collégiale dans les revues est un paramètre difficile à vérifier, matériellement :
Un des principes, c’était les revues à comité de… enfin le type de comité. Comité international, Comité national, revue sans comité, etc. etc. Donc ça c’était un principe de classement. Sauf qu’il existe des revues qui ont un comité de lecture et dont on sait que le comité ne se réunit jamais. Vous voyez. Donc tout cela est extrêmement compliqué. Alors pour véritablement le savoir, il faudrait interroger les gens, revue par revue, et leur dire : « est-ce que votre comité de revue se réunit ? ». Bon alors évidemment ils vont vous dire : « oui ». [Il rit.] (Président d’une section du CNU, SHS)
37Mais ils s’interrogent également sur la validité du critère lui-même. Le même enquêté questionne ainsi l’équivalence entre la présence d’un comité d’évaluation et la qualité des articles retenus :
Il y a eu pendant très longtemps […] un Bulletin d’études valéryennes, qui était à Montpellier, […] ce bulletin publiait parfois des choses tout à fait remarquables, il y avait un comité de lecture qu’on trouvait sur la page de garde de la revue, mais ce comité ne se réunissait jamais, c’était le directeur qui composait le numéro tout seul. Et je pense que c’était le cas pour d’autres revues. (Président d’une section du CNU, SHS)
38Les participants dénient le statut de référence à des normes en vigueur ou promues par les défenseurs des classements. Selon cet argumentaire, le caractère international des revues ne saurait constituer un garant de la qualité des travaux retenus, pas plus que la présence d’un comité de lecture ou de rédaction. Dès lors, les classements reposeraient sur des principes bancals, et offriraient des repères inadéquats, à partir desquels il serait impossible d’inférer la qualité des recherches d’un domaine :
Un article qui est une courge bouillie dans une revue qui a pignon sur rue, où l’article a été en fait pris parce que… Eh bien on ne peut pas dire non à tel ou tel collègue, ça peut être un article très mauvais ! Et puis il peut y avoir un article formidable dans une petite revue de province mais qui ne comptera pour rien ! (Président de comité de visite AERES 1, littérature)
39Ce type d’intervention n’est pas isolé, il vise à déconstruire des critères de jugement qui leur apparaissent injustement fétichisés. Cette prise de position n’est d’ailleurs pas propre aux sciences humaines. Un ancien directeur de la MST soulignait également les failles des systèmes de classification usités :
On a un critère qui existe, l’AERES l’a, ce sont les revues qui sont répertoriées par les grandes bases de données et en particulier le Web of Science. Je peux vous dire que dans le Web of Science il y a des publications minables, mais minables ! (Directeur de la Mission scientifique)
40Ainsi, le postulat d’objectivité des classements, l’indexation de la qualité académique sur les pratiques éditoriales des revues, ou encore sur leur caractère « international », sont régulièrement questionnés par l’ensemble des enquêtés. Même ceux qui ont accepté la création ou la mise à jour des classements ne sont pas dupes de l’artefact, et ont émis des doutes quant à la validité absolue des critères et des principes sur lesquels reposent les classements. Mais si l’on retrouve ces objections dans d’autres disciplines que les lettres, la spécificité de la résistance aux classements dans ce domaine tient à la production d’un discours épistémique et institutionnel sur les pratiques de recherche qui ont cours dans la discipline, et qui les rendraient impropres à toute forme de classification.
Des disciplines indisciplinées ? Discours sur la production des savoirs et la créativité en littérature
41Un rapport de l’AERES, paru en 2011, établit une nette opposition entre les disciplines.
Si les listes de revues « académiques » ne posent pas de réel problème dans les secteurs des sciences et technologies et des sciences de la vie, il n’en est pas de même dans celui des sciences humaines et sociales (SHS) où il n’existe pas de consensus sur la qualité des revues, ni, a fortiori, sur une échelle de qualité relative.22
42En actant la scission entre les sciences expérimentales et les SHS, les dirigeants de l’AERES entérinent une opposition ancienne, celle qui distinguerait leurs deux régimes de production du savoir. La consommation de la rupture entre les sciences et les lettres est datée par les théoriciens de la littérature au milieu du xviiie siècle (Kremer, 2011). C’est à cette époque que remontent les lieux communs sur la « mollesse » des savoirs produits par les littéraires, pour lesquels les objets de connaissance sont aussi des objets de plaisir esthétique (les œuvres), tandis que la rigueur, le sérieux et le développement d’instruments spécifiques autres que l’« esprit » caractériseraient la production des savoirs scientifiques. Ces discours ne sont pas seulement tenus sur les sciences humaines par des représentants d’autres disciplines, des chercheurs en sciences humaines s’en réclament pour justifier le régime d’exception qu’ils revendiquent et ainsi rejeter l’imposition des pratiques de jugement propres aux sciences expérimentales dans leur domaine :
Vous n’avez pas de repérage quantitatif ou de grille […] dans les sciences humaines, vous pouvez les avoir en sciences de la nature, je ne dis pas le contraire mais en sciences humaines c’est une vaste escroquerie. […] Pourquoi est-ce que vous iriez comparer des gens qui font un certain type de travail à Paris 7 et des gens qui font un autre type de travail à Paris 4, est-ce que la hiérarchie a un sens ? (Président de comité de visite AERES 1, littérature)
43Une partie des littéraires revendiquent la spécificité de leur discipline d’appartenance pour délégitimer des injonctions à la hiérarchisation et des politiques évaluatives qu’ils estiment n’avoir de validité que pour d’autres secteurs scientifiques. Certains vont même jusqu’à déconstruire le label « scientifique » dès lors qu’il s’agit de qualifier les écrits produits dans leur discipline :
Le mot de « recherche » on n’a rien trouvé de mieux, ça vient à mon avis des sciences dures et de l’université anglo-saxonne. Est-ce que, quand je regarde ce que publient mes collègues […], je peux appeler ça de la recherche ? […] Cette intrusion du mot de recherche dans la littérature date d’après 1968, il me semble. […] Que faisait un professeur d’université en lettres en 1950 ? […] Il faisait « de la littérature », il ne faisait pas de la « recherche en littérature » ! […] Alors « recherche »… je trouve que ce que publient les gens qui sont autour de moi, ça s’appelle de l’essai, ce sont des essais. (Président de comité de visite AERES 2, littérature)
44Tout comme Eliot Freidson (1986) rapprochait les travaux conduits par les spécialistes des domaines littéraires des activités de création, leur donnant le nom d’« œuvre » plutôt que de « travail » (p. 438), certains représentants des sciences humaines mettent en doute la scientificité des travaux conduits dans leur domaine. En renvoyant l’image d’une discipline faiblement structurée autour d’un consensus, non seulement sur la définition de la qualité académique, mais aussi sur la nature même du savoir produit, l’enquêté mine la possibilité de forger des principes de validité scientifique dans son domaine. Il rend ainsi caduque toute tentative de normalisation de ce qui constitue une bonne production académique.
45Le caractère non cumulatif des productions de recherche en littérature, la diversité des paradigmes et des formes de reconnaissance académique qui y ont cours, enfin, la discontinuité entre notoriété des auteurs et « excellence » de la revue dans laquelle ils publient, deviennent des arguments méthodologiques contre toute définition standardisée de ce qui constitue une revue de qualité. À l’instar des professionnels qui retournent des stigmates dont ils font l’objet (Bercot et Mathieu-Fritz, 2008), les représentants des lettres peuvent les incorporer pour les mobiliser en leur faveur dans les négociations. En ne cherchant pas à s’aligner sur des pratiques de jugement reconnues dans des domaines pris pour modèles et en renonçant en même temps à se repositionner sur l’échelle du prestige scientifique, ils se préservent des pressions à réformer leurs pratiques professionnelles. C’est ainsi qu’ils mettent en doute la possibilité même de normaliser les règles de la reconnaissance académique dans leur domaine :
Le monde éditorial des sciences dures, disons, est un monde très normé, il y a des revues internationales, des revues à comité, sans comité de lecture, il y a les revues nationales et les revues locales. Bon. Et dans le paysage éditorial […] de la littérature qui est le domaine dont je m’occupe, c’est beaucoup plus flou, c’est très difficile de… Même la notion de « revue à comité de lecture » est une notion très problématique. (Président de comité de visite AERES 2, littérature)
46Les interviewés mettent donc à distance toute définition objectivée d’un « bon » travail de recherche. Selon leurs discours, asseoir l’évaluation de la production scientifique sur les listes de revues labellisées est en rupture avec le système épistémique qui caractérise la littérature.
47Leurs représentations de la production des savoirs en lettres s’ancrent également dans la structure du paysage éditorial académique de la discipline tel qu’il s’est constitué en France. Les enquêtés insistent sur le fait que le mouvement de construction et d’organisation des centres de recherche au cours de la seconde moitié du xxe siècle s’est accompagné du développement massif de revues de laboratoire et d’université. Or ces revues, nombreuses et faiblement hiérarchisées, sont des lieux de publication d’articles de référence dans la discipline, où paraissent les travaux de figures d’autorité reconnues :
Tout le monde sait parfaitement que certains articles courts publiés dans des revues pas du tout connues ont eu un impact considérable dans la recherche. Les cinq ou dix pages de Roland Barthes sur l’effet de réel, dans je ne sais plus quelle obscure revue, ont déterminé la critique littéraire pendant vingt ans […]. On ne peut pas savoir d’où vient l’innovation en matière de sciences humaines. (Membre A du CoNRS, section 35)
Vous avez un certain nombre, enfin même plein d’exemples de critiques, de penseurs très illustres dans ma discipline, en littérature […], donc des publications cruciales, qui ont d’abord paru dans des feuilles de chou, mais des feuilles de chou littérales. […] Alors on aurait considéré que Barthes, Todorov, c’était des nuls ?! (Vice-présidente CNU)
48Ainsi, alors que les classements de revues tels que les conçoivent les dirigeants de l’AERES visent à écarter les journaux « locaux » au profit de ceux qui ont une aura « internationale », ce type de hiérarchisation des supports de publication apparaît à ces enquêtés inopérant pour comparer les mérites relatifs des travaux dans leur discipline, en raison de la façon dont a été structurée, en France, la recherche en littérature. En effet, bon nombre de revues littéraires françaises, affiliées à des centres de recherche, seraient, de ce fait, condamnées à ne pas à apparaître au titre des revues de référence, alors qu’elles constituent les canaux de publication usuels et reconnus par les membres de la discipline, à côté des ouvrages.
49Le recours aux figures d’autorité littéraires publiant dans des « feuilles de chou » permet aux opposants d’exposer, d’une part, les dangers qu’il y aurait à hiérarchiser les lieux de publication, et de souligner, d’autre part, l’incapacité des classements à épouser les principes de qualité propres au milieu littéraire. Enfin, l’usage systématique de contre-exemples, invalidant la production d’une règle générique pour hiérarchiser les revues, leur permet de situer leurs pratiques à contre-courant de normes dominantes, et sert également de repoussoir aux tentatives de normalisation : les classements apparaissent comme des carcans contre le type de créativité professionnelle que revendiquent certains enquêtés.
50Dans un dossier précédemment cité (Kremer, 2011), un délégué scientifique de l’AERES prônait, à l’instar de Paul Feyerabend (1975)23, une « recherche indisciplinée ». Il considérait que « le fait “littéraire” peut s’appréhender à la fois de plusieurs manières et à partir de toutes sortes d’objets, indépendamment d’une quelconque hiérarchie officielle ». Ces remarques constituaient un prélude à la dénonciation des classements. En effet, ceux-ci ont pour vocation de circonscrire et de clôturer la définition des pratiques professionnelles légitimes, et c’est précisément pour cette raison qu’ils sont rejetés par une partie des littéraires. L’originalité de cette posture réside dans le fait qu’elle s’inscrit à contre-courant des processus de professionnalisation habituellement décrits (Paradeise, 1988 ; Sapiro, 2006). En effet, le geste de clôture par lequel les membres d’un groupe professionnel délimitent leur identité et le périmètre de leurs pratiques est au fondement de la protection du corps et de sa compétence, leur permettant de lutter contre les soupçons de charlatanerie et les attaques des groupes adjacents.
51Cette configuration est bien illustrée par le cas des sciences de l’information et de la communication (SIC), dont les représentants, à l’inverse exact de leurs homologues en littérature, se sont saisis des classements comme d’une manière d’assurer la reconnaissance juridictionnelle de leur groupe :
La liste de revue [a] une fonction de visibilité du champ […] : la définition d’un corpus de revues du champ contribue à définir le champ et éviter que les chercheurs de SIC ne publient qu’en dehors du champ (cela a la vertu, entre autres, d’obliger à se demander où sont les limites du champ…). (Président D d’une section du CNU, SHS)24
52Des effets de position des disciplines dans le champ académique peuvent éclairer les différentes stratégies d’appropriation ou de rejet des classements par leurs représentants. Les sciences de l’information et de la communication se sont instituées récemment à l’Université. La discipline a été institutionnalisée en 1975 avec la création d’une section spécifique au Conseil national des universités, et les premiers cursus complets dans le domaine datent des années 1990. Ses méthodes et ses objets se sont constitués à la frontière d’autres domaines des sciences humaines et sociales (science politique, sémiologie, sociologie) mais également des sciences de l’ingénieur pour certaines spécialisations. Dès lors, la création de listes ou de classements de revues apparaît comme un moyen de stabiliser les frontières de ce domaine disciplinaire : elle aurait pour vertu de différencier et de spécialiser la discipline par rapport à d’autres qui lui sont proches, et ainsi, de renforcer son institutionnalisation en tant que science.
53La littérature, au contraire, est l’une des plus anciennes disciplines à l’Université. Non seulement sa position est nettement délimitée dans le champ, mais une partie de ses représentants ne cherchent pas non plus à en défendre sa scientificité : comme on l’a souligné plus tôt, certains la mettent même en doute, en défendant une pratique créative de la littérature, plus proche de l’art ou de l’essai que de l’administration de la preuve et du protocole expérimental. Dès lors, on comprend que la mise en place de listes ou de classements de revues heurte frontalement les représentations d’une partie des littéraires, et qu’ils s’y opposent.
54En refusant de normaliser la définition des supports et des approches légitimes de la recherche en lettres, ses représentants la situent du côté des professions artistiques, qu’Eliot Freidson (1986) avait qualifiées de « défi à l’analyse sociologique », en raison de l’absence d’un des critères qui distinguent les professionnels des amateurs, à savoir la formalisation des compétences et des savoirs. Cependant, en rejetant toute forme de formalisation des bonnes pratiques, et en considérant que le respect de canons établis n’est pas nécessairement gage de qualité académique, ces enquêtés accomplissent un autre geste de préservation de leur compétence professionnelle : en l’absence d’une hiérarchie officielle des bonnes revues, c’est sur le savoir indigène des chercheurs-évaluateurs que repose la détection de l’excellence. Leur opposition à des classements officialisés peut alors être considérée comme un levier d’affirmation d’une compétence dont ils seraient seuls détenteurs.
Réaffirmer la compétence collégiale
55Plusieurs travaux inspirés de Max Weber (1995 [1922], p. 300) ont montré que la création de dispositifs impersonnels intervenait en réponse à une mise en cause de l’exercice du pouvoir discrétionnaire dans les affaires publiques (Dreyfus, 2000). Theodore Porter (1996) postulait également que « l’objectivité mécanique ser[vait] d’alternative à la confiance personnelle »25 (p. 90). Selon l’auteur, la montée en puissance de la quantification et de « cultures de l’objectivité » dans les sociétés occidentales supplante une subjectivité des décideurs entachée de soupçon. Les enquêtés retracent également le mouvement de dépossession de l’expertise collégiale, avec l’apparition d’instruments qui soustrairaient la pratique d’évaluation aux collectifs professionnels :
Au fond, il était évident que quelque chose de bien, c’était ce qu’une communauté scientifique considérait comme étant bien, et qu’en dehors de l’avis de la communauté scientifique on ne pouvait pas dire si quelque chose était bien ou pas. Progressivement, on a vu se déplacer tout ça vers une science, une prétendue science de l’évaluation, avec […] les facteurs d’impact, les quantifications de tous ordres. Quelle est sa finalité, c’est la représentation finalement d’un système idéal dans lequel on n’aurait pas besoin de lire les textes pour savoir ce que vaut quelqu’un. (Président A d’une section du CoNRS, SHS)
56C’est ainsi que les enquêtés replacent la compétence de l’évaluateur au centre du dispositif de jugement. Dénigrer les classements, en tant qu’outils publics et mis à la disposition de tous, constitue une tentative de se ressaisir de l’expertise en affirmant que seuls la connaissance et le jugement des pairs, acquis au cours d’une acculturation longue aux normes de la communauté professionnelle, permettent d’assurer une évaluation juste, équitable, et légitime. Car c’est bien contre cette confiscation de la pratique de l’évaluation qu’une partie des enquêtés se mobilise. Ceux-ci montrent que les formes d’objectivation de la qualité académique constituent des attaques envers ce qui est, pour eux, au centre de l’acte de juger. Un président de comité décrypte ainsi les postulats implicites des méthodes évaluatives promues par les dirigeants de l’AERES :
C’est toujours une manière de le déplacer [le jugement] sur ce qui est censé être jugeable d’une manière scientifique et neutre alors qu’il n’est pas jugeable du tout d’une manière scientifique et neutre. (Président de comité de visite AERES 3, lettres)
57La plupart d’entre eux considèrent que la connaissance intime que les évaluateurs ont de leur milieu professionnel permet la production d’une évaluation valide. Autrement dit, ils défendent le fait que la proximité entre les évaluateurs et les évalués, plutôt que leur mise à distance au moyen d’outils formels, assure la légitimité du jugement rendu.
Sur la qualité, il y avait consensus. […] On est dans le Comité national, des savants, des intellectuels qui sont capables de dire si c’est faux ou si c’est juste. Donc ils ont une capacité à mesurer l’ignorance, de même que la force intellectuelle, la nouveauté, si ce sont des idées rebattues déjà ou pas, déjà entendues ou pas, ils savent le mesurer. De plus ce sont des personnalités qui ont une mémoire du savoir, les évaluateurs ce sont des bibliographies ambulantes. (Membre B du CoNRS, section 35)
Moi vous savez, je suis un vieux monsieur et mon principe est le suivant : pour évaluer un dossier, on lit ce qui a été fait en livre, ou en article. Puis après on discute avec des collègues qui ont lu les articles et qui ont lu les livres, et après on se fait un jugement. Tout le reste n’est que bavardage. (Président B d’une section du CoNRS, SHS)
58La discussion collégiale est ici seule garante de la production d’un jugement fondé, c’est-à-dire émis en connaissance de cause : c’est leur compétence et celle de leurs collègues qu’ils replacent au centre de l’évaluation, en délégitimant tout dispositif de jugement gestionnaire et formalisé.
59Les littéraires, du moins certains de leurs représentants, font un travail constant de dénaturalisation de ces dispositifs, en mobilisant plusieurs ressorts critiques. Si le propre d’une institution est de faire oublier sa genèse (Bourdieu, 2012), de devenir invisible, d’être tenue pour acquise (Bowker et Star, 2000), la mise en visibilité des biais des classements et de leur décalage par rapport à la nature du savoir qu’ils sont supposés mettre en grille s’avère efficace pour mettre en cause leur bien-fondé. Les représentants de la littérature révèlent d’une part le caractère artéfactuel de l’instrument, et œuvrent à montrer d’autre part que les classements de revues sont inaptes à mettre en ordre leurs pratiques de recherche, en raison de la nature de ces pratiques, du paysage éditorial qui caractérise la littérature, et des formes de créativité qu’ils défendent. Mais la mise en échec de cet instrument de standardisation ne passe pas seulement par une lutte argumentative et cognitive : les tentatives avortées de classements dans cette discipline renseignent également sur les rapports de pouvoir entre les institutions concurrentes de gouvernement de la profession.
Des discours à l’action. Les conditions d’une résistance organisée
60Comment les représentants des lettres bloquent-ils l’ensemble des concertations organisées pour construire des classements ? Quelles conditions leur permettent de faire valoir leur point de vue dans l’instrumentation publique ? Nous montrons ici que ce cas particulier d’entrave aux instruments préconisés par l’AERES éclaire, plus généralement, les rapports de force internes au champ académique littéraire en France.
La concertation tenue en échec
61Certains instruments sont produits et/ou imposés par l’AERES, tels que le « taux de publiants ». Mais il en va autrement des classements de revues : ces listes ne sont pas mises en place en interne, elles le sont à travers des consultations et des échanges entre les représentants de chaque discipline à l’échelle nationale. La prise de décision est ici déléguée aux communautés académiques concernées. Dès 2007, les délégués scientifiques de l’AERES ont ainsi convoqué, pour la discipline qu’ils représentent à l’agence, des membres du CoNRS, du CNU, et de sociétés savantes, et des présidents de comité de visite AERES. Si toutes les disciplines ont connu d’intenses discussions sur ces listes, la concertation a été particulièrement difficile en lettres : un délégué en littérature qualifie en entretien ces réunions de « pugilats ». Afin de favoriser la production d’un consensus impossible à construire jusque-là, les dirigeants de l’AERES ont énoncé de nouvelles consignes de composition des commissions. Dès 2008, ils préconisent à la fois une restriction du nombre de participants à ces réunions, et en même temps, l’invitation de membres seniors et juniors de l’Institut universitaire de France dans ces commissions. Ces directives reflètent la volonté de faire évoluer le type de professionnels invités à participer aux réunions : elles montrent une préférence pour des personnalités « qualifiées », selon la terminologie de l’AERES, plutôt que pour des représentants d’associations savantes et d’autres institutions disciplinaires qui ont une légitimité élective. Ces consignes peuvent être interprétées comme une tentative de limiter le poids d’instances présumées défendre des intérêts corporatistes dans la prise de décision. Les dirigeants de l’AERES ne sont donc pas entièrement passifs face aux communautés académiques, ils agissent sur la composition des réunions pour tenter de rassembler des individus supposés favorables à la classification.
62Malgré ces changements, les représentants des lettres et en langues se sont accordés, en 2008 tout comme en 2007, à ne pas produire de classement de revues. Voici le court texte qui a été rédigé et adopté par les commissions bibliométriques en arts, lettres et langues :
Réunies à Paris le 19 septembre 2008, les Commissions bibliométriques Arts et Arts, Lettres, Langues, et Sociétés des Cultures étrangères, composées des Présidents des sections CNU concernées, des Présidents de comités de visite, de représentants des sociétés savantes, et des représentants du CNRS (lors d’une première réunion le 18 juin) a décidé de ne publier aucun classement de revues sur le site de l’AERES pour la vague D. Il a été convenu que le calcul des publiants ou des « publiants-créateurs » (dans le cas des arts) serait laissé à l’appréciation du comité de visite, comité ayant été choisi pour sa compétence, et donc apte à juger en son âme et conscience de la qualité d’une publication ou d’une création quelle que soit la nature de son support.26
63Cette déclaration illustre la fermeté avec laquelle les représentants disciplinaires sont parvenus à s’opposer aux classements de revues, malgré la présence en commission de membres favorables à leur établissement. Les réunions bibliométriques organisées par l’AERES sont en effet des espaces de délibérations, mais surtout de débats virulents dans la discipline. Les participants à la concertation n’y assistent pas toujours par adhésion au projet de constituer des listes de revues, bien au contraire. Une vice-présidente du CNU, expliquant en entretien les raisons de son hostilité aux classements, indiquait qu’elle se rendait aux réunions pour faire porter ses revendications auprès de l’AERES, à savoir le refus sans concession des classements de revues dans sa discipline. D’autres représentants conviés à ces réunions ont adopté une autre stratégie pour faire entendre leur point de vue. Certains d’entre eux, tels que des présidents de sections du CoNRS, ont refusé d’assister aux concertations. Cette attitude de retrait n’est ici pas tant un aveu de faiblesse qu’une façon symbolique d’afficher leur rejet du principe même de formes de classification de la recherche. Ce faisant, ils contribuent aussi à dénier la légitimité d’un éventuel classement, dans la mesure où il aurait été produit sans le concours d’une partie des représentants de la profession.
64Ainsi, un même schéma se reproduit à l’AERES en 2007 puis en 2008. Après de vifs échanges sur la possibilité même d’objectiver la qualité des revues, les deux ou trois réunions annuelles se soldent par un statu quo, où, comme le souligne un délégué en lettres, « même la distinction entre le fameux Bulletin de la Société Henry Poulaille et la Revue des langues romanes n’a jamais réussi à être imposée »27. Les participants s’en retournent, aucun d’entre eux ne travaille à produire un classement. Sa mise en place en lettres et en langues est reconduite et devient un horizon d’attente sans cesse différé, comme en témoignent plusieurs communiqués de l’AERES, qui précisent chaque année que de nouvelles consultations seront organisées.
La mutinerie des littéraires
65Au sein de la coalition formée des représentants du CNU, du CoNRS, des directions de revues et des associations savantes, ainsi que de certains délégués en littérature de l’AERES, tous les membres ne partagent pas les mêmes raisons de s’opposer aux classements. Si la hiérarchisation des revues risque d’aboutir à « la mort des petites revues », comme le souligne une vice-présidente de section du CNU, cette enquêtée précise en entretien que c’est en raison de l’illégitimité de toute hiérarchisation de lieux de publication qu’elle lutte contre la mise en place de classements, bien plus que pour défendre ces revues, qui risquent de se trouver discréditées par les classements. À l’inverse, c’est précisément pour permettre la survie et la reconnaissance de la revue dont ils sont responsables que des directeurs et directrices de publication de revues et certains éditeurs prennent position contre les classements.
66Ainsi subsistent des différences notables quant aux représentations et aux positions qui disposent les divers acteurs à s’opposer aux classements de revues. Mais c’est ce « consensus ambigu » (Palier, 2002)28 qui permet à de nombreux participants de s’investir dans la résistance aux classements, les griefs hétérogènes opposés aux classements se cumulant pour renforcer leur illégitimité. L’efficacité de la résistance à l’instrument tient d’une part à la capacité des opposants à solliciter des relais influents pour asseoir leur position, d’autre part, à leur faculté à s’agréger, historiquement, autour de ce principe commun, en dépit des éventuelles dissensions qui agitent cette communauté disciplinaire.
67Si les participants ont fait échouer la concertation lors des réunions, leur activité de sape des classements déborde largement le cadre circonscrit de la consultation prévue par l’AERES. Un président de section du CoNRS rapporte ainsi son travail de mobilisation et d’enrôlement auprès des acteurs de sa communauté contre l’établissement de listes :
J’avais été dans la commission, quand l’AERES voulait adapter à la France les résultats de cette liste européenne […], alors j’ai dit : « écoutez c’est très amusant parce que là vous allez bientôt avoir une pétition ». Et on a monté avec un ami un type qui s’occupait d’une revue anglo-saxonne, et donc il y a eu une pétition d’une revue anglo-saxonne et des revues européennes […] qui ont toutes refusé le classement de l’AERES, et ils ont dit qu’ils n’en voulaient pas parce que l’anglais n’est pas un critère. C’était très, très amusant, moi j’ai beaucoup aimé les copains anglo-saxons. On a fait pétition sur pétition […]. Et donc il y a eu quelques problèmes diplomatiques qui se sont posés, ce qui avait été prévu. Parce que les revues ce n’est pas simplement… ce sont des liens, ce sont des réseaux, ce sont des collaborations, c’est des amis… (Président A d’une section du CoNRS, SHS)
68La seule protestation publique ne suffit pas à paralyser des réformes, mais les représentants de la littérature se singularisent par leur capacité à constituer des alliances influentes et légitimes, en enrôlant même des directeurs de revues anglo-saxonnes qui ne considèrent pas nécessairement l’anglais comme langue incontournable de publication ni comme gage de qualité scientifique, pour tenir en échec les injonctions portées par les dirigeants de l’AERES.
69Les relais que parviennent à mobiliser les participants aux consultations ne sauraient simplement être nombreux, leur influence et leur poids dans la prise de décision apparaissent comme un facteur indispensable. Une spécificité du domaine de la littérature réside dans la faculté des associations savantes à se constituer en interlocuteurs incontournables dans la fabrique des politiques d’enseignement et de recherche. Cette structuration est le produit d’une histoire longue et de l’organisation de la profession autour de l’agrégation, que rappelle une membre du CNU qui a été à la tête de la Société française de littérature générale et comparée (SFLGC) :
La SFLGC, elle a réussi au fil des années, à devenir un interlocuteur privilégié du gouvernement. […] car les programmes de littérature comparée sont plus compliqués à concevoir que de décider qu’on va mettre au programme de l’agrégation de littérature française Les Fleurs du Mal de Baudelaire […]. Et il m’est arrivé en tant que présidente de la société savante d’avoir un coup de téléphone d’un président du jury d’agrégation me demandant de mettre X ou Y au programme de littérature comparée parce qu’il y avait des raisons diplomatico-politiques qui faisaient que ce serait bien de le mettre au programme, et je veux dire qu’il m’a été très facile de ne pas donner suite.
70Cette anecdote illustre le fait que, dans certaines disciplines, les instances représentatives s’autonomisent des commandes qu’elles considèrent comme exogènes. Elles revendiquent un champ de compétences et une expertise propre que ne leur confisquent pas les instances ministérielles, et parviennent alors à contourner ou orienter les décisions qui ont trait à leur organisation et à leurs modes de reconnaissance professionnelle.
71Cette configuration n’est pas identique dans tous les secteurs académiques. Dans plusieurs disciplines des SHS, les consignes en faveur de l’établissement de classements ne sont pas restées lettre morte et ont été suivies d’effets. Tout d’abord, certaines d’entre elles avaient une pratique ancienne des classements. C’est le cas en psychologie, dont une partie des praticiens sont proches du domaine médical, ainsi qu’en économie. D’autres disciplines, d’institutionnalisation plus récente, se sont saisies de ces incitations comme d’une opportunité pour consolider l’unité et l’identité de leur discipline. Enfin, certaines s’y sont pliées, sans pour autant reconnaître le bien-fondé de l’institutionnalisation des classements de revues. C’est le cas de la science politique. Un délégué de la discipline prenait la parole lors d’une réunion en 2007 au moment de la discussion sur les classements de revues, pour mettre en garde contre l’hégémonie d’un modèle de jugement hérité des sciences expérimentales, qui n’aurait pas lieu d’être dans la discipline qu’il représente : « Il n’y a pas de science normale / standard. On est face dans nos disciplines à des espaces différenciés, voire conflictuels et c’est très différent des sciences dures »29. Un autre délégué rappelle qu’il a accepté de produire un classement des revues à l’aide de ses collègues du domaine, mais qu’ils avaient conduit l’entreprise sans être convaincus de sa légitimité :
L’institution était bien plus forte que nous, […] à un moment donné on se laisse prendre aux injonctions de l’institution. Donc là on a été beaucoup trop dociles aux injonctions de l’institution, à la différence d’autres sections. On avait trop, malheureusement, intériorisé l’obligation de rendre des produits qui sont ceux que l’institution demande, […] donc, sur les revues on a merdé. Mais certains y ont échappé, en disant : « Eh bien non », et ils ont refusé. (Délégué scientifique 4, sciences sociales)
72Plusieurs enseignements se dégagent. La production d’un travail critique sur les réquisits émanant des dirigeants de l’AERES ne suffit pas pour que ceux-ci soient entravés. Des instruments exogènes peuvent être importés alors même que les théories qu’ils véhiculent sont remises en cause par une partie des professionnels. Ainsi, faute de mobiliser des relais pertinents pour lutter contre la mise en place de classements, certains représentants de la profession travaillant à l’AERES accèdent aux pressions normatives à classer, quel que soit le regard que ces représentants portent sur ces instruments. La diffusion ou non d’un instrument dépend alors autant de rapports de force internes au champ académique que de l’adhésion ou non à un projet réformateur de la part de ceux qui représentent la discipline à l’AERES. Si les choix politiques sont le produit d’une concertation étroite entre les dirigeants de la profession nommés par la puissance publique et les instances représentatives, majoritairement élues, dans le cas de la littérature, le rapport de force apparaît défavorable aux premiers, tandis que la distribution asymétrique de l’influence dans les décisions se matérialise différemment dans d’autres disciplines.
Les disputes sur les classements : des enjeux de luttes de juridiction
73À la fin des années 1990, un membre de la Mission scientifique du ministère – un littéraire, coordinateur pour les SHS, qui se considère lui-même comme ayant un profil atypique30 – relate en entretien sa tentative de produire des classements dans la discipline. Il souligne que la position favorable aux classements qu’il défendait était très marginale à cette époque, et que son initiative n’a jamais été suivie d’effets :
Avec mon expérience américaine […] j’avais proposé, pour la recherche, de la pondérer d’une façon plus évidente. Les Américains ont un système selon les revues dans lesquelles vous publiez, il y a des revues internationales, nationales, et locales. […] Donc moi, j’avais proposé ça. On ne m’a jamais accusé réception de mon mémo […]. Donc sur ça, on n’a jamais rien pu faire. (Coordinateur pour les sciences humaines, Mission scientifique, littérature)
74Si de nombreux littéraires dénigrent les classements, il convient de souligner ici qu’une frange, certes minoritaire, défend la mise en place d’outils de hiérarchisation de la qualité dans la discipline, et que la communauté littéraire est aussi clivée sur le bien-fondé de ces instruments. Il n’est pas aisé de trouver des caractéristiques biographiques et professionnelles qui expliqueraient la prise de position pour ou contre les classements en littérature. J’ai d’abord envisagé l’hypothèse qu’une forte internationalisation des parcours des enquêtés et de leurs travaux de recherche en littérature irait de pair avec la défense de la mise en place de classements. C’est notamment le cas de certains enquêtés : défendant la circulation internationale des savoirs et prônant des méthodes innovantes de recherche, par rapport à l’analyse textuelle classique, ils prennent position en faveur de la mise en place des classements de revues. Mais cette corrélation est loin d’être vérifiée dans tous les cas. En effet, les membres de l’AERES qui défendent, en entretien, les classements en littérature ont des parcours élitistes nationaux classiques (passage par l’École normale supérieure, agrégation, thématiques de recherche traditionnelles dans la discipline). Ils n’ont pas nécessairement enseigné à l’étranger ni été formés à l’étranger, publient très peu ou pas en anglais. Réciproquement, des membres dont les parcours étaient internationalisés, en vertu de leurs spécialités de recherche, par exemple, la littérature comparée, ne soutiennent pas systématiquement la nécessité de classer.
75L’hypothèse d’une ligne de fracture d’ordre institutionnel est plus opérante : en littérature, les enquêtés représentant le CNU et le CoNRS auprès de l’AERES luttent invariablement contre les classements. Les délégués scientifiques ne se désolidarisent pas tous de leur discipline d’appartenance pour endosser auprès de leurs collègues les discours des dirigeants de l’AERES. Plusieurs délégués en lettres ont fait front avec leurs collègues pour résister aux pressions à classer ; cependant, ceux qui refusent les classements à l’AERES sont aussi ceux qui ne sont pas restés dans l’organisation – ils y ont effectué un mandat de deux ans au plus ou l’ont quittée au bout d’une année.
76Il y a donc eu de vives tensions internes à la discipline ou à ses marges sur le bien-fondé des outils de normalisation de la recherche. En effet, la section 35 du CoNRS, qui rassemble entre autres les représentants des lettres, de la philosophie, de la musicologie, des historiens des sciences, a été secouée au tournant des années 2000 par d’importantes controverses sur les méthodes légitimes d’évaluation. Ce clivage opposait notamment les philosophes d’orientation analytique – spécialité particulièrement représentée dans les pays anglophones, qui a bénéficié du développement des sciences cognitives – et les littéraires et autres membres de la section qui pratiquent une recherche plus historique, proches de l’étude philologique des textes. Avec l’appui du directeur de département des SHS au CNRS, particulièrement favorable à l’établissement d’indicateurs d’évaluation, les philosophes analytiques de la section ont milité pour que soient encouragées les publications d’articles en anglais, et pour établir un système de reconnaissance indexé sur le caractère international des revues. Cependant, ceux qui s’opposent aux classements ne sont pas seulement plus nombreux, mais ils parviennent également à occuper des positions clés dans la section, en accédant par élection aux fonctions de présidents et présidentes de section ou de membres du bureau de la section31.
77Alors que la section 35 est, depuis plus de quinze ans, traversée de conflits internes sur les méthodes évaluatives à promouvoir, ses membres se re-solidarisent lors de la création de l’AERES autour d’un principe supérieur et d’une cause commune, ceux de la défense de la collégialité dans le jugement, que l’agence remettrait en cause par la fabrique de classements. En témoigne l’une de ces mentions, publiée en 2008 :
La section 35 […] réaffirme son refus de toute procédure automatisée d’évaluation du travail accompli par les chercheurs et les enseignants-chercheurs. […] Seule la confiance en des pairs majoritairement élus, qui définit le principe de collégialité, offre la garantie d’une évaluation compétente et impartiale.
Motion adoptée à l’unanimité par le jury de concours de la section 35 du Comité national le 9 avril 2008.32
78Derrière la controverse épistémique sur les classements, se dessine aussi une ligne de fracture institutionnelle et juridictionnelle. C’est ce que relève l’un des délégués de l’AERES, qui décrit ses rapports avec ses collègues de la section CNRS correspondante :
J’ai suscité une demande de discussion avec le CoNRS section 35. À la fin de la discussion je leur ai dit : « Donc vous voyez, finalement vous êtes d’accord avec les critères de l’AERES », et ils m’ont dit : « Oui on est d’accord ». Mais, m’ont-ils dit : « on pense que c’est à nous d’évaluer les revues », donc en fait […] c’est vraiment une question de territoire digne d’une bande de jeunes dans la té-ci, hein, « c’est mon quartier, si t’es pas de mon quartier… ». C’est primitif si vous voulez, c’est pri-mi-tif ! (Délégué scientifique 5, sciences humaines)
79En affirmant leur rejet des méthodes de jugement proposées par l’AERES, telles que la création de classements de revues, les institutions d’évaluation historique de la discipline affirment leur juridiction face aux tentatives d’immixtion d’une instance à laquelle ils n’accordent pas de légitimité. L’issue de ces conflits sur la standardisation apparaît dès lors autant commandée par la nature du savoir disciplinaire telle que la conçoivent ses représentants que par leur capacité à mobiliser des relais à la fois incontournables dans le gouvernement de la discipline et cohésifs, pour l’occasion, dans la défense de leur représentation des réformes à encourager ou à proscrire.
80En effet, ce qui distingue le cas de la littérature, c’est l’ancienneté des conflits autour de la classification et la construction de vecteurs de résistance à ces injonctions. Les coalitions sont aussi sujettes au phénomène de « dépendance au sentier emprunté »33 (Pierson, 2000) : lorsqu’elles sont constituées et sont déjà parvenues efficacement à faire valoir leurs revendications dans les politiques publiques, elles s’avèrent difficiles à déstabiliser. Les ressources historiquement constituées des littéraires qui peuplent les instances électives et consultatives de la profession leur ouvrent d’importantes marges de manœuvre et des possibilités de négociation, ou ici, de refus de la négociation, que ce soit avec des représentants du ministère ou de l’AERES.
81Cette faculté, inégalement distribuée selon les disciplines, éclaire la naturalisation limitée que les outils de classement ont connue en littérature et leur plus forte emprise dans d’autres disciplines des SHS. La faible incorporation des classements en littérature ne vient pas du fait que la totalité des membres de la discipline s’accorde à les discréditer, mais du fait que les rapports de pouvoir entre les opposants et les défenseurs d’une normalisation des pratiques académiques étaient défavorables, en l’occurrence, aux seconds. Le succès ou l’invalidation des instruments du gouvernement de la recherche apparaissent ici comme les produits de rapports de force, en partie contingents, entre les membres des institutions qui composent le champ académique.
82Cette grille de lecture s’affine quand on observe la situation d’autres disciplines, telles que l’économie. L’emprise des classements de revues peut difficilement être décrite comme une entreprise hétéronome initiée par l’État managérial pour mettre au pas les chercheurs. Elle est, au contraire, déjà instituée depuis l’intérieur de la discipline : les économistes ont fréquemment recours aux classements pour choisir les revues dans lesquelles ils publient, et ce sont plutôt des luttes de domination interne à la discipline qui se jouent à travers les controverses sur les classements (Lee, 2011). Plusieurs contempteurs des classements ont fait porter leur voix collective dans l’espace public34, pourtant, force est de constater la pérennité avec laquelle les classements structurent ce monde social (Fourcade, Ollion et Algan, 2015). Contrairement au cas de la littérature, si la contestation des classements existe à l’intérieur de l’économie, elle vient de franges moins dominantes dans la discipline. Le fait que l’instrument soit plus induré dans les pratiques et les représentations scientifiques des membres de la discipline limite la puissance des contestations qui le prennent pour objet.
83Ainsi, un ensemble de ressources propres au champ littéraire facilite le travail de sape exploré ici, que d’autres tentent sans parvenir à le mener à bien. Le succès des détracteurs des classements se construit sur l’absence de congruence entre le paysage éditorial de la littérature et les instruments de classement : la dénonciation de cette étrangeté s’appuie sur une certaine représentation du monde de l’édition et des pratiques de publication en littérature, que partagent la majeure partie des représentants dans la discipline. On retrouve ici des mécanismes de congruence (fit) et d’incongruence (misfit) bien soulignés par la littérature sur l’intégration européenne, qui montre qu’une législation européenne a d’autant plus de chances d’être appliquée dans un pays qu’elle coïncide avec un état du droit national (Cowles, Caporaso et Risse, 2001).
84En lettres, la puissance des argumentaires contre les classements est ensuite favorisée par le fait que la contestation vient des franges consacrées de la discipline et qu’elles s’expriment depuis des structures qui n’ont pas à construire leur légitimité de représentation du champ, telles que les associations professionnelles et les sociétés savantes. Elle est aussi portée par des représentants issus des sections CNRS et CNU de littérature qui disposent d’une légitimité scientifique et politique, d’une part, parce qu’ils sont élus et, d’autre part, parce que ce sont des universitaires consacrés dans leur discipline. Ce travail est enfin facilité par le fait que les oppositions aux classements sont déjà constituées. Les injonctions à classer ne datent pas des années 2000 : des tentatives de création de listes de revues, portées par des représentants du ministère plus de dix ans avant la création de l’AERES, avaient avorté et s’étaient déjà soldées par la victoire des opposants. Cette analyse permet, pour conclure, de mettre en perspective les résistances professionnelles aux instruments d’action publique.
*
85Ce chapitre a proposé une réflexion sur un instrument d’évaluation dont la forme générique, les classements, s’est installée dans le quotidien des scientifiques. Si ces dispositifs font l’objet de critiques dans la profession, les travaux de sciences sociales abordent plus fréquemment la question de leur emprise sur le travail académique que celle de leur désinstitutionalisation, que j’ai choisi d’explorer ici. La carrière avortée des classements de revues en littérature peut apparaître d’autant plus surprenante que non seulement cet instrument est promu par des scientifiques qui interviennent dans les instances dirigeantes de la profession, mais que des outils de hiérarchisation sont aussi usités dans certaines sciences expérimentales parfois érigées en modèles de validité scientifique (Becher, 1994). Ces négociations et ces disputes sur ces instruments montrent que le travail normatif conduit à l’AERES est en partie tributaire de la distribution inégale du pouvoir entre les différentes institutions qui composent le monde académique. Étudier ensemble la carrière des protestations et la trajectoire des instruments permet de souligner combien les critiques peuvent jouer un rôle dans les changements instrumentaux.
86Trois ressorts de la critique se dessinent au terme de l’analyse. Le premier consiste à déconstruire la légitimité des classements en soulignant ses multiples biais. La production d’une critique permanente de l’instrument permet à ses détracteurs d’oblitérer la possibilité de les tenir pour des acquis et d’entraver leur routinisation. Un deuxième ressort consiste à mettre en lumière le régime d’exception que revendiquent ses membres : les représentants institutionnels de la littérature œuvrent à montrer que les classements de revues sont impropres à mettre en ordre leurs pratiques de recherche, en raison de la nature de ces dernières, du paysage éditorial qui caractérise la littérature, mais également de leurs pratiques de jugement. Enfin, la mise en cause de l’institution de dispositifs impersonnels de jugement (Karpik, 2007) est symétrique à la reconduction d’un autre principe, celui de leur compétence à juger en leur âme et conscience, indépendamment d’un système d’objectivation public de la valeur académique des travaux de recherche. À travers la lutte contre les classements, c’est in fine leur autonomie professionnelle qu’ils revendiquent tant dans la décision relative aux techniques légitimes d’évaluation que dans leurs pratiques d’expertise. Les disputes sur les classements et leur issue offrent donc un observatoire privilégié de la manière dont des groupes professionnels définissent leurs pratiques et les conditions de leur régulation.
87L’appropriation différenciée des classements renvoie en effet à des stratégies disciplinaires variables visant à assurer la légitimité professionnelle. Si pour les membres de certaines disciplines, la mise en place de classements renvoie à une activité de délimitation des bonnes pratiques des autres – ce geste étant souvent au principe de la constitution des groupes professionnels –, c’est une tout autre stratégie de clôture professionnelle que mettent en œuvre les représentants de la littérature. En effet, le refus de classer les revues rejoint celui de conférer le statut de normes à des pratiques qui ont cours dans d’autres secteurs. Dès lors, la construction du caractère inclassable de la production académique en littérature ne saurait être analysée comme un aveu d’illégitimité scientifique, qui placerait la discipline en position d’infériorité par rapport à des disciplines « paradigmatiques » (Clemens et al., 1995). La fabrique d’une épistémologie de la littérature qui la situerait à part des autres domaines est un levier de préservation professionnelle face à un système axiologique auquel une majorité n’accorde que peu de crédit. Ici, le travail de mise en scène du caractère singulier de la pratique académique en littérature est à la fois une condition et un témoin de l’autonomie de la discipline, c’est-à-dire de sa propension à se munir de règles de reconnaissance et de fonctionnement propres, en se préservant de toute colonisation par des préceptes exogènes.
88Cependant, ces discours épistémologiques sur l’impossibilité de classer ne sont pas doués d’une efficacité en tant que tels. Il convenait par conséquent de rendre compte des conditions par lesquelles ils parviennent à entraver concrètement la mise en place de l’instrument en littérature. Soulignons que, parmi l’éventail des instruments d’évaluation existants, les classements sont ceux qui ont occasionné une polarisation spectaculaire au sein de la communauté académique. Dans la mesure où leur illégitimité ne fait pas consensus au sein de la communauté scientifique, un troisième ressort nécessaire à l’effectivité de la mobilisation contre l’instrument réside dans une répartition du pouvoir entre les différents acteurs collectifs du gouvernement scientifique favorable à ceux qui luttent contre les classements.
89Même si individuellement, les académiques sont mobiles et peuvent participer à plusieurs instances, voire se désolidariser des discours portés par leur institution, l’analyse du clivage sur les classements de revues en littérature montre que les dissensions se situent à un niveau institutionnel : elles mettent aux prises les représentants des institutions concurrentes de la profession. Les enseignants-chercheurs qui considèrent que ces instruments sont porteurs d’une réforme salutaire des pratiques de jugement et de recherche – et c’est en raison même de leurs effets anticipés qu’ils les promeuvent – sont fréquemment en position de dirigeants à l’AERES, appartiennent aux directions d’organismes, ou au ministère. Ils peuvent aussi appartenir aux disciplines qui ont une pratique ancienne des classements.
90Une autre frange, qui présente comme des risques pour leur communauté professionnelle les classements dont leurs collègues justifiaient la nécessité, se trouve majoritairement représentée dans les organes tels que le CNU, le CoNRS, les associations savantes. Cette répartition des prises de position est également le produit d’évolutions institutionnelles. On observe que les lignes de fracture internes à la communauté évoluent en fonction de la restructuration des institutions de la régulation scientifique. Alors que des prises de position antagonistes concernant les méthodes d’évaluation se nichent à l’intérieur même du Comité national (par exemple), ces oppositions internes tendent à se dissoudre pour faire front dès lors qu’une instance normalisatrice externe intervient dans le paysage institutionnel de l’évaluation scientifique et risque de confisquer leurs prérogatives professionnelles aux institutions qui l’exerçaient de longue date. Par la mobilisation efficace de ses instances, la discipline apparaît comme une entité institutionnelle forte et relativement autonome tant dans l’organisation et la production du savoir que dans les décisions concernant les instruments légitimes pour l’évaluer.
91Ainsi, les capacités inégales des contestations à infléchir voire à destituer les instruments dépendent conjointement des caractéristiques des contestataires, de leur influence, de leur capacité à construire une position protestataire commune et à solliciter des relais légitimes, et de celles des instruments eux-mêmes, leur étrangeté ou leur congruence avec les représentations et pratiques professionnelles influençant leur capacité à réformer les mondes sociaux qu’ils gouvernent. Les premières années de l’AERES sont donc marquées par l’intensité des controverses sur les façons d’apprécier la qualité scientifique. C’est dans ce contexte d’effervescence des débats académiques et de critique des instruments de classement en sciences humaines et sociales que les membres de l’agence ont décidé de créer une consultation interne, sur plusieurs mois, visant à rebâtir le dispositif d’évaluation de la recherche en SHS. Ils ont travaillé à mettre en place un instrument alternatif leur permettant de « classer sans le dire » les travaux de recherche. C'est cette inflexion de l’action publique face aux controverses que le chapitre suivant analyse, en restituant le travail d’une commission inédite au cours de laquelle les membres de l’AERES ont cherché à définir, avec prudence, les frontières des pratiques scientifiques légitimes.
Notes de bas de page
1 D’autres travaux ont montré que ces classements orientent les choix des étudiants et leurs représentations de l’enseignement supérieur (Chauvel et Clément, 2014), et qu’ils ont des incidences sur les prises de décision dans les établissements (Sauder et Espeland, 2009).
2 Le facteur d’impact d’une revue correspond au nombre moyen de citations de chaque article publié dans cette revue pour une période de référence, souvent de deux ou de cinq ans.
3 Pour une étude comparative de la trajectoire croisée des instruments et des contestations dans le domaine scientifique, voir Aust et Gozlan (2018).
4 Les débats sur la mise en place de classement de revues en lettres peuvent être datés de la fin des années 1990. Des propositions de créations de telles listes ont été portées par certains représentants de la littérature qui ont occupé des positions à la Mission scientifique du ministère à cette période. Ces tentatives étaient marginales dans la discipline. Peu médiatisées, elles n’ont pas généré de conflit massif ou visible. C’est à la création de l’AERES que se durcissent, pour les lettres, les conflits entre promoteurs et détracteurs de classements dans cette discipline, notamment pendant les deux premières années d’existence de l’AERES (2007 et 2008) où l’injonction à classer a été la plus forte.
5 Le développement du numérique profite largement à la prolifération des classements. Citons par exemple la plateforme SCImago Journal & Country Rank, qui classe de manière ordinale les revues de tous les domaines scientifiques, SHS comprises, en fonction d’un indicateur synthétique de « l’impact, de l’influence ou du prestige » de la revue. En ligne : [https://www.scimagojr.com/journalrank.php].
6 Cet élément figure sur le site de la section 37 « Économie et gestion » du CoNRS. En ligne : [https://sites.google.com/site/section37cnrs/Home/revues37].
7 On distingue deux façons de classer : l’une hiérarchise les revues, l’autre établit un simple périmètre de revues légitimes ou reconnues dans le champ, sans les classer entre elles. Ainsi, certaines commissions ont établi des classements distinguant les « meilleures » revues des autres, comme en économie, d’autres ont fait le choix de constituer des listes de revues, sans les hiérarchiser de façon ordinale, ni par catégories présentées sous forme de lettre ou de chiffre. D’autres encore ont pratiqué des choix hybrides : la liste de revues en psychologie de 2009 ne hiérarchise pas les revues en tant que telles, mais est associé à chaque revue, lorsqu’il est disponible, « un descripteur d’impact », qui peut être « excellent, très bon, bon, assez bon [ou] modéré », établi en fonction du facteur d’impact de la revue. En ligne : [https://spms.u-bourgogne.fr/images/stories/Ressources/listepsycho.pdf]. Enfin, ces instruments ne sont pas stables dans le temps : les commissions actualisent chaque année leurs listes ou leurs classements, et plusieurs classements de revues publiés par l’AERES sont devenus, face aux critiques, des listes non hiérarchisées établissant un simple « périmètre » des revues du champ. Cela a été le cas à peu près de l’ensemble des sciences sociales.
8 AN, 20080487/2, « Contrats quadriennaux 97-2001 ».
9 Colloque du CNRS « Évaluation des productions scientifiques : des innovations en SHS ? », 9 juin 2011, carnet d’observations.
10 CNER, Rapport au président de la République – année 2005, Paris, La Documentation française, 2006, 38 pages. En ligne : [https://www.ladocumentationfrancaise.fr/rapports-publics/064000413/index.shtml]. La majorité des rédacteurs du rapport ne sont pas issus des SHS, ce qui donne un bon aperçu de la façon dont d’autres disciplines et les pouvoirs publics se les représentent.
11 Les promoteurs des classements à l’AERES ne mobilisent pas ces références précises dans les entretiens, et l’enquête ne permet pas en l’état de savoir s’ils en ont connaissance. Cependant les théories indigènes qu’ils produisent sur la publication en SHS rejoignent en partie les résultats et les postulats de ces travaux, c’est pourquoi je les cite ici.
12 Il s’agit du vocabulaire employé par les enquêtés. Le caractère « international » de ces pratiques peut cependant être questionné : Christine Musselin (2009) montre que des mythes identiques structurent les réformes de l’enseignement supérieur en Europe, mais que leurs déclinaisons nationales prennent des formes très variées.
13 Notons que ces postulats sont mis en doute par des travaux de sociologie des sciences inscrits dans une perspective constructiviste. Certains considèrent par exemple que prêter des caractéristiques distinctives aux sciences expérimentales est voué à l’échec : Karin Knorr Cetina (1996) montre que la physique est aussi une science interprétative ; tandis que Thomas Gieryn (1993) propose de ne pas considérer la démarcation entre sciences et non-sciences comme une question théorique ou épistémologique, mais comme une question pratique – celle de savoir comment les scientifiques font concrètement pour se distinguer d’autres producteurs de savoirs et de discours.
14 Archives personnelles, « Correspondance avec les membres des commissions bibliométriques », juin 2008.
15 Une telle tentative de classification des « hommes de science » serait difficilement envisageable aujourd’hui. En effet, il s’agissait d’identifier nommément les leaders du champ et de les hiérarchiser en quatre catégories, à savoir les « leaders de grand génie, de génie modéré, de talent considérable, et de talent ». Je reprends et traduis la phrase : « The leaders are again broken into four groups – say, of great genius, of moderate genius, of considerable talent, and of talent » (Cattell, 1903, p. 316).
16 Plus généralement, ce mécanisme de légitimation des sciences humaines et sociales est également bien décrit par Yann Renisio (2017).
17 Pierre Glaudes et William Marx, « Sur le classement AERES des revues scientifiques en littérature française et comparée », 23 septembre 2008. En ligne : [http://www.fabula.org/actualites/sur-le-classement-aeres-des-revues-scientifiques-en-litterature-francaise-et-comparee_25750.php].
18 Pour plus de précisions sur le cas de la biologie médicale, voir l’article d’Alexander Rushforth et Sarah de Rijcke (2015), sur les usages du facteur d’impact dans la pratique quotidienne des chercheurs en médecine et en biologie.
19 Les auteurs montrent par exemple que les institutions concernées par les classements pratiquent le gaming : elles trouvent des subterfuges pour se hisser dans les classements sans nécessairement remplir les critères requis.
20 Archives personnelles, délégué scientifique, dossier « Réunion bibliométrique », 2007.
21 Archives personnelles, délégué scientifique SHS, « Synthèse des remarques sur la notion de publiant et l’évaluation des revues – secteur arts, lettres, langues et sociétés des cultures étrangères », novembre 2007.
22 AERES, « Réflexions méthodologiques », Analyses régionales des évaluations réalisées entre 2007 et 2010, janvier 2011, p. 6.
23 Dans son essai Against Method. Outline of an Anarchistic Theory of Knowlegde, le philosophe des sciences critique l’idée selon laquelle les méthodes scientifiques permettraient d’accéder à la « vérité », et cherche à montrer que le savoir progresse de façon anarchique, par accidents et rencontres.
24 Archives personnelles, délégué scientifique, dossier « Forum remarques experts », 2009.
25 Ma traduction. L’objectivité « mécanique » désigne un type d’objectivité assuré par l’effacement complet de la subjectivité. La photographie scientifique à la fin du xviiie siècle en est l’exemple paradigmatique : elle répond au fantasme d’observer ce qui existe sans le perturber, bien que Lorraine Daston et Peter Galison (2007) soulignent que l’exclusion de toute « subjectivité » et de toute intervention de l’observateur dans la production d’une image est impossible.
26 Ce texte n’est pas paru tel quel sur le site de l’AERES, mais a été publié sur Fabula, un site internet de référence en littérature, le 3 octobre 2008. En ligne : [http://www.fabula.org/actualites/article25928.php].
27 L’enquêté oppose ici, sur le registre de l’ironie, une revue peu lue et peu réputée à une autre qui bénéficie d’une importante reconnaissance au sein de la communauté universitaire littéraire.
28 Ce terme désigne le fait que tous les participants à la mise en place d’un dispositif ne convergent pas nécessairement dans les objectifs qu’ils lui prêtent.
29 Archives personnelles, délégué scientifique, « Point sur les classements de revues », dans « CR Réunion DS SHS », 10 octobre 2007.
30 Il souligne en entretien qu’il n’a que peu intégré les codes de la discipline, en raison de son origine sociale : « Je n’avais ni les habitudes ni comment dire le look des enseignants traditionnels, et puis je venais d’un milieu très différent, mon père était officier, donc entre l’armée et l’Université, il y a quelques obstacles ». Il précise par ailleurs que, dès qu’il le pouvait, il voyageait aux États-Unis, au Canada, au Brésil, ou encore en Espagne, pour enseigner.
31 Sur la période contemporaine, au moins quatre présidents et présidentes de section défendaient ardemment, en entretien ou publiquement, leur rejet sans équivoque de toute forme de classification. Les mandats sont d’une durée de quatre ans.
32 Secrétariat général du Comité national, Les sections et CID du Comité national. Motions. Mandat 2004-2008, octobre 2008, p. 93. En ligne : [http://www.cnrs.fr/comitenational/doc/motions/motions_sectionsCID_2004-2008.pdf].
33 Il s’agit de la traduction française de la notion de path dependence, mobilisée par Bruno Palier (2010) pour « souligner le poids des choix effectués dans le passé et celui des institutions politiques sur les décisions présentes » (p. 411).
34 Le site internet de l’Association française d’économie politique, dans laquelle s’investissent des économistes hétérodoxes, comporte par exemple de nombreux posts analysant et critiquant les listes de revues.
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Incarner un modèle progressiste
La professionnalisation de l’enseignement à Chicago (1890-1940)
Sonia Birocheau
2020
Les valeurs de la science
Enquête sur les réformes de l'évaluation de la recherche en France
Clémentine Gozlan
2020
Observer la multimodalité en situations éducatives
Circulations entre recherche et formation
Véronique Rivière et Nathalie Blanc (dir.)
2019
Enfants gitans à l’école et en famille
D’une analyse des dynamiques langagières en famille aux pratiques de classe
Nathalie Auger (dir.)
2021