1Ce n’est qu’à partir de 1987 que le gouvernement de Margaret Thatcher élabore une réforme de l’éducation qui remet en question le système et redéfinit le rôle de l’enseignement supérieur : prise en compte des besoins économiques du pays ; renforcement de la recherche scientifique et, surtout, incitation à la coopération avec le monde du travail. La réforme de l’enseignement de 1988 transforme le monde universitaire. La loi met en place une nouvelle administration, le UFC (University Funding Council), qui est responsable des universités en Grande-Bretagne. Son objectif principal est d’assurer

le fonctionnement et le développement des universités en tant qu’institutions efficaces et de haute qualité, qui assurent le progrès des connaissances, la poursuite des études et la formation des étudiants en contribuant du même coup aux besoins de la Nation 1.

2La même législation établit une administration similaire, le PCFC (Polytechnics and Colleges Funding Council) qui transformera ce secteur. Jusqu’alors, ces institutions étaient financées par la collectivité locale compétente. Le gouvernement Thatcher reconnaît la contribution des collectivités locales au développement de l’enseignement supérieur mais leur retire la direction des polytechnics et des collèges professionnels.

3Dans la même optique un avant-projet de loi de mai 19912 propose d’abolir la séparation entre universités et polytechnics ou collèges. On reconnaît ainsi le rôle national des polytechnics qui offrent toute la gamme des disciplines universitaires, à un moment où la multiplication des étudiants dépasse les capacités d’accueil des universités3. La reconnaissance nationale des polytechnics est également celle de l’importance des enseignements universitaires dans les domaines technologiques et professionnels. Le gouvernement, dans ce projet et dans les circulaires du ministre de l’Education et des sciences aux présidents des administrations financières, insiste sur la primauté de la “qualité” des enseignements. Le pays avait un besoin de personnes qualifiées, il fallait donc ouvrir les portes de l’enseignement supérieur aux jeunes, encourager les femmes et les personnes d’un certain âge à faire des études, développer des filières d’admission différentes de l’entrée classique par l’enseignement secondaire. Les programmes d’études devaient avoir un objectif précis et correspondre aux besoins des employeurs ; l’enseignement devait être de première qualité et la réussite des étudiants s’appréciait aussi au vu des résultats universitaires et des emplois futurs ; la recherche, enfin, devait se développer au sein des établissements et serait financée de facon sélective sur la base d’évaluations régulières. L’accent était mis sur la qualité de l’enseignement et de l’apprentissage, aussi bien du point de vue universitaire que professionnel.

4La loi de réforme est adoptée en 19924. En vertu de cette loi, les polytechnics obtiennent le statut d’universités. Le gouvernement restructure les organismes de financement en mettant fin à la séparation entre UFC et PCFC. Cinq organismes nouveaux5 (les HEFCs - Higher Education Funding Councils c’est-à-dire le Centre National d’Evaluation des Etablissements publics à caractère scientifique, culturel et professionnel) détermineront dans chaque partie du Royaume Uni la méthode d’évaluation à mettre en œuvre à partir d’avril 1995. Le gouvernement central donne les orientations générales du système et crée le système d’évaluation nationale. Il insiste sur l’esprit d’initiative, l’engagement financier et la responsabilité des institutions recevant des fonds publics. Les organismes de financement sont chargés de ce contrôle.

5Tout un système d’évaluation de la qualité va se mettre en place. Les critères de la qualité ne sont pas radicalement nouveaux ; par contre la méthode utilisée subit des changements significatifs :

• les visites d’inspection sont générales et non plus sélectives ;
• un ensemble commun de critères d’évaluation relatifs à l’enseignement supérieur est élaboré ;
• les barèmes d’évaluation sont redéfinis en fonction des critères communs et d’une politique d’évaluation globale ;
• un seul rapport est fait suite à chaque visite.

6Les années 90 sont placées sous le signe de la qualité pour les universités. Toutes les universités étaient depuis longtemps concernées par l’élaboration d’un système de contrôle de la qualité (Quality Assurance), de vérification de la qualité (Quality Audit) et d’évaluation de la qualité (Quality Assessment). L’intérêt porté à la qualité était directement inspiré de la gestion du secteur privé, le but étant d’assurer une meilleure utilisation des fonds publics. Dans cette optique le rapport qualité-coût était essentiel. Cependant la mise en œuvre de l’évaluation telle qu’elle a été planifiée par la loi de 1992 posait des problèmes spécifiques dans un service public non marchand. Nous verrons dans quelle mesure et avec quels résultats cette application au secteur public de critères d’évaluation du secteur privé s’est faite.

L’évaluation de l’enseignement

7Il faut remonter à 19946 pour comprendre les règles traditionnelles de l’inspection académique (HMI - Her Majesty’s Inspectorate). Les objectifs des inspections étaient clairement définis : évaluation du niveau et des tendances de l’enseignement ; évaluation du système national ; identification des points forts et des faiblesses nécessitant une intervention. L’indépendance de jugement des inspecteurs était considérée comme une garantie pour les décisions et politiques futures du ministre de l’Education et des sciences. Aujourd’hui l’objet principal des inspections est d’apprécier le niveau de l’apprentissage, les méthodes de gestion des ressources et les systèmes internes d’évaluation de la qualité. Les inspections, fréquentes et longues, permettent des comparaisons entre établissements. Dans le passé, les visites d’inspecteurs ne pouvaient pas nuire à une institution et le rapport d’inspection était sans grande conséquence. Depuis la réforme, au contraire, les projets de contrats entre une organisation et son organisme de financement mettent en avant la qualité de l’enseignement et le comité où les demandes (pour l’admission d’un plus grand nombre d’étudiants par exemple) sont traitées prend en compte les rapports d’inspections. Les conclusions du rapport d’inspection sont donc cruciales. Le système est simple : à l’évaluation permanente au sein des établissements (des évaluations internes d’importance majeures sont régulièrement conduites, en général tous les 5 ans) s’ajoute une évaluation externe par les HEFCs. Elle se fait actuellement par discipline au sein de toutes les universités dépendant du HEFC. Le droit, la géographie, l’anglais et les langues vivantes ont déjà été soumis aux inspections des HEFCs. Les autres disciplines suivront. Les problèmes posés par ce type d’évaluation sont d’ores et déjà circonscrits et, pour partie, résolus. Qui est inspecté et, surtout, au nom de qui ? La recherche de la qualité est synonyme de rentabilité et surtout d’efficacité. Les utilisateurs des deniers publics doivent rendre des comptes. Mais à qui, à quel usage ? On pourrait envisager que le rapport d’inspection s’adresse aux étudiants - “clients” de l’université ; mais aussi aux payeurs, qu’ils soient parents ou fournisseurs de bourses ; au gouvernement responsable de l’allocation de l’argent des contribuables ; ou enfin aux enseignants. La nature même des inspecteurs d’HEFCs éclaire la réponse donnée à ce problème.

8La vaste majorité des assesseurs est issue des listes de noms fournies par les universités elles-mêmes. Celles-ci ont soumis des noms de spécialistes par discipline aux différents HEFCs ; les personnes ainsi désignées ont été interviewées et sélectionnées en fonction du nombre d’inspecteurs requis. Les futurs évaluateurs ont ensuite reçu une formation sur le processus d’évaluation et la méthode à suivre. Chaque équipe d’examinateurs est dirigée par un rapporteur, recruté directement sur contrat à durée déterminée, par les HEFCs, parmi les universitaires. Il anime aussi toute une série d’inspections. Quant aux examinateurs, qui sont toujours rattachés à leur université, ils font en moyenne trois visites d’inspection. Leur impartialité est fondée sur la richesse de leur formation et sur leur expérience pratique de la diversité des méthodes d’enseignement et d’apprentissage dans les universités. L’évaluation n’étant pas faite dans tous les établissements par les mêmes personnes, la comparabilité des résultats repose sur une méthode commune. Bien que si le besoin s’en faisait sentir, un jury d’examinateurs puisse comprendre des professionnels du secteur privé ou public de l’industrie, du commerce et des professions libérales. Le fait que l’évaluation soit assurée pour l’essentiel par des spécialistes assure une certaine standardisation des hypothèses et approches des matières inspectées. La connaissance de la discipline, de ses éventuelles forces et faiblesses, font que la qualité de l’évaluation elle-même est améliorée. Le recrutement et le choix des évaluateurs, la comparabilité des rapports d’évaluation servent aussi l’étudiant (qui pourra choisir où étudier), le payeur (qui pourra choisir qui financer) et l’enseignant (qui pourra se situer par rapport aux résultats de son institution).

9Quels sont les critères d’évaluation ? Il ne s’agit pas d’un système d’évaluation générale où chaque université serait située par rapport aux autres en fonction d’un niveau de qualité à atteindre. Il s’agit d’une évaluation relative par discipline, en fonction de la réalisation d’objectifs librement fixés à l’avance. L’équipe enseignante de la discipline inspectée dans l’établissement soumet son propre rapport d’auto-évaluation (Self-Assessment Report), d’environ dix pages. Son contenu est une analyse critique de l’enseignement dans la discipline concernée, montrant les changements et développements dans les trois dernières années et insistant sur les actions futures en spécifiant des priorités7. Ce document qui couvre tous les aspects de l’enseignement, sera au centre de l’évaluation. Il ne s’agit pas de la qualité de l’enseignement en soi mais plutôt d’apprécier l’expérience de l’étudiant au cours de son apprentissage au sein de l’institution. Les objectifs et les engagements de l’équipe enseignante de la discipline sont-ils réalisés voire réalisables dans les trois ou quatre années d’études suivant le cas ? Les jugements recherchés par les HEFCs sont ceux des diplômés et de leurs employeurs, quant aux compétences pratiques transmises (transferable skills) ; l’accent est mis sur l’apprentissage autant que sur l’enseignement, sur la qualité de l’expérience offerte à l’étudiant, sur les performances de l’institution dans la discipline. Pratiquement les HEFCs ont établi une grille d’évaluation selon six critères précis. Le rapport d’auto-évaluation soumis aux inspecteurs doit être subdivisé selon ces six critères :

1. le programme d’études et sa progression
2. les méthodes d’enseignement, d’apprentissage et d’évaluation des étudiants
3. le parcours de l’étudiant et sa progression, le taux de réussite et la valeur des diplômes délivrés
4. les aides pédagogiques et le tutorat
5. les moyens et ressources matérielles pédagogiques
6. le système interne d’évaluation et d’amélioration de la qualité de l’enseignement.

10Il est intéressant de noter que là où, dans le passé, l’inspection consistait à évaluer l’enseignant dans sa classe, l’observation en classe ne constitue plus qu’une partie du deuxième critère. La complexité de l’inspection résulte de la nature même de l’évaluation. Il s’agit de fournir aux évaluateurs tous détails et documents nécessaires à la compréhension du fonctionnement de l’établissement visité. Toutes données statistiques ou autres peuvent être requises par les inspecteurs et doivent leur être fournies sur demande. Le troisième critère nécessite, par exemple, les statistiques par année des étudiants inscrits, leur cursus universitaire et le taux de réussite. Il faut montrer en quoi la formation suivie les prépare au monde du travail. Une brochette d’anciens étudiants est invitée à rencontrer l’équipe des évaluateurs lors d’un déjeuner ; on les questionnera sur la valeur du diplôme délivré. Le sixième critère — pour prendre un autre exemple — c’est-à-dire l’analyse du système interne de contrôle et d’amélioration de la qualité (Quality Assurance et Quality Audit) nécessite de même la collecte de nombreuses données dont les comptes rendus des réunions des trois dernières années au moins. Cette évaluation interne — selon les recommandations du Comité des vice-chanceliers et présidents d’universités8 — se fait normalement à trois niveaux. Tout d’abord chaque discipline contrôle annuellement le déroulement de l’année universitaire : l’entrée, la sortie et la composition des étudiants par année d’étude ; le feed-back des étudiants et des examinateurs externes par unité de valeur et par programme d’études ; les questions à régler avant l’année suivante telles qu’elles ressortent de ce passage en revue. L’évaluation interne se poursuit ensuite au niveau du département. On y met en perspective les analyses et les décisions prises au premier niveau. Toute modification dans la structure du programme d’études passe par une série de comités universitaires avant d’être validée ou non. Il est enfin recommandé de faire — tous les cinq ans en général — une révision en profondeur de la structure du programme d’études, de l’ensemble des ressources et surtout des objectifs de la discipline et du département. Ces procédures d’évaluation interne sont inégalement suivies. Nombre de “vieilles” universités se contentent d’un système très succinct du contrôle de la qualité. Les “nouvelles” universités sont davantage motivées : il leur faut valider et accréditer leurs programmes d’études auprès du Conseil national des diplômes universitaires9 et des inspecteurs généraux (HMIs) ; l’évaluation interne constitue à cet égard une garantie de sérieux.

11Le déroulement des inspections dans toutes les universités britanniques est assez rigoureux et rappelle par certains côtés la visite d’experts-comptables dans une entreprise. Une équipe d’évaluateurs arrive en force sur le lieu de travail ; son arrivée, bien que prévue et organisée à l’amiable afin de ne pas trop déranger l’enseignement, gêne et inquiète. Les évaluateurs sont installés dans une salle où toute la documentation a été rassemblée à leur intention. Chaque membre du personnel doit être à la disposition des membres de l’équipe si ceux-ci veulent clarifier tel ou tel point. Les inspecteurs sélectionnent bien entendu eux-mêmes les classes qu’ils veulent observer, le matin même de l’inspection ; ils interviewent des étudiants, en cours d’études et anciens ; ils analysent les ressources mises à la disposition des étudiants (bibliothèque, centre informatique, services de soutien (universitaire, logement, bourses...). A la fin de la visite, qui dure un peu moins d’une semaine, un rapport d’inspection est rendu.

12La nature du rapport d’inspection est soigneusement prédéfinie. Il procède de l’évaluation du rapport interne d’auto-évaluation soumis aux évaluateurs (Self-Assessment Document), grâce aux observations faites lors de la visite d’inspection. Si un établissement soumet un rapport visant à démontrer l’excellence de ses objectifs et performances, l’équipe d’évaluateurs appréciera de façon critique, selon divers critères, la justesse de ces prétentions. Le rapport interne et son évaluation (c’est-à-dire le rapport d’inspection) sont publics. Le rapport d’inspection, comme l’était le rapport interne, est subdivisé en fonction des six critères pré-établis. Chacun d’entre eux peut être noté de 1 à 410 — la note maximale attribuée étant donc 24. Si l’établissement reçoit la note 1 sur l’un des critères, la discipline concernée sera réinspectée l’année suivante. Les universités ayant un score entre 20 et 24 sont classées comme excellentes dans la discipline. Ce classement n’est cependant pas vraiment comparable, les objectifs donc les réussites des établissements, en fonction des rapports d’auto-évaluation, variant d’une université à l’autre.

13L’évaluation des universités par les HEFCs est pour l’essentiel une appréciation du rapport efficacité/coûts en fonction des objectifs que se fixe chaque établissement universitaire dans chacune des disciplines enseignées. L’université est considérée, dans l’optique thatchérienne, comme comptable des soutiens — notamment financiers — qu’elle reçoit de l’Etat. Dans une optique différente, l’évaluation pourrait être un simple moyen de contrôle permanent de qualité des enseignements universitaires. Un autre organisme national indépendant — le HEQC (Higher Education Quality Council11 - Conseil pour la qualité de l’enseignement supérieur) est particulièrement chargé d’y veiller. Son conseil permanent, assisté de 60 experts à temps partiel, procède à des audits de qualité (Quality Audit) grâce à l’inspection des mécanismes et structures d’évaluation de la qualité de leur propre enseignement mis en place par les universités. Les audits se font sur place, dans les universités : une équipe de trois experts, assistés d’une secrétaire, évalue les méthodes d’enseignement, l’évolution des programmes, les mécanismes internes d’évaluation permanente.

14Les problèmes de comparabilité des universités au travers des rapports d’évaluation n’empêchent pas ceux-ci d’avoir des effets sur l’appréciation de chaque université. Le rapport établi à la fin de chaque visite d’évaluation est en effet un document public. Il comporte cinq sections : une déclaration liminaire expliquant la méthode d’évaluation de la qualité et les dangers de comparer ce qui n’est pas comparable ; un texte de 500 mots écrit par l’établissement du supérieur expliquant ses objectifs ; un résumé de l’évaluation (commentaires, profil et jugement global de l’institution) rédigé par les évaluateurs ; un rapport de 3000 mots sur les indicateurs rassemblés par les évaluateurs pendant leur visite ; enfin, une conclusion et des recommandations. L’établissement a un droit de regard sur le rapport avant publication. Elle peut vérifier et contester la validité des faits avancés. Pour l’instant peu de rapports ont été publiés : le travail des évaluateurs et le droit de réponse des établissements ralentissent la publication. Ce droit permet de modifier ce qui est publié mais en aucun cas de changer la note obtenue lors de la visite.

15L’accès aux résultats des évaluations est assuré mais la circulation de l’information (notamment dans les écoles et collèges), dans un format compréhensible pour tous les intéressés, reste à organiser. Il est également acquis que lorsqu’une discipline a été inspectée dans toutes les universités, un rapport de synthèse des résultats sera établi.

16La presse britannique, habituée à publier des classements entre établissements éducatifs de même nature ne tient guère compte des mises en garde des HEFCs. Le Daily Telegraph titrait ainsi, récemment12 : “Une évaluation indépendante du niveau de l’enseignement fournit le premier guide sérieux des universités britanniques”. Et de proposer un tableau “séparant les meilleures du reste”. Il est évident que ce genre d’article, quels que soient les commentaires du journal attire l’attention des futurs étudiants. La réputation des universités, ainsi établie, peut avoir des conséquences directes sur le nombre d’étudiants qui retiennent un établissement plutôt qu’un autre parmi les six choix qu’ils peuvent exprimer sur leur formulaire de demande d’inscription (UCAS). Les conséquences financières sont indirectes dans la mesure où le financement public dépend du nombre d’étudiants à plein temps dans l’établissement.

17L’impact de l’évaluation sur le personnel enseignant est également indirect. Le guide de l’inspection est à cet égard sans aucune ambiguïté. Bien que l’enseignant soit soumis à une inspection en classe, ce n’est pas lui qui est évalué mais à travers lui la qualité de l’enseignement. Les évaluateurs observent une série de cours reflétant l’ensemble des enseignements offerts par l’établissement. Ils ont pour consigne d’observer des enseignants aussi divers que possible qu’ils soient permanents ou à temps partiel, à tous les niveaux : cours magistraux, séminaires, tutorats, dans tous les cursus offerts. Si bien qu’un enseignant peut n’être pas inspecté du tout alors qu’un de ses collègues le sera à plusieurs reprises. Le rapport d’inspection se concentre sur les objectifs de la leçon. L’évaluateur rencontre l’enseignant quelques minutes avant le cours et discute avec lui des buts de la leçon et de son contexte. L’évaluation proprement dite porte sur l’atteinte de ces objectifs, sur la méthode utilisée (participation d’élèves, contenu et qualité de la leçon), enfin sur les conditions de l’enseignement (vérification de l’adéquation du type d’exercice à l’environnement et aux techniques utilisées). A la fin de l’inspection, l’évaluateur attribue une note sur une échelle allant de 1 (non satisfaisant par rapport aux objectifs fixés) à 4 (excellente contribution qui a réussi à atteindre les objectifs fixés). Il donne un compte rendu oral à l’enseignant après la séance. Ce compte rendu est confidentiel (c’est-à-dire donné en l’absence des étudiants et du chef de département). L’enseignant peut demander, s’il le désire, sa note. Le compte rendu écrit est ensuite examiné par l’équipe d’évaluateurs pour une évaluation globale de l’enseignement. L’anonymat du personnel enseignant est préservé dans tous les rapports oraux ou écrits. Seuls les résultats d’ensemble sont fournis : par exemple, au cours des inspections en classe, les évaluations ont été en majorité excellentes (huit séances ont obtenu la note 4 et quatre la note 3). A première vue, ce système d’observation peut sembler diminuer l’importance donnée à l’enseignement. La pratique démontre qu’il n’en est rien. La première tâche des évaluateurs est de dresser leur programme quotidien de séances d’inspection de l’enseignement. L’importance des inspections d’enseignants par rapport au total des évaluations est certes faible (un tiers d’un des six domaines d’évaluation), mais leurs résultats influent sur l’ambiance générale de la visite et, d’une certaine manière, influencent son déroulement.

18L’évaluation interne du personnel enseignant est plus rigoureuse. Dès 1987, les négociations pour une augmentation du niveau des salaires des enseignants et du personnel administratif dans les universités avaient abouti en échange de l’engagement des universités à mettre en place une procédure d’évaluation des performances de leur personnel (Staff Performance Appraisal). Les objectifs de cette procédure étaient :

• d’évaluer la performance au sein de l’établissement ;
• d’aider la personne à progresser dans sa carrière ;
• d’améliorer sa performance dans tel ou tel domaine en repérant ses points forts et ses faiblesses ;
• de repérer au sein de l’établissement, les changements susceptibles d’aider l’individu à améliorer sa performance.

19Le processus varie selon les universités. Certaines ont établi des formulaires longs et précis avant entretien individuel avec chaque membre du personnel, d’autres mènent des entrevues formelles. Selon l’établissement, les évaluations du personnel peuvent faciliter indirectement des promotions internes (elles dépendent en effet de la hiérarchie) mais elles ne sont en aucun cas liées au niveau des salaires.

20Au total, l’évaluation de l’enseignement supérieur a plusieurs facettes mais un seul et même but : une analyse critique permanente de l’enseignement que ce soit au niveau de l’université, de la discipline ou de l’enseignant. Chacun des acteurs en retire un avantage. L’Etat y trouve un gage d’efficacité et de rendement, le contribuable l’assurance d’un service efficace et de qualité, l’établissement la reconnaissance de l’excellence de son service, le futur étudiant une transparence des services offerts par les différents établissements et le corps enseignant, qui est peut-être le moins bien loti compte tenu du travail que l’évaluation représente pour lui, y gagne réévaluation de l’enseignement et une reconnaissance du service fourni.

L’évaluation de la recherche

21Le comité des bourses d’université (University Grants Committee - UGC), créé en 1919, a eté remplacé en 1988 par l’UFC (University Funding Council - Conseil pour le financement des universités). Avant cette réforme, les universités recevaient automatiquement de l’UGC des fonds publics13 dont le montant était déterminé indépendamment de l’université. Cette subvention devait couvrir les frais généraux de l’enseignement et de la recherche ainsi que les frais de fonctionnement. Les universités percevaient en plus une subvention des autorités locales ou du ministère de l’Education et des sciences en fonction du nombre de leurs inscrits. A partir de 1981 le gouvernement a durci ce système en réduisant soudainement et de manière sélective (entre 12 et 40 % selon l’institution) l’apport financier de l’UGC. Le financement public n’étant plus garanti, les établissements ont dû se tourner vers le commerce et l’industrie. En 1985 une transparence des critères du financement public a été instaurée. Celui-ci était désormais composé de trois éléments : une allocation pour l’enseignement (Teaching - T), une pour la recherche (Research - R) et une subvention générale (Special Factors - S). Les fonds pour la recherche étaient ainsi séparés du reste et allaient être définis de façon précise. Ils étaient attribués de quatre façons différentes : une première partie en fonction du nombre d’étudiants inscrits ; une deuxième partie en fonction du résultat d’une évaluation externe de la recherche (Research Assessment) ; une troisième partie par des subventions d’organismes de financement extérieurs de la recherche (Research Council) ; une dernière partie enfin sur des fonds obtenus sous forme de contrat, notamment avec l’industrie. Les automatismes passés n’étaient plus de saison et les fonds publics étaient distribués aux organisations de recherche et aux chercheurs sur des objectifs précis. D’où la nécessité d’une évaluation précise des objectifs atteints. Un système d’évaluation indépendante de la recherche (Research Assessment Exercise - RAE) a donc été institué afin d’évaluer tous les quatre ans les rapports d’activité des institutions recevant des fonds publics. Il y a eu en tout quatre sessions d’évaluation de la recherche (1986, 1989, 199214 et, dernièrement, mars 1996). L’étude précise des objectifs et des critères de cette évaluation de la recherche parallèlement à l’affinement qui s’effectue au cours des années permet de vérifier si la recherche, comme l’enseignement, est contrôlée afin de rentabiliser l’utilisation des fonds publics.

22Le but des RAEs est très différent des évaluations de l’enseignement. Il s’agit d’évaluer, sur une échelle allant de 5 (le plus haut) à 1, le résultat obtenu par une institution et la qualité de la recherche qu’elle produit. Cette évaluation a un effet direct sur l’allocation de recherche. On comprend ainsi pourquoi les allocations d’enseignement et de recherche ont été séparées. Alors que les évaluations de l’enseignement n’ont que des effets indirects sur le financement d’un établissement d’enseignement, le RAE détermine le financement public des centres de recherche pour les quatre années à venir. Les HEFCs ont donc nommé une équipe chargée d’organiser l’évaluation. Il est important de noter que toutes les universités soumettent à la même date leurs résultats. La complexité du système a cependant entraîné une mise au point progressive de l’évaluation.

23La première campagne d’évaluation en 1986 — réalisée par l’UGC — était assez succincte. L’établissement devait remplir un questionnaire spécifiant les financements alloués à la recherche et les dépenses afférentes. Elle devait en plus expliquer sa stratégie, ses priorités et ses résultats passés. Le questionnaire était ensuite examiné par un jury d’évaluateurs de la discipline concernée. Cette évaluation se faisant selon des critères de qualité définis. La deuxième campagne, en 1989, a tenu compte des critiques de la première expérience : la nécessité d’une période de consultation plus longue avant l’échéance ; l’élargissement des jurys pour la représentation d’un plus grand nombre de disciplines ; la publication à l’issue de l’exercice de la composition des jurys ; l’obligation pour les institutions de présenter un dossier contenant un maximum de deux publications pour chacun des membres de leur personnel sélectionné pour représenter la recherche en leur sein ; la nécessité d’inclure des détails sur les chercheurs (étudiants) et sur les allocations de recherche obtenues au sein du département ; les informations beaucoup plus détaillées pour une vision plus générale du centre de recherche. La troisième campagne d’évaluation a été très différente de par les changements de structure introduits par la nouvelle loi de 1992 sur l’enseignement supérieur. L’évaluation de la recherche au niveau national devait s’étendre à un nouveau secteur — celui des nouvelles universités15. On dénombrait ainsi, à la date prévue, le 30 juin 1992, quelque 2.700 dossiers venant d’environ 175 établissements universitaires16. La dernière campagne — celle de 1996 sous la responsabilité des HEFCs — est toujours en cours. L’objectif principal de l’exercice n’a pas changé : il s’agit toujours d’évaluations de centres de recherche qui seront utilisées lors de la répartition des fonds publics. Les changements portent plutôt sur les critères d’évaluation de la qualité. Les jurys d’évaluateurs doivent désormais prendre en compte les projets de recherche utiles aux besoins de l’industrie et du commerce17. Les membres du personnel ne peuvent présenter qu’un maximum de quatre publications durant la période couverte (janvier 1992 à mars 1996, sauf pour les Lettres et sciences humaines qui couvrent la période à partir de janvier 1990). L’échelle de notation, enfin, a été redéfinie : la note 3 a été subdivisée en deux. Cependant, les critères restent très semblables. L’excellence est définie par rapport à un niveau de qualité posé par chaque jury d’évaluateurs d’une discipline. Il n’est pas question d’évaluer les résultats de la recherche en fonction des ressources et des conditions de recherche dans le centre de recherche considéré.

Bilan des évaluations

24Les critiques des évaluations sont très semblables qu’il s’agisse d’évaluer l’enseignement ou la recherche. La plus grande critique est celle du temps perdu par les universités à rassembler et à compiler l’information nécessaire à toute évaluation sérieuse. Certains établissements vont jusqu’à calculer en heures de travail ce temps perdu par le personnel enseignant et l’administration centrale. On y ajoute la perte d’argent, que l’on s’efforce également de quantifier. Le Tableau 1 montre le coût d’un simple audit interne. Il est difficile de donner des valeurs absolues car le budget dépendra du nombre de jours requis et surtout de la question de savoir si le temps du personnel est à inclure dans le budget global.

Tableau 1 : Estimation des coûts, pour une université, des préparatifs à un contrôle de la qualité (Quality Audit)

Source: CVCP. Preparing for Quality Assessment and Audit. Février 1993, p. 12.

25Pour certains, cette remise en question périodique des objectifs universitaires permet aux universités de s’adapter aux besoins du monde du travail. On reconnaît d’une manière générale que la volonté de l’Etat de mettre en place un système d’enseignement rentable et efficace a eu quelques effets bénéfiques au niveau des universités : élimination de certaines dépenses peu rationnelles, restructuration des programmes d’études, etc.

26On a également critiqué le “gaspillage” de main-d’œuvre et de fonds dans l’évaluation de la recherche. Mais les estimations du coût du RAE durant la campagne d’évaluation de 1992 vont d’un million à douze millions et demi de livres sterling et de 2100 journées de travail “perdues” pour la recherche à 75.000 selon les sources18. En tout état de cause ce coût de l’évaluation ne dépassait pas, en 1992, 0,5 % des fonds alloués à la recherche par l’Etat19.

27La critique la plus justifiée à l’encontre des systèmes d’évaluation nous semble finalement être celle de la concurrence entre universités générée par les classements des évaluateurs, plus ou moins valables pour la comparaison, conduisant à certaines catégorisations des établissements sans tenir compte de leurs spécificités. Pour la recherche, l’évaluation a également des effets pervers. Les rapports d’activité à l’échéance de mars 1996 portaient sur les recherches des membres du personnel de chaque établissement à cette date précise. Ce qui a incité un certain nombre d’universités à débaucher de bons chercheurs dans d’autres établissements pour enrichir à bon compte leur dossier d’évaluation “recherches”. De nombreux transferts de professeurs sont le produit de cette tactique. Il reste que le système est amendable et que ses défauts ne sauraient à eux seuls justifier son abandon.