Démarche méthodologique

1La première étape de ce travail a consisté en une analyse exploratoire de l’ensemble des documents PISA concernant la Suisse de 2000 à 2009. Afin d’avoir une meilleure connaissance des résultats, nous avons consulté et étudié parallèlement les rapports des enquêtes internationales de l’OCDE qui présentent les résultats globaux du pays, et les rapports des enquêtes régionales qui font l’état des compétences des élèves romands et qui distinguent les résultats de chaque canton. En outre, nous avons parcouru le rapport sur l’éducation en Suisse de 2006 publié par le Centre suisse de coordination pour la recherche en éducation (CSRE) afin de disposer d’une vision élargie de l’état de l’éducation dans le pays.

2Cette phase a permis d’appréhender la méthodologie utilisée dans les enquêtes PISA et de connaître les différentes prétentions du programme en matière d’influence politique. La lecture répétée des différents rapports permet effectivement d’assimiler les variables étudiées, les modes de passation des tests, les méthodes de correction ainsi que les outils statistiques permettant de tirer – à partir des résultats d’un échantillon – des conclusions sur la population d’élèves d’un pays ou d’un canton. L’analyse exploratoire des documents de l’enquête romande nous a donné la possibilité de comparer les résultats des cantons du Valais et de Genève et surtout de mettre en évidence leurs évolutions respectives.

3La revue de littérature réalisée dans un deuxième temps a engendré une réflexion décisive pour la troisième étape de cette recherche. Afin de connaître l’opinion d’acteurs éducatifs sur les enquêtes PISA ainsi que le lien qu’ils établissent entre ces dernières et leur métier, le choix a été fait de réaliser des entretiens semi-directifs avec des personnes impliquées dans les paysages éducatifs valaisan et genevois. Nous avons opté pour cette méthode qualitative car notre objectif était de connaître le jugement de ces personnes quant à PISA. Ce type d’entretien permet en effet aux interlocuteurs de répondre de manière spontanée à des questions ouvertes et représente par conséquent l’outil méthodologique le plus adapté à cet objectif. Pour des raisons de temps, nous avons tout d’abord limité le nombre d’entretien à deux par canton. Les débats politiques au sujet de la gestion des systèmes éducatifs nous ont dissuadés d’interroger des personnes éventuellement au centre de la polémique. Nous avons donc décidé de ne pas interroger de personnalités politiques.

4Notre intérêt s’est rapidement dirigé vers le Consortium suisse romand, organisme chargé de l’enquête PISA nationale. Interroger l’un de ses membres nous semblait pertinent compte tenu de la spécificité de l’enquête complémentaire. La grille de questions a été élaborée sur la base des rapports nationaux et régionaux PISA ainsi que de la revue de la littérature. L’intérêt se situe sur les quatre points suivants : l’évolution des résultats du canton de Genève ; le rapport entre PISA et les politiques éducatives ; l’utilisation des résultats PISA ; la comparaison des deux cantons. Suite à ce premier entretien, nous avons contacté la Fédération des associations des maîtres du cycle d’orientation de Genève (FAMCO) dans le but d’identifier une conception partagée dans la communauté enseignante genevoise. Le bureau de cette association nous a proposé de rencontrer le représentant des maîtres d’un cycle d’orientation genevois et délégué à l’assemblée de la FAMCO. Pour l’élaboration du guide d’entretien de cette rencontre, nous nous sommes basés sur la grille de questions du premier guide et nous l’avons modifiée en fonction du métier de ce représentant. Nous avons également pris en compte un numéro du journal FAMCO Infos de 2002 et un article sur PISA faisant référence à la fédération publié dans la Tribune de Genève en mai 2012 (Toninato, 2012).

5Pour le canton du Valais, nous avons dans un premier temps interrogé un membre très actif de la Société pédagogique valaisanne (SPVal) et maître généraliste dans une école primaire. Bien qu’il n’enseigne pas dans le degré dont il est question dans cette recherche, son activité au sein de la SPVal et du Syndicat des enseignants romands (SER) est telle que ses connaissances sur le système éducatif valaisan sont très riches. À nouveau, le guide d’entretien a été élaboré à partir du premier modèle et modifié en fonction du métier de l’enseignant et des spécificités du canton du Valais. Dans un second temps, nous avons pris contact avec l’Association valaisanne des enseignants du cycle d’orientation (AVECO) car elle représente l’équivalent de la FAMCO en Valais. Nous pensions que la comparaison des discours serait d’autant plus intéressante. La décision de rencontrer une enseignante de français nous a semblé pertinente car les compétences des élèves en français sont évaluées dans PISA à travers la lecture. Comme pour les interviews précédents, les guides d’entretien ont été adaptés à notre interlocutrice.

6Les discours des trois enseignants interrogés reflétaient leur forte implication dans leur métier. Toutefois, les enseignants de l’AVECO et de la FAMCO avec lesquels nous avons été mis en contact n’étaient pas très actifs au sein de leurs associations respectives ; leur statut ne leur permettait pas de nous renseigner sur un éventuel jugement partagé au sein de leurs associations. C’est pourquoi nous avons contacté ces dernières une seconde fois afin d’organiser deux entretiens supplémentaires avec des membres plus à même de nous informer à ce sujet. Pour des raisons de temps, il a été décidé d’interroger ces deux personnes par téléphone et de centrer les entretiens sur un nombre plus restreint de questions que nous jugions les plus pertinentes. Ainsi, nous avons pris contact avec une enseignante très impliquée à l’AVECO, qui a accepté de répondre à nos questions et de nous présenter l’opinion dominante de l’association sur les enquêtes PISA. En ce qui concerne la FAMCO, c’est l’enseignant genevois que nous avons rencontré qui nous a conseillé de contacter un enseignant, ancien membre de l’association, qui y a eu un rôle très actif durant plus de vingt ans. Celui-ci était par conséquent plus à même de nous informer sur la conception dominante à la FAMCO au sujet des enquêtes PISA. Nous avons été tout à fait satisfaits de ces entretiens téléphoniques, qui nous ont apporté des réponses très détaillées.

7Après avoir réalisé les entretiens et suite à la demande de deux personnes interrogées, nous avons anonymisé leurs propos.

8Pour faciliter l’analyse des données, nous avons – avec l’accord de tous les interlocuteurs – enregistré l’ensemble des entretiens. Nous avons en outre pris des notes manuscrites afin de garder une trace des nouvelles questions qui ont surgi des différentes discussions. Le propre de l’entretien semi-directif étant de garantir une certaine liberté de parole, les discours engendrés par nos questions ont en effet débouché sur des éléments parfois inattendus. La quantité de données n’étant pas excessive, nous n’avons pas jugé nécessaire de retranscrire les entretiens. L’analyse thématique s’est faite sur la base des quatre points énumérés précédemment (l’évolution des résultats du canton de Genève ; le rapport entre PISA et les politiques éducatives ; l’utilisation des résultats PISA ; la comparaison des deux cantons) et les différentes réponses ont été confrontées entre elles afin d’en ressortir des tendances communes ou au contraire des différences d’opinions.

9La dernière étape de notre travail sur les enquêtes PISA repose sur une synthèse de l’analyse de l’ensemble des documents élaborés, à savoir les différents rapports PISA, la revue de littérature et les six entretiens présentés plus haut. Ce que nous souhaitons avant tout proposer à travers cette synthèse relève d’une remise en question des présupposés existants concernant les enquêtes PISA. L’enjeu est donc d’interroger l’impact concret du programme et la relation entre cet impact et les fondements des critiques ou des éloges à l’encontre de PISA.

Cadre théorique

10PISA Suisse romande est une enquête qui évalue les systèmes scolaires des cantons romands par l’intermédiaire de la mesure des compétences des élèves. À travers la mise en lien de ces compétences avec différentes variables, PISA cherche à obtenir des indications sur deux éléments : l’efficacité et l’équité des systèmes scolaires. La première notion reflète un intérêt économique pour l’éducation ; elle tend à déterminer dans quelle mesure un pays ou un canton parvient à mener ses élèves à leur plus haut niveau. Pour PISA, cette information permet d’établir si le produit des systèmes d’enseignement – les compétences des élèves – est suffisant pour participer au développement du pays ou du canton. Cette conception de l’éducation est issue de la théorie du capital humain (voir p. 30) dans une perspective macroéconomique. Suite aux évaluations, PISA procède à une comparaison des résultats des différents pays ou cantons participants, afin de tirer des conclusions sur les forces et les faiblesses de chacun. Cette pratique correspond au benchmarking, processus qui cherche, à travers la comparaison des résultats aux évaluations, « des exemples de bonnes pratiques à suivre » (Van Zanten, 2008, p. 309).

Évaluation des systèmes éducatifs

11Selon Arenilla, Rolland, Roussel et Gossot (2007), l’évaluation en éducation est un dispositif qui « vise à décrire le fonctionnement des composantes du système, analyse le déroulement des actions entreprises pour observer leur efficacité, apprécier le degré de réalisation des objectifs et détecter les effets prévus et non prévus » (p. 145).

12En outre, d’après les documents PISA publiés en Suisse romande, l’objectif de cette enquête est d’entraîner des débats et d’émettre des suggestions afin d’améliorer d’éventuels défauts des systèmes éducatifs. L’évaluation à laquelle procède le programme PISA ne se limite donc pas à une description des faits mais revêt une finalité pratique. Cet aspect instrumental de l’évaluation semble faire l’unanimité au sein des auteurs qui ont retenu notre attention dans ce travail. En effet, comme l’affirment Ridde et Dagenais (2012), « une évaluation n’est réellement utile que si ses résultats sont utilisables et utilisés » (p. 27). Cet ouvrage cherche à déterminer si les résultats de PISA ont effectivement entraîné des réflexions au sein des acteurs du monde éducatif et éventuellement la mise en œuvre de mesures de changement. En définitive, nous souhaitons savoir si les évaluations PISA des systèmes scolaires des deux cantons en question ont véritablement accompli leur finalité de nourrir le débat et d’améliorer les politiques éducatives à travers la publication de leurs résultats.

Système scolaire

13À l’échelle internationale, les enquêtes PISA évaluent les systèmes éducatifs des différents pays en mesurant les acquis des élèves en mathématiques, en compréhension de l’écrit et en sciences. Étant donné que la Suisse est un état fédéraliste dans lequel chaque canton gère l’éducation de ses habitants, on ne parle pas dans ce travail de système éducatif car cette notion suppose une certaine globalité. Le concept de système scolaire est ici privilégié pour faire référence au système de chaque canton. Le système scolaire correspond à l’ensemble des composantes qui font de l’école ce qu’elle est dans sa globalité ; notamment son fonctionnement, son organisation, ses acteurs, ses résultats, ses moyens, son environnement. Nous verrons par la suite que plusieurs de ces composantes sont effectivement présentes dans les enquêtes PISA.

Équité

14Le programme PISA évalue les systèmes éducatifs et plus particulièrement deux facteurs, à savoir leur efficacité et leur équité qui sont, toutes deux, d’importance égale dans les enquêtes (Felouzis & Charmillot, 2012). L’équité établit un lien entre les compétences acquises par les élèves et certaines de leurs caractéristiques personnelles ; le statut socioéconomique des parents, la langue parlée à la maison, le sexe et l’origine. L’évaluation de l’équité opérée par PISA s’attelle à comparer les résultats scolaires des élèves en fonction de leurs caractéristiques individuelles quant à ces variables. En définitive, la recherche sur l’équité en éducation tente de déterminer si un système d’enseignement a des effets différents selon les groupes sociaux. Par exemple, les élèves étrangers réussissent-ils aussi bien que les élèves natifs ? Est-ce que les élèves allophones ont des résultats semblables à ceux de leurs camarades allochtones ? Les enquêtes PISA tentent d’apporter des réponses à ces différentes questions en présentant l’écart entre, d’une part, les moyennes des différents groupes (suisses/étrangers ; francophones/allophones ; garçons/filles ; issus de milieu social favorisé/défavorisé) et, d’autre part, les moyennes des différentes filières scolaires. Cette deuxième partie de l’analyse de l’équité a pour but de déterminer si la division des élèves à l’école engendre une ségrégation sociale.

15L’équité est fortement liée à l’efficacité du fait qu’elle permet, comme l’affirment Felouzis et Charmillot (2012), de déterminer si l’école est efficace pour tous.

Efficacité

16Un grand nombre d’auteurs se sont intéressés à la notion d’efficacité en éducation et les définitions proposées se rejoignent généralement. Selon Van Zanten (2008), l’efficacité d’un système éducatif nous informe sur le rapport entre les objectifs fixés par ce système et les résultats obtenus à la suite d’actions mises en œuvre.

17Pour ce qui est des enquêtes PISA, la définition de l’efficacité est quelque peu différente car les évaluations ne portent pas, à proprement parler, sur les objectifs des programmes scolaires de chaque système. Au niveau international ou national, dans chaque pays – ou chaque canton dans le cas de la Suisse – les systèmes éducatifs et scolaires sont effectivement tous singuliers, ce qui ne permet pas aux enquêtes PISA de les évaluer sur leurs programmes respectifs. De ce fait, la notion d’efficacité dans ce programme d’évaluation se réfère plutôt à l’aptitude d’un système éducatif ou scolaire à « conduire le plus grand nombre d’élèves au plus haut niveau de compétence possible » (Felouzis & Charmillot, 2012, p. 15), indépendamment du programme en question. D’après De Landsheere (1994), cette volonté de transmettre le maximum de connaissances et de compétences au maximum d’élèves traduit un intérêt économique qui peut s’expliquer par la théorie du capital humain.

Théorie du capital humain

18Selon l’économiste américain Becker (1993), le capital humain représente l’ensemble des connaissances, expériences et qualifications qu’un individu a acquis grâce à l’éducation et à la formation et qui peut être exploité non seulement pour son développement et son épanouissement personnel mais également et surtout pour l’évolution de la société. Selon cette théorie, ce sont avant tout les individus formés qui prennent part au développement de la société : « plus personne ne doute que le savoir et le savoir-faire de haut niveau […] sont les clés de l’avenir économique et social » (De Landsheere, 1994, p. 9). Les apprentissages scolaires deviennent alors indispensables, autant pour l’individu que pour la collectivité.

19La théorie du capital humain ne se limite pas à la définition des compétences et connaissances susceptibles de servir à un individu ou à une société : « en bref, la théorie du capital humain dit ceci : si tous les individus n’ont pas les mêmes compétences, il s’ensuit qu’ils n’auront pas tous, dans un emploi donné, la même productivité » (Grin, 1994, p. 41). Plus un individu possède de compétences, plus il sera productif ou, autrement dit, plus son rendement sera important. Or, c’est justement le rendement du travail de l’individu qui détermine son salaire. Il a donc avantage à se former pour prétendre à un revenu élevé, tout comme la société gagne à le former pour tirer profit de ses compétences. Cette explication justifie le fait que l’individu et le gouvernement investissent dans l’éducation. Nous comprenons, grâce à la théorie du capital humain, que ce sont les individus formés et qualifiés qui participent à la croissance économique d’un pays à travers leur productivité, c’est-à-dire leur participation à la production.

20D’après Grin (1994), la théorie du capital humain s’inscrit dans un contexte de concurrence non seulement entre les individus mais surtout entre les pays. Ceux-ci veulent accroître au maximum leur productivité afin de permettre une meilleure croissance économique. C’est cette volonté constante de vouloir mieux faire qui incite les pays à procéder à des comparaisons internationales telles que PISA dans le but de s’inspirer des modèles les plus productifs.

Benchmarking

21La concurrence internationale et la naissance de la tendance à la comparaison en éducation supposent la création de standards susceptibles de rendre comparables des systèmes éducatifs très différents (Derouet, 2006). Avec le début de l’évaluation des systèmes éducatifs – notamment PISA –, cette concurrence internationale s’accentue à travers le processus de comparaison des résultats des pays participants aux évaluations. D’après Derouet, ce mouvement de concurrence a donné naissance au benchmarking : la recherche de « bonnes pratiques » (p. 13) dans les systèmes les plus efficaces, dans le but de les implanter dans d’autres contextes. Cette notion est issue du domaine du marketing et consiste, pour une entreprise, à observer les modes d’organisation et de gestion des concurrents afin de s’inspirer d’idées susceptibles d’améliorer ses propres performances. Normand (2006) affirme en effet que cette recherche de modèles à suivre basée sur des standards communs s’inscrit dans le prolongement de la quête de l’efficacité en éducation. La pratique du benchmarking traduit un déplacement de l’intérêt pour l’efficacité de l’éducation qui se limitait aux établissements et aux régions et qui s’est étendu à l’échelle des pays. Ce glissement de l’intérêt pour l’efficacité de l’éducation souligne finalement l’importance que ce domaine a acquise pour le marché du travail et la croissance économique.

22Les enquêtes PISA représentent un bon exemple de benchmarking car elles procèdent à des évaluations des systèmes éducatifs qui donnent lieu à des comparaisons internationales dont les conclusions mettent en évidence certaines pratiques efficaces sur les compétences scolaires des élèves.

Compétences scolaires

23D’après la définition d’Hainaut (proposée dans Raynal & Rieunier, 1997), une compétence représente un « ensemble de savoirs, savoir-faire et savoir-être qui permet d’exercer convenablement un rôle, une fonction ou une activité. Convenablement signifie ici que le traitement des situations aboutira au résultat espéré par celui qui les traite ou à un résultat optimal » (p. 77). Cette définition met l’accent sur deux éléments : le fait qu’une compétence regroupe plusieurs types de savoirs et le fait qu’elle s’inscrive dans une situation déterminée. Dans notre cas, il s’agirait d’une situation scolaire. Raynal et Rieunier (1997) distinguent plusieurs niveaux de compétences que nous pouvons appliquer au domaine de l’éducation. Les compétences globales représentent le niveau le plus large des savoirs ; elles possèdent un caractère transversal et peuvent être utilisées dans diverses situations scolaires. Le deuxième niveau correspond à des compétences plus spécifiques qui ne servent que dans des contextes ou des situations plus précises ; elles se réfèrent à des disciplines scolaires et surtout à des tâches particulières.

24La définition du concept de compétence présentée dans les enquêtes PISA met particulièrement l’accent sur les savoir-faire utiles dans la vie quotidienne. En effet, le programme estime que ceux-ci sont indispensables pour permettre aux élèves de s’intégrer dans la société au terme de leur scolarité. Les savoirs scolaires à proprement parler occupent par conséquent moins de place dans les épreuves PISA :

Dans les trois domaines, l’accent a davantage été mis sur la capacité à réfléchir et à utiliser des modes de raisonnement que sur la maîtrise des contenus spécifiques enseignés à l’école. L’utilisation de savoir-faire est en effet primordiale pour affronter les défis d’une vie de citoyen actif, comme ceux du monde du travail. (Nidegger, 2001, p. 17)

25Cette conception de la compétence scolaire soutenue par PISA fait écho au débat qui ne cesse d’opposer les acteurs éducatifs depuis plusieurs décennies. Le désaccord ne se situe pas au plan de l’aspect pratique de la compétence ni au niveau de l’aspect pluriel des savoirs qu’elle sous-tend, aspects tous deux largement reconnus. Le débat s’articule plutôt autour des situations dans lesquelles la compétence doit être mobilisée. S’agit-il de pouvoir appliquer ces savoir-faire « à la demande » (Rey, Carette, Defrance & Kahn, 2003, p. 14) dans un contexte scolaire ou d’être capable de les mettre en pratique dans des situations inconnues et inhabituelles de la vie quotidienne ? Crahay (2006) propose un passage en revue des différentes conceptions de la notion de compétences qui illustre tout à fait leurs nuances, d’apparence légères mais rarement anodines. Il n’est pas question dans cet ouvrage de s’attarder sur ces désaccords, mais de situer notre propos dans ce débat. Nous verrons en effet par la suite que ces divergences d’opinion au sujet de la notion de compétence se retrouvent également dans les discours des personnes interviewées au sujet de PISA. Il s’agira également de présenter leur opinion concernant la pertinence de l’utilisation de la mesure des compétences dans l’évaluation de l’efficacité des systèmes éducatifs.