Validation de trois épreuves de raisonnement verbal, numérique et diagrammatique
p. 163-168
Texte intégral
Introduction
1Devant la quantité impressionnante de méthodes d’évaluation dans une économie changeante – dont chacune prétend être la plus performante – il n’est pas facile de faire un choix. Ceci est d’autant plus vrai, qu’en général, les professionnels des ressources humaines ne savent pas quels sont les critères les plus pertinents qui peuvent permettre de le faire.
2Actuellement l’évaluation est un terme souvent entendu dans les entreprises et est souvent utilisée pour le recrutement mais aussi dans de nombreux contextes de travail (analyse de poste, entretien annuel…). Or l’évaluation peut être facilement biaisée si elle n’est pas accompagnée d’outils valides (Levy Leboyer 1996 ; Bernaud, 2000).
3Ces biais sont des jugements erronés qui apparaissent souvent dans le quotidien et qui ont pour conséquence de fausser la relation évaluateur-évalué. À titre d’exemple on peut citer les biais sociocognitif ou socio-affectif (Pansu, 2001).
4Un autre problème rencontré, qui fausse l’évaluation, est le choix et l’emploi de méthodes non objectives telles que la graphologie ou encore la morphologie. Ainsi la question qui se pose est sur quel critère doit se baser le recruteur pour faire son choix ?
5Plusieurs études (Schmidt & Hunter, 1998 ; Levy Leboyer 1996) ont montré l’importance d’utiliser les tests d’aptitudes et de personnalité avec de bonne qualités psychométriques pour effectuer un recrutement efficace.
6Selon la méta-analyse de Schmidt et Hunter (1998), les tests de situation, les tests d’aptitudes cognitives et les entretiens structurés obtiendraient les meilleures validités prédictives. En effet ils sont de bons prédicteurs de la performance au travail : 0,51 (Hunter & Hunter, 1984 ; Schmidt & Hunter, 1998 ; Salgado, 2001) ou encore de la réussite en formation et des connaissances professionnelles (Schmidt & Hunter, 1998 ; Salgado 2001).
7À partir du constat d’une utilisation de plus en plus importante en Angleterre des tests d’aptitudes dans les procédures de recrutement et d’une demande accrue pour ce type de test par les entreprises, OPP, entreprise spécialisée dans l’édition de tests d’évaluation a envisagé de construire trois types d’épreuves : numérique, verbal et diagrammatique pour la population générale anglaise et d’étudier le lien entre aptitude et variables individuelles telles que le sexe, l’âge ou encore les intérêts professionnels. Le choix de développer ces tests provient non seulement de leur bonne qualité psychométrique mais aussi d’un choix volontaire de OPP d’élargir son portfolio produit auprès de ses clients.
Méthode
Population
8Cinquante participants dont 24 hommes et 26 femmes âgés de 18 à 65 ans (M = 41 et ET = 2,018) issus de professions différentes et ayant des niveaux hiérarchiques variés (statut étudiant, cadre et non cadre).
Procédure
9Les participants ont résolu des épreuves de raisonnement numérique, verbal et diagrammatique :
- l’épreuve diagrammatique, la moins connue de toutes, correspond au raisonnement abstrait. Elle est particulièrement appréciée en recrutement puisqu’elle permet d’analyser les capacités d’un individu à raisonner sur des problèmes complexes et conceptuels. Pour l’épreuve, les participants devaient raisonner sur une suite logique (utilisation de codes, symboles, diagrammes) et extraire les lois propres à ce système symbolique afin de répondre aux questions qu’ils leur ont été présentées.
- L’épreuve verbale a pour but d’évaluer la capacité des individus à analyser le langage et permet de repérer si les personnes évaluées se sentent à l’aise avec les mots, s’ils comprennent le langage écrit. Dans cette épreuve, il leur était demandé d’évaluer un certain nombre d’affirmations sur la base des informations fournies dans un texte.
- L’épreuve numérique évalue la capacité de comprendre la signification d’une figure ou encore d’un tableau avec des données numériques. Les participants doivent ainsi répondre à des questions en utilisant les énoncés et chiffres présentés dans des tableaux statistiques ou encore sous forme de figures. La résolution de ces questions pouvait nécessiter l’utilisation de calculs (pourcentage, soustraction, multiplication, …)
10La conception des épreuves a fait dans un premier temps l’objet de l’élaboration de 21 items pour chaque épreuve avec des niveaux de difficulté différents.
11Deux pré-expérimentations ont permis de régler la difficulté des trois épreuves et de fixer le temps de passation (10 minutes par épreuve). Douze items ont été ainsi retenus pour chaque épreuve qui constitue ainsi la version finale du test.
12Pour la résolution des épreuves les candidats étaient invités au sein de l’entreprise OPP à passer individuellement les épreuves et avaient à disposition un livret de questions pour chaque type de test comprenant les instructions de l’exercice (présentées également à l’oral) ainsi qu’un exemple pratique et une feuille de réponse. Les participants ont été sollicités à participer aux épreuves à partir d’un message d’invitation diffusé à la fois sur le site de l’entreprise, internet (emails à des contacts potentiels, forums, sites spécialisés) et la presse locale.
13Une fois les grilles de réponses remplies l’administrateur prenait en compte le nombre de bonnes réponses, le nombre de réponses incorrectes et le nombre de questions répondues vs non répondues
Exemple 1. Test de raisonnement diagrammatique

Résultats
Étude de la sensibilité
14L’examen de la sensibilité des tests, effectué à partir de l’étude des caractéristiques des distributions (cf. Figure 1) et des statistiques descriptives (cf. Tableau 1), montre que les trois épreuves ont des niveaux de difficultés différents. On observe une légère tendance à l’effet plafond pour le test verbal (V) et plus particulièrement pour le test numérique (N). En effet les sujets ont tendance à avoir des notes plutôt bonnes, ce qui implique ainsi une mauvaise sensibilité du côté des notes élevées pour ces deux tests (pourcentage de réussite moyen : % N = 70,5 et % V = 66,5).
15Pour le test diagrammatique (D), les scores s’étendent sur l’ensemble de l’échelle [0-12] ce qui implique donc que l’épreuve est alors différenciatrice sur toute l’étendue de l’échelle de la variable mesurée (bonne sensibilité). Le test diagrammatique peut être alors considéré comme un test de difficulté plutôt moyenne (% D = 46,33).
Tableau 1. Statistiques descriptives pour les 3 tests de raisonnement

Fig. 1. Histogrammes pour chaque type de test

Étude de la fidélité
16L’étude de la consistance interne de l’outil a permis de constater que les tests de raisonnement numérique et diagrammatique sont fidèles (Alpha N = 0,786 ; Alpha D = 0,771). En revanche, nous observons une homogénéité insuffisante pour le test de raisonnement verbal (Alpha V = 0,521). Le retrait des items 2, 3 et 5 ayant une faible corrélation avec l’épreuve (cf. Tableau 4), a permis d’améliorer cet indice (Alpha V = 0,70). Ces trois items semblaient relativement indépendants des autres items de ce test.
Tableau 2. Corrélation de chaque item avec le score global – Test Diagrammatique (N = 50)

Tableau 3. Corrélation de chaque item avec le score global – Test Numérique (N = 50)

Tableau 4. Corrélation de chaque item avec le score global – Test Verbal (N = 50)

Analyse de groupe
17L’analyse de groupe a permis de faire des constats non négligeables à approfondir. En effet, la comparaison en fonction de la variable « sexe » indique une différence significative entre les hommes (M = 9,17 et ET = 2,49) et les femmes (M = 6,85 et ET = 3,03) pour le test de raisonnement numérique, les hommes obtenant un, score moyen plus élevé que les femmes (t = 2,94 ; p < 0,01). Nous n’observons pas de différence significative pour les deux autres tests. La comparaison évaluant l’effet de l’âge montre que les personnes âgées de 18 à 40 ans obtiendraient un score moyen de réussite plus élevé (M = 6,61 et ET = 2,56) que les personnes âgées de 41 à 60 ans (M = 4,67 et ET = 3,40) pour le test diagrammatique (t = 2,28 ; p < 0,05). Nous n’observons pas de différence significative pour les deux autres tests.
Discussion - Conclusion
18La construction de ce test d’aptitude à trois épreuves et la phase préliminaire de validation mettent en évidence des différences individuelles et l’intérêt de l’outil diagrammatique. Ces premiers résultats indiquent des qualités psychométriques qui restent à valider auprès d’un échantillon plus large.
19Pour l’étude de sa validité de construit il pourrait être intéressant de le comparer à d’autres tests mesurant les aptitudes cognitives tels que les GMA, le Verify (tests de raisonnement développés par SHL) ou encore le Saville consulting aptitude assessment.
20Une autre étape dans l’étude de la validité sera d’étudier de manière plus approfondie le lien entre intelligence et intérêts professionnels (validité prédictive) car les concepts « intérêts » et aptitude ont été longtemps considérés comme les deux caractéristiques fondamentales à prendre en compte dans la perspective d’un choix professionnel ou lors d’un recrutement. Pour cela, il serait important de refaire des passations sur un échantillon plus important de la population. Ce nouvel échantillon permettrait de retravailler non seulement sur les qualités psychométriques du test mais aussi d’établir des liens entre l’intelligence et d’autres critères comportementaux tels que les intérêts professionnels.
Bibliographie
Des DOI sont automatiquement ajoutés aux références bibliographiques par Bilbo, l’outil d’annotation bibliographique d’OpenEdition. Ces références bibliographiques peuvent être téléchargées dans les formats APA, Chicago et MLA.
Format
- APA
- Chicago
- MLA
Cette bibliographie a été enrichie de toutes les références bibliographiques automatiquement générées par Bilbo en utilisant Crossref.
Références
Barrett, P. (2004). The Future of Ability Testing : What Happened to the Science of Mental Ability ? Measurement, 2 (1), 33-54.
10.3917/dunod.berna.2012.01.0101 :Bernaud, J. L. (2000). Recrutement et évaluation du personnel. In J.L. Bernaud & C. Lemoine, Traité de psychologie du travail et des organisations (p. 95-133). Paris : Dunod.
10.1016/S1420-2530(16)30179-0 :Chartier, P. (2009). L’apport des tests d’aptitudes dans le recrutement : l’exemple de la NV5-R. Psychologie du Travail et des Organisations 15 (2), 137-150.
Desrumaux, P. (2007). Juger la valeur professionnelle et les conduites des personnes : effets des normes et des stéréotypes sur les jugements dans les organisations. Habilitation à diriger des recherches (non publiée). Université de Lille 3.
Hunter, J., & Hunter, R. (1984). Validity and utility of alternative predictors of job performance. Psychological Bulletin, 96, 72-98.
10.1111/j.1744-6570.1999.tb00174.x :Judge, T.A., Higgins, C.A., Thoresen, C.J., Barrick, M.R. (1999). The big five personality traits, general mental ability, and career success across the life span. Personnel Psychology, 52, 621-652.
Lévy-Leboyer, C. (1996). Évaluation du personnel : quels objectifs, quelles méthodes ? Paris : les éditions d’organisation.
Pansu, P. (2001). Juger et être jugé. L’Orientation Scolaire et Professionnelle, 30, 3, 291-295.
Salgado, J.F., Anderson, N., Moscoso, S., Bertua C., De Fruyt, F. (2003). International validity generalization of GMA and cognitive abilities : A European community meta-analysis. Personnel Psychology, 56, 573-605.
Schmidt, F., & Hunter, J. (1998). The validity and utility of selection methods in personnel psychology : Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.
Smith, M., & Smith, P. (2005). Testing people at work. Competencies in Psychometric testing. Oxford : Blackwell.
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Vive(nt) les différences
Ce livre est diffusé en accès ouvert freemium. L’accès à la lecture en ligne est disponible. L’accès aux versions PDF et ePub est réservé aux bibliothèques l’ayant acquis. Vous pouvez vous connecter à votre bibliothèque à l’adresse suivante : https://0-freemium-openedition-org.catalogue.libraries.london.ac.uk/oebooks
Si vous avez des questions, vous pouvez nous écrire à access[at]openedition.org
Référence numérique du chapitre
Format
Référence numérique du livre
Format
1 / 3