PSYCHOMÉTRIE

Les normes

Tester consiste toujours en une comparaison. Celle-ci peut se faire en référence à un critère défini soit a priori, soit sur la base des résultats d’une population de référence. Dans le premier cas, on parle de mesure critériée et dans le second cas de mesure normée. Les mesures critériées sont souvent utilisées dans le cadre de l’évaluation des apprentissages. Par exemple, il est fréquent d’évaluer le résultat de l’apprentissage d’une langue étrangère en référence à un niveau de maîtrise défini a priori, comme celui souhaité pour passer dans la classe supérieure ou pour réaliser une activité professionnelle spécifique. Mais les mesures critériées peuvent également être utilisées dans le domaine de la personnalité et du comportement. Par exemple, un niveau de contrôle de l’attention ou de résistance au stress peut être déterminé a priori comme indispensable pour pouvoir exercer une profession particulière.

La majorité des tests utilisés aujourd’hui sont des mesures normées. Les valeurs de référence sont alors déterminées sur la base des caractéristiques de la population dans laquelle il est prévu d’utiliser les tests. Les normes établies dans cette population vont permettre de placer des valeurs de référence sur les graduations de l’échelle de mesure. Sans normes, le test serait comme un thermomètre sans valeurs numériques. On pourrait y voir fluctuer la colonne de mercure, mais sans pouvoir la situer par rapport à certaines valeurs clés, indispensables pour interpréter le niveau observé. Les normes d’un test fournissent les valeurs auxquelles nous allons pouvoir comparer les scores obtenus par les personnes testées.

Pour établir des normes, il faut tout d’abord déterminer la population de référence. Celle-ci peut être très large (par exemple, les adultes français de vingt à quatre-vingts ans) ou beaucoup plus étroite (par exemple, les enfants sourds de trois à six ans). Cette population reste généralement trop importante pour que tous ses membres puissent être testés. Par conséquent, les normes sont estimées sur la base d’un échantillon de cette population. La taille de cet échantillon dépend de la taille de la population, de la variance des scores au sein de celle-ci et de la précision de l’estimation souhaitée. Idéalement, l’échantillon devrait être constitué de manière aléatoire en utilisant une des méthodes classiques d’échantillonnage (tirage aléatoire simple, stratifié ou par grappes). Toutefois, dans la pratique, la méthode utilisée est souvent, pour des raisons de coût, l’échantillonnage par quotas. Les chiffres du dernier recensement de la population sont alors utilisés pour définir des pourcentages au sein de diverses catégories d’individus (par exemple, le pourcentage d’hommes et de femmes, de diplômés de l’enseignement supérieur, de cadres…). Il s’agit ensuite de trouver, parmi la population, des individus appartenant aux différentes catégories considérées, en respectant les pourcentages observés dans la population. En procédant de la sorte, on obtient un échantillon qui représente, en plus petit, les principales caractéristiques de la population. Le problème de cette procédure est que l’identification des individus inclus dans l’échantillon d’étalonnage n’est jamais aléatoire. Il existe inévitablement un biais de sélection dont l’importance ne peut malheureusement pas être déterminée.

Les résultats de l’échantillon d’étalonnage au test considéré permettent de déterminer un score moyen et un écart-type. C’est à ces valeurs que les scores individuels pourront ultérieurement être comparés. Cette comparaison peut se faire en termes de scores bruts, c’est-à-dire en utilisant simplement la somme des notes obtenues aux différents items du test. Mais les scores bruts manquent de lisibilité, car ils sont souvent exprimés sur des échelles non familières aux utilisateurs. Que représente, par exemple, un score de 31 sur une échelle graduée de 0 à 53 ? Par conséquent, les scores bruts sont généralement transformés dans une échelle de scores plus explicite.

Une première transformation consiste à faire correspondre le score moyen de la population de référence à un niveau d’âge. Par exemple, on peut calculer le score brut moyen des enfants de cinq ans à un test de langage. On pourra ensuite comparer les scores individuels des enfants de cinq ans à cette valeur de référence et déterminer si un enfant possède les compétences langagières de son âge, ou s’il est en avance ou en retard. Une telle expression des scores bruts en niveaux d’âge est très parlante et peut faciliter la communication des résultats aux personnes examinées. Elle présente toutefois plusieurs limites qui doivent nous amener à utiliser avec prudence les échelles exprimées en niveaux d’âge. Ce mode de présentation des scores ne peut être utilisé que pour la mesure de caractéristiques qui évoluent avec l’âge. Certaines caractéristiques (par exemple, la dépression ou la créativité) sont indépendantes de l’âge et ne se prêtent pas à une mesure en niveaux d’âge. Et, même lorsqu’il existe une relation entre la caractéristique mesurée et l’âge, celle-ci n’est jamais parfaitement linéaire, ce qui pose d’évidents problèmes de prédiction des performances futures sur la base des scores actuels.

La conversion des scores bruts en niveaux scolaires présente les mêmes avantages et inconvénients que la transformation en niveaux d’âge. Dans le cas présent, on fait correspondre un niveau scolaire avec un niveau moyen de performance. Ainsi, on peut déterminer qu’un certain niveau de lecture correspond à la performance moyenne des enfants de la deuxième année de scolarité primaire (CE1). À première vue, ce mode d’expression des résultats convient bien pour les mesures des apprentissages, car il est très explicite. Toutefois, la corrélation entre les scores aux tests et les différents niveaux scolaires est loin d’être étroite. En effet, les apprentissages scolaires n’évoluent pas de manière régulière, mais plutôt par paliers. De plus, la forme de cette évolution peut varier sensiblement d’une école et même d’un enseignant à l’autre.

Une troisième transformation courante des scores bruts est leur conversion en rangs centiles. Une échelle en centiles est graduée en cent échelons entre lesquels se trouvent à chaque fois 1 p. 100 des individus de la population de référence. Les scores bruts et les rangs centiles évoluent de concert. Un score brut élevé correspondra à un rang centile également élevé, et réciproquement. Par exemple, si un score brut correspond au rang centile 75, cela signifie que 75 p. 100 des individus de la population ont un score brut inférieur au score considéré. Une telle échelle de mesure est aisée à comprendre. Malheureusement, cette clarté apparente fait souvent oublier une limite importante des échelles en centiles : il s’agit d’échelles ordinales. En d’autres termes, elles ne nous informent que de la position des individus au sein de la distribution, mais pas de la distance qui les sépare. Nous ne pouvons dès lors affirmer que, par exemple, l’écart entre les percentiles 40 et 50 est de même amplitude que celui qui sépare les percentiles 70 et 80. En fait, la transformation des scores bruts en rangs centiles modifie la forme de la distribution originale en la rendant systématiquement rectangulaire, puisque la fréquence entre chaque percentile est toujours égale à 1 p. 100 de la population. En soi, utiliser une échelle ordinale n’est pas un problème, pour autant que l’on en connaisse les limites. Cependant, dans la pratique, on observe régulièrement des erreurs d’interprétation des rangs centiles qui sont traités comme constituant une échelle d’intervalle et non une échelle ordinale.

La transformation des scores bruts en scores standardisés est aujourd’hui la modalité la plus courante d’expression des normes. Elle consiste à situer chaque score brut par rapport au score brut moyen de la population de référence, en utilisant l’écart-type de la distribution des scores bruts comme unité de mesure. Cette transformation conduit à exprimer les normes en scores z dont la moyenne est égale à 0 et l’écart-type est égal à 1. Elle est synthétisée dans la formule suivante où $X_i$ est un score brut quelconque, $\stackrel{-}{X}$ est la moyenne des scores bruts et S est l’écart-type de la distribution des scores bruts.

$$z_{i= }\frac{X_{i - }\stackrel{-}{X}}{S}$$

Un score brut correspondant à la moyenne donnera lieu à un score standardisé de 0, et un score brut supérieur d’un écart-type à la moyenne correspondra à un score standardisé de 1. L’inconvénient majeur de cette transformation est que les scores bruts inférieurs à la moyenne correspondent à des scores standardisés négatifs et que les scores bruts situés à moins d’un écart-type de la moyenne donnent lieu à des valeurs décimales. Pour éviter cet inconvénient, il est d’usage de multiplier le score z par une constante (S’) et de lui ajouter une autre constante $\left(\stackrel{-}{X\text{'}}\right).$ La formule complète de cette transformation est présentée ci-dessous.

$${ss}_j=S\text{'}\left(\frac{X_i-\stackrel{-}{X}}{S}\right)+\stackrel{-}{X\text{'}}$$

Pour les tests cognitifs, les valeurs suivantes sont d’utilisation courante : $\mathrm{S}\mathrm{’}=15$ et $\stackrel{-}{X^{\text{'}}}=100$. Dans ce cas, un score brut situé à la moyenne correspondra à un score standardisé de 100 et un score brut inférieur d’un écart-type à la moyenne correspondra à un score standardisé de 85. Pour les questionnaires, les valeurs $\mathrm{S}\mathrm{’}=10$ et $\stackrel{-}{X^{\text{'}}}=50$ sont les plus couramment utilisées. Dans ce cas, les scores standardisés sont aussi appelés scores T.

Les transformations en scores standardisés sont linéaires, puisque l’on se contente de multiplier par une constante ou d’ajouter une constante. Par conséquent, cette transformation ne modifie pas la forme de la distribution des scores bruts. Si celle-ci n’est pas normale, celle des scores standardisés ne le sera pas non plus. Or, dans certains cas, il peut être raisonnable de penser que la distribution des scores bruts devrait être normale et que les irrégularités observées dans la distribution des scores bruts sont des effets indésirables de la procédure d’échantillonnage. Dans ce cas, des transformations plus sophistiquées peuvent être appliquées, qui conduisent à normaliser la distribution des scores bruts et à leur faire correspondre des scores standards normalisés.