Partie 4 La théorie classique des tests. Master Université de Bourgogne, 17-20 janvier 20052 Partie 4 – Théorie classique des tests Chapitre 1 : Introduction

Partie 4 La thorie classique des tests

Master Universit de Bourgogne, 17-20 janvier 20052 Partie 4 Thorie classique des tests Chapitre 1 : Introduction Chapitre 2 : Thorie (classique) des scores de test Chapitre 3: Fidlit des mesures Chapitre 4: Validit des mesures Chapitre 5: Lanalyse classique ditems

Master Universit de Bourgogne, 17-20 janvier 20053 Introduction Test: situation exprimentale standardise servant de stimulus un comportement. Ce comportement est valu par une comparaison statistique avec celui d'autres individus placs dans la mme situation, permettant ainsi de classer le sujet examin soit quantitativement, soit typologiquement (Pichot, 1954). standardis, fidle, valide et talonn

Master Universit de Bourgogne, 17-20 janvier 20054 Introduction Item: chacune des questions d'un test, d'un questionnaire, ou chacune des propositions auxquelles il est demand de ragir dans les chelles d'attitude

Master Universit de Bourgogne, 17-20 janvier 20055

7 La nature des scores obtenus grce aux tests Si on considre les scores obtenus, au dpart d'un test, par un groupe de sujets, quel type de mesures sommes-nous confronts ? Sont-ce des mesures de rapport, d'intervalles gaux ou, la limite, ne sont- ce que des mesures ordinales ?

Master Universit de Bourgogne, 17-20 janvier 20058 La nature des scores obtenus grce aux tests Si le nombre d'items russis peut tre traduit en un nombre, il s'agit d'un nombre d'items. Le passage l'expression d'une comptence particulire sous la forme d'un nombre, partir du nombre d'items russis, n'est pas aussi simple, nous ne savons pas: si l'chec tous les items conduit une estimation d'une comptence nulle (zro vrai pour la comptence), si chaque item traduit bien un saut gal sur l'chelle de comptence (galit des intervalles). Nous devons nous assurer que tous les items mesurent bien la mme chose.

Master Universit de Bourgogne, 17-20 janvier 20059 Probl mes relatifs la composition en un score des r sultats obtenus des items de test

Master Universit de Bourgogne, 17-20 janvier 200510 Probl mes relatifs la composition en un score des r sultats obtenus des items de test Srie 1Srie 2 2 x 4 =11 x 17 = 3 x 8 =8 x 13 = 5 x 6 =124 x 32 = 2 x 10 =6 x 37 = 7 x 11 =14 x 74 =

Master Universit de Bourgogne, 17-20 janvier 200512 Echelles d ge mental Les chelles d'ge mental, en tant que mesures psychologiques, ne rencontrent pas beaucoup de prsupposs de la mesure (zro vrai, intervalles gaux). En effet, il s'agit de mesures composites dont la nature varie d'un niveau d'ge un autre, comme nous l'avons prcis dans la premire partie (chapitre 1). Les items tant calibrs, on pourrait avoir l'impression que la distance psychologique entre des tests destins des enfants gs de 9 et 10 ans est gale celle existant entre 14 et 15 ans. C'est pourtant faux !

Master Universit de Bourgogne, 17-20 janvier 200513 Vitesse et puissance Puissance intellectuelle (Piron, 1992): la capacit de rsoudre des problmes de difficult croissante, sans limite de temps, par opposition la capacit de rsoudre, en temps limit, le plus grand nombre de problmes poss, o intervient une vitesse intellectuelle

Master Universit de Bourgogne, 17-20 janvier 200514 Scores-seuils et probabilit de r ussite Problme de dfinition des seuils de coupure Probabilit de russite et non certitude de russite ou dchec Importance de la qualit de linstrument (lerreur de mesure est fonction inverse de la qualit)

Master Universit de Bourgogne, 17-20 janvier 200515 Stabilit des scores Lune des qualits dun instrument est la stabilit des rsultats obtenus, pour un mme sujet, travers le temps (si le sujet ne sest pas modifi )

Master Universit de Bourgogne, 17-20 janvier 200516 La fidlit Lorsqu'on parle de fidlit, on se rfre la prcision avec laquelle un score reprsente l'aptitude du sujet observ. Il s'agit donc d'une qualit technique du test. Les scores observs ne sont pas exempts derreurs.

Master Universit de Bourgogne, 17-20 janvier 200517 La fidlit X t = score observ, score total au test X = valeur vraie (comptence des sujets) X e = composante derreur On peut crire: X t = X + X e

Master Universit de Bourgogne, 17-20 janvier 200518 La fidlit X = valeur vraie le score quun individu aurait obtenu dans des conditions idales avec un instrument parfait. la moyenne des scores obtenus par un sujet au dpart d'un nombre infini d'administrations indpendantes du mme instrument. Cette dfinition suppose cependant que les erreurs qui entachent les performances chaque essai soient non corrles, c'est--dire qu'elles rsultent de biais non systmatiques. Mais, difficult de reproduire un grand nombre de fois la mme mesure (contrairement au domaine de la psychophysique ou du contrle de qualit en industrie)

Master Universit de Bourgogne, 17-20 janvier 200519 La fidlit Trois postulats Postulat I e = 0 La moyenne des erreurs commises aux diffrents items d'un test est nulle. Dit autrement, il nexiste pas de biais systmatiques dans la situation de test, le facteur d'erreur conduisant tantt une sur-estimation, tantt une sous-estimation des rsultats chaque item, mais en moyenne, les erreurs "s'annulent".

Master Universit de Bourgogne, 17-20 janvier 200520 La fidlit Trois postulats Postulat II e = 0 La corrlation entre les scores vrais et les scores d'erreur vaut zro. Il n'existe donc pas un mcanisme qui conduirait accrotre ou rduire l'ampleur des erreurs en fonction de la comptence vraie du sujet. Dit autrement, les sujets les plus comptents ne voient pas leur score affect d'une erreur plus grande ou plus petite que celui des sujets les moins comptents.

Master Universit de Bourgogne, 17-20 janvier 200521 La fidlit Trois postulats Postulat III e1e2 = 0 La corrlation entre les erreurs (par exemple, e1 et e2) aux diffrents items vaut zro. On n'observe donc pas des erreurs d'autant plus grandes certains items qu'elles sont grandes d'autres items.

Master Universit de Bourgogne, 17-20 janvier 200522 La fidlit D o t = + e (o e =0, d'o t = ) MAIS Avec le postulat II ( e = 0 ): = 0

Master Universit de Bourgogne, 17-20 janvier 200523 La fidlit On dfinit la fidlit comme la proportion de variance vraie par rapport la variance des scores observs

Master Universit de Bourgogne, 17-20 janvier 200524 La fidlit On peut aussi crire:

Master Universit de Bourgogne, 17-20 janvier 200525 La fidlit On peut estimer la variance vraie: Et donc:

Master Universit de Bourgogne, 17-20 janvier 200526 La fidlit On peut estimer la variance derreur: Et donc, lerreur standard de mesure:

Master Universit de Bourgogne, 17-20 janvier 200527 La fidlit Effet de la longueur (si on double la longueur et si tous les items mesurent la mme chose)

Master Universit de Bourgogne, 17-20 janvier 200528 La fidlit De manire plus gnrale (Spearman-Brown): O m est un coefficient dallongement (2, si double de la longueur, 0,5 si moiti de la longueur initiale)

Master Universit de Bourgogne, 17-20 janvier 200529 Grandes mthodes destimation de la fidlit Mthodes bases sur la consistance interne Mthodes bases sur le test-retest Mthodes mixtes (formes parallles)

Master Universit de Bourgogne, 17-20 janvier 200530 Grandes mthodes destimation de la fidlit Les mthodes bases sur le postulat de consistance interne prennent comme pr-suppos de base lune des deux ides suivantes : (a) tous les items du test mesurent le mme chose (comme dans le cas du calcul des coefficient KR 20 ou KR21) (b) diffrentes parties du test mesurent la mme chose (voir de Cronbach et mthodes bases sur les scores obtenus aux items pairs-impairs).

Master Universit de Bourgogne, 17-20 janvier 200531 Grandes mthodes destimation de la fidlit Les mthodes bases sur le test-retest ne postulent nullement l'existence d'une consistance interne. En fait, les diffrentes parties du test pourraient, la limite, avoir une inter- corrlation nulle et, cependant, la corrlation entre une premire et une seconde administration du test (fidlit test-retest) pourrait tre leve. Le concept-cl est ici celui de la stabilit dans le temps. Une corrlation leve signifie donc que les individus demeurent plutt stables travers le temps et quils obtiennent un score total identique ou trs proche lors de plusieurs passations conscutives, sils nont pas suivi un enseignement en rapport avec lobjet du test ou eu loccasion de sy entraner. Un coefficient bas signifie, au contraire, qu'il y a fluctuation du score total, et donc de l'estimation de la comptence, travers le temps.

Master Universit de Bourgogne, 17-20 janvier 200532 Variance vraieVariance d'erreur Consistance interneCovariance entre items ou groupes d'items lintrieur dun mme test Les items (ou groupes d'items) ne mesurent pas la mme chose Test-retestCovariance entre les rsultats du test prsent deux occasions (test et retest) A deux occasions, des rsultats supposs identiques diffrent en raison de conditions extrieures (fatigue diffrente = alatoire car variable dun sujet lautre / effet de testing = systmatique, la mmorisation jouant plus ou moins fortement selon la nature du test Formes paralllesCovariance entre les deux formes deux moments diffrents A deux occasions, les rsultats diffrent (cf. test-retest) Les rsultats aux deux formes diffrent (cf. diffrences lintrieur dun mme test, comme dans ltude de la consistance interne)

Master Universit de Bourgogne, 17-20 janvier 200533 Mthodes bases sur la consistance interne Mthodes items pairs-impairs La formule de Rulon Les formules de Kuder-Richardson Lalpha de Cronbach Lapproche de lanalyse de la variance

Master Universit de Bourgogne, 17-20 janvier 200534 Mthodes items pairs- impairs Calcul du score items pairs Calcul du score items impairs Calcul de la corrlation (Bravais-Pearson, soit pi ) entre les deux scores Correction de la corrlation (car longueur ) par Spearman-Brown:

Master Universit de Bourgogne, 17-20 janvier 200535 La formule de Rulon Calcul du score items pairs Calcul du score items impairs Calcul, pour chaque sujet, de la diffrence entre les deux scores Calcul de 2 d assimil la variance derreur, soit 2 e Calcul de la fidlit par la formule classique (sans correction)

Master Universit de Bourgogne, 17-20 janvier 200536 Les formules de Kuder- Richardson Deux formules KR20 KR21(sans statistiques ditems, formule moins prcise et valeur plus faible ou gale KR20) O k est le nombre ditems

Master Universit de Bourgogne, 17-20 janvier 200537 Lalpha de Cronbach La formule de Cronbach constitue une gnralisation du KR20 pour les items non dichotomiques. Elle scrit :

Master Universit de Bourgogne, 17-20 janvier 200538 Lerreur standard de mesure L'erreur standard de mesure, note ESM, permet de dterminer le degr de confiance que l'on peut accorder au score obtenu un test donn par un sujet particulier. Elle est fonction de la qualit de linstrument utilis et donc de sa fidlit. Elle stablit de la manire suivante. o t est lcart-type des rsultats du test et tt la fidlit du test telle qu'elle a t calcule par lune des mthodes abordes dans ce chapitre.

Master Universit de Bourgogne, 17-20 janvier 200539 Interprtation de la valeur des coefficients de fidlit Valeur de tt Apprciation 0,95 1,00Instrument parfait, les mesures sont pratiquement sans erreur. 0,85 0,95Instrument excellent, les mesures contiennent peu d'erreur. 0,70 0,85Bon test, il est prudent d'valuer une seconde fois le sujet. 0,50 0,70Instrument imprcis, peut contenir de l'information utile. 0,00 0,50Instrument peu utile, ne pas l'employer pour classer un sujet.

Master Universit de Bourgogne, 17-20 janvier 200540 Problmes spcifiques Conditions optimales de difficult Fidlit des tests de vitesse Fidlit et dispersion des aptitudes dans la population (corriger par ) Fidlit des QCM

Master Universit de Bourgogne, 17-20 janvier 200541 Problmes spcifiques Fidlit des scores composites formule de Mosier: Fidlit des scores diffrentiels

Master Universit de Bourgogne, 17-20 janvier 200542 Reprsentation des variances dans le test 1. Reprsentation des variances dans le test 2. Reprsentation des variances du score X 1 - X 2

Master Universit de Bourgogne, 17-20 janvier 200543 La validit Le concept de validit se rapporte ce que le test mesure rellement. Le plus souvent, le degr de validit s'indique par un coefficient de corrlation entre les scores obtenus au test et un critre extrieur au test.

Master Universit de Bourgogne, 17-20 janvier 200544 La validit Approche factorielle: Communaut Spcificit Unicit

Master Universit de Bourgogne, 17-20 janvier 200545 La validit Un score est valide s'il prdit quelque chose et si ce quelque chose n'inclut pas le score lui-mme. En effet, une auto- prdiction concerne la fidlit et non la validit. Nous avons ainsi not la mesure de la fidlit par tt.

Master Universit de Bourgogne, 17-20 janvier 200546 Signification du terme validit Validit prdictive ou critrielle Validit de contenu Validit manifeste ou apparente Validit de construct ou conceptuelle Validit concourante ou corrlationnelle Validit incrmentale

Master Universit de Bourgogne, 17-20 janvier 200547 Les procdures de validation Validit prdictive ou critrielle Validit de contenu Validit manifeste ou apparente Validit de construct ou conceptuelle Validit concourante ou corrlationnelle Validit incrmentale

Master Universit de Bourgogne, 17-20 janvier 200548 Problme de prdictions multiples et didiosyncrasie (chantillon / =>validation croise) Correction pour attnuation (corrlation entre scores vrais) o est la corrlation entre les composantes vraies des deux tests (on les indicera et de manire les distinguer), t1t2 est la corrlation entre les scores observs et t1t1 et t2t2 sont les coefficients de fidlit des tests T1 et T2. Problmes spcifiques

Master Universit de Bourgogne, 17-20 janvier 200549 Problmes spcifiques Correction pour attnuation o x est la corrlation corrige pour la variance d'erreur existant dans le critre y et xy est la corrlation entre le score au test x et le critre y.

Master Universit de Bourgogne, 17-20 janvier 200550 Problmes spcifiques Validit et longueur du test o mx.y est la validit dun test m fois plus long que le test x initial ; xy est la corrlation entre le score au test x et le critre y, cest--dire la validit du test initial ; xx est la fidlit du test x initial ; m est le coefficient dallongement du test (par exemple, m = 2 si on double la longueur du test, m = 0,5 si on diminue le test de moiti).

Master Universit de Bourgogne, 17-20 janvier 200551 Effet de la dispersion des aptitudes sur la validit faible dispersion du critre => faible validit (ex. le problme des concours) Problmes spcifiques

Master Universit de Bourgogne, 17-20 janvier 200552 Le score total: composition de scores des items

Master Universit de Bourgogne, 17-20 janvier 200553 Le score total: composition de scores des items La variance du score total est donc gale la somme des variances aux diffrents items augmente du double produit des covariances entre toutes les paires d'items. O j>i

Master Universit de Bourgogne, 17-20 janvier 200554 Le score total: composition de scores des items Dans le cas ditems dichotomiques O j>i

Master Universit de Bourgogne, 17-20 janvier 200555 Le score total: composition de scores des items La variance des scores totaux obtenus un test sera maximale une double condition : 1. que tous les pi - les proportions de russite aux diffrents items - soient gaux 0,50 (on obtient donc une variance maximale si tous les items sont de difficult moyenne pour l'ensemble des sujets); 2. que tous les ij = 1 (tous les items mesurent exactement la mme chose). Si le test compte k items, tous les sujets auront donc un score total gal 0 ou k.

Master Universit de Bourgogne, 17-20 janvier 200556 Le score total: composition de scores des items Si les pourcentages de russite aux diffrents items p i sont levs, alors la distribution des scores des sujets prendra la forme d'une courbe en j (beaucoup de scores levs; peu de scores bas).

Master Universit de Bourgogne, 17-20 janvier 200557 Le score total: composition de scores des items Si, inversement, les pourcentages de russite aux diffrents items p i sont faibles, alors la distribution des scores des sujets prendra la forme d'une courbe en i (beaucoup de scores faibles, peu de scores levs).

Master Universit de Bourgogne, 17-20 janvier 200558 Le score total: composition de scores des items Si les p i sont de difficult moyenne (et que les inter-corrlations sont faibles), la distribution prendra la forme d'une courbe de Gauss : beaucoup de scores moyens, peu de scores levs, peu de scores faibles.

Master Universit de Bourgogne, 17-20 janvier 200559 Le score total: composition de scores des items Si ic correspond la corrlation moyenne des items avec le critre externe et it la corrlation moyenne des items avec le score total au test, alors on peut crire lestimation de Humphreys o la corrlation test-critre externe vaut, dans le cas d'items de mme niveau de difficult: Ce coefficient de validit est donc le rapport entre la corrlation moyenne des items avec le critre et la corrlation moyenne des items avec le score total.

Master Universit de Bourgogne, 17-20 janvier 200560 Homog n it et h t rog n it des tests Un test parfaitement homogne est un test qui mesure le mme facteur commun chez tous les individus et pour tous les items. Formule de Loevinger Approche factorielle

Master Universit de Bourgogne, 17-20 janvier 200561 Homog n it et h t rog n it des tests

Master Universit de Bourgogne, 17-20 janvier 200562 Homog n it et h t rog n it des tests Loevinger prsente une formule permettant de dfinir l'homognit. o H t est lindice d'homognit, V t est la variance des scores totaux, V ho est la variance d'un test parfaitement homogne ayant la mme distribution de p i que le test en question, V he est la variance d'un test parfaitement htrogne ayant la mme distribution de p i que le test en question.

Master Universit de Bourgogne, 17-20 janvier 200563 La discrimination S'il y a k items, les scores totaux possibles vont de 0 k. Il y a donc (k+1) scores possibles : ce nombre de diffrences sera maximal si, tous les scores possibles, correspondent des f i gales, cest--dire si un nombre identique de sujets obtient chacun des scores possibles, comme l'indique la figure ci- dessous.

Master Universit de Bourgogne, 17-20 janvier 200564 La discrimination Ferguson dfinit le coefficient de discrimination de la manire suivante : Discrimination maximale si = 1, minimale si = 0 O k est le nombre ditems et donc k+1 le nombre de scores possibles, N le nombre de sujets et f i la proportion de sujets qui obtiennent le score i.

Master Universit de Bourgogne, 17-20 janvier 200565 Relations entre vitesse et puissance Thurstone (1937) a dfini la puissance d'un individu pour une tche dtermine comme le niveau de difficult des tches o sa probabilit de russite est 0,5 en un temps infini. Cela implique donc qu'on n'impose aucune limite de temps de rponse. On peut tenter de raisonner sur les deux schmas suivants

Master Universit de Bourgogne, 17-20 janvier 200566 Relations entre vitesse et puissance T 1, T 2 = temps attribu la passation du test = Aptitude vraie du sujet

Master Universit de Bourgogne, 17-20 janvier 200567 Relations entre vitesse et puissance = Aptitude vraie du sujet D 1, D 2 = difficult du test

Master Universit de Bourgogne, 17-20 janvier 200568 Introduction lanalyse classique ditems Indices de difficult des items Indice de discrimination des items Mais, importance de lanalyse a priori

Master Universit de Bourgogne, 17-20 janvier 200569 Indices de difficult des items Si l'item est corrig de manire dichotomique (0 ou 1), l'indice de difficult le plus lmentaire est le pourcentage de rponses correctes (p i ). A cet indice correspond la probabilit qu'un sujet moyen appartenant la population a de russir l'item i. L'indice p i constitue un indice de difficult moyen pour l'ensemble des individus tests.

Master Universit de Bourgogne, 17-20 janvier 200570 Indices de difficult des items Mais, attention aux rponses au hasard ! Plusieurs techniques pour les neutraliser: augmentation du nombre de distracteurs, ajout de distracteurs du type toutes les rponses sont correctes , toutes les rponses sont fausses , la question prsente une aberration logique pnalisation des rponses fausses par une coefficient ngatif, utilisation de degrs de certitude qui crditerons de manire plus ou moins gnreuse ou svre les bonnes et les mauvaises rponses des sujets en fonction de la confiance qu'ils dclarent accorder leurs propres rponses.

Master Universit de Bourgogne, 17-20 janvier 200571 Pnalisation des rponses fausses par une coefficient ngatif Pnalit (si bonne rponse = 1 point) Si bonne rponse = 2 points ?

Master Universit de Bourgogne, 17-20 janvier 200572 Pnalisation des rponses fausses par une coefficient ngatif Et pour le score total dun test: Mais, problmes lis la vitesse (items non atteints)

Master Universit de Bourgogne, 17-20 janvier 200573 Indices de discrimination des items

Master Universit de Bourgogne, 17-20 janvier 200574 Indices de discrimination des items Indices de discrimination entre groupes forts et faibles : Corrlation bisriale de point ou r pbis

Master Universit de Bourgogne, 17-20 janvier 200576 Problmes spcifiques Effet de recouvrement (litem constitue une partie du score / attention si trs peu ditems) Effet de la chance sur le r pbis Effet de la vitesse

Master Universit de Bourgogne, 17-20 janvier 200577 Problmes spcifiques Amlioration de la validit Choix des items en vue de la construction de formes parallles

Master Universit de Bourgogne, 17-20 janvier 200578 Problmes spcifiques Facteurs susceptibles dintroduire des biais dans les rponses Facteurs lis au sujet et ses dispositions mentales Facteurs lis la situation dvaluation

Master Universit de Bourgogne, 17-20 janvier 200579 Problmes spcifiques Facteurs lis au sujet et ses dispositions mentales: Tendance deviner / got du risque Interprtation smantique Impulsivit Tendance acquiescer Vitesse et exactitude Dsirabilit sociale Fatigue, stress et altration de ltat mental du sujet Effet de testing / habitude / entrainement

Master Universit de Bourgogne, 17-20 janvier 200580 Problmes spcifiques Facteurs lis la situation dvaluation : Prsentation de lpreuve Conditions de passation Perturbations fortuites Langage, situations proposes

Master Universit de Bourgogne, 17-20 janvier 200581 Problmes spcifiques Quelques solutions : Identification des dispositions susceptibles d'intervenir. Structuration suffisante du test. Prcision dans les consignes. P rsentation adquate des items. Exemple : la rponse correcte doit tre prsente alatoirement dans diffrentes positions de manire viter de faciliter les dductions et les choix construits sur d'autres bases que la comptences mesurer. Formulation correcte des questions (voir par exemple Leclercq, 1986, pour les questions choix multiples) et utilisation d'un systme de correction fiable dans le cas du recours des questions rponses rdiges.

Master Universit de Bourgogne, 17-20 janvier 200582 Problmes spcifiques Quelques solutions : Utilisation d'une formule adquate de correction pour choix au hasard et information des sujets tests. Mise en condition des sujets, accueil correct, positionnement confortable et adquat dans la salle de test. Lorsqu'il s'agit de tests collectifs, vrification des conditions optimales pour chacun des sujets. Recours d'autres instruments (par exemple, l'observation en milieu naturel) lorsque des biais trop importants sont susceptibles d'invalider les rsultats de tests.

Documents

Partie 4 La théorie classique des tests. Master Université de Bourgogne, 17-20 janvier 20052 Partie 4 – Théorie classique des tests Chapitre 1 : Introduction