BRTH 2009 - 2010avenirentreprise.free.fr/mdbth.pdf · synthétique ; pour leur mise en ... On a repris certains exercices du Test Analytique de Mathématiques - ... ou bien à la

Batterie pour la reconversion des travailleurs reconnus

handicapés - B.R.T.H. -

par

DANIEL PASQUIER

Sommaire :

� Introduction ............................................. p 2

� Les épreuves ............................................ p 7

� Traitement informatique ......................... p 21

� Interprétation .......................................... p 24

� Eléments de validation ............................ p 29

� Deux protocoles de passation .................. p 32

B.R.T.H. © 2009-2010, Daniel Pasquier, Avenir & Entreprise ® - 2-

1. INTRODUCTION :

La batterie pour la reconversion des travailleurs reconnus handicapés - B.R.T.H. - poursuit différents objectifs :

� réaliser une norme quantitative pour des candidats, reconnus

travailleurs handicapés, à la reconversion professionnelle via une formation en C.R.P.,

� dans une visée pronostique, rendre cette norme utile à

l’orientation vers les formations professionnelles,

� dans une visée diagnostique, faciliter la connaissance des aptitudes, des compétences utiles à la réussite en formation,

� établir les liens, les proximités entre les différentes épreuves

utilisées.

La batterie est constituée d’un ensemble de neuf tests destinés à

évaluer les chances d'accéder à la reconversion professionnelle via une formation en centre de rééducation professionnelle.

Ces tests ont été élaborés et validés selon les critères de la

psychométrie scientifique. En voici la liste :

I. DYN mémoire dynamique

II. EMPAN empan de mémoire à court terme

III. KOHS_EG cubes de Kohs, efficacité générale

IV. KOHS_RS cubes de Kohs, réussite spontanée

V. LECTURE lecture silencieuse

VI. MATHS logique et mathématiques

VII. ORTHO orthographe

VIII. PRAXIE praxie constructive

IX. TEDE-A test d'évaluation dynamique de

l'éducabilité adapté

X. TGRA test de gestion des ressources

Une analyse en composantes principales des dix scores suivie d’une

rotation Varimax fait ressortir trois facteurs dont la valeur propre est

supérieure à 1.


facteurs valeurs propres % de la variance % cumulés

1 3,59 35,87 35,87

2 1,65 16,52 52,39

3 1,05 10,47 62,86

Le premier facteur rend compte de 35,87% de la variance ; facteur

général, il regroupe les deux scores du test de Kohs, le score de praxie

constructive et le score d’éducabilité du TEDE. Les scores au TGRA et

en mathématiques participent également à ce facteur1.

Le second facteur explique 16,52% de la variance ; facteur relatif à la

mémoire de travail, il regroupe les deux scores de mémoire et le score

de gestion des ressources attentionnelles obtenus au TGRA. Les

scores d’éducabilité et d’orthographe participent également à ce

facteur.

facteurs général mémoire de travail savoirs de base r orient

KOHS_RS 0,85 0,34

KOHS_EG 0,82 0,26

PRAXIE 0,67 0,24

TEDE 0,59 0,48 0,43

DYN 0,85 0,29

EMPAN 0,67 0,35

TGRA 0,30 0,46 0,32

LECTURE 0,88 0,31

MATHS 0,53 0,61 0,54

ORTHO 0,34 0,59 0,19

Enfin, le troisième facteur explique 10,47% de la variance.

Participent à ce facteur les trois scores relatifs aux savoirs de base :

lecture, mathématiques et orthographe.

Le module de base comporte trois épreuves, une pour chacun des

facteurs, à savoir la mieux prédictive de l’orientation prononcée à

l’issue de la formation préparatoire (voir la dernière colonne du

tableau supra). Ces trois épreuves évaluent:

� le potentiel d'apprentissage (T.E.D.E.-A.T.H.), 1 On a retenu les valeurs au moins égales à 0,30.


� la capacité de la mémoire à court terme (T.E.M.C.T.-A.T.H.) � les compétences logico-mathématiques (T.L.M.-A.T.H.). �

général

1,0,8,6,4,20,0-,2-,4

mém

oire

1,0

,8

,6

,4

,2

0,0

-,2

tede

kohs_egkohs_rs

praxie

dyn

empan

tgra

maths

ortho

lecture

Chacun des tests du module de base peut s'utiliser indépendamment

des autres, ou bien en coordination avec les deux autres.

général

1,0,8,6,4,20,0-,2-,4

scol

aire

1,0

,8

,6

,4

,2

0,0

-,2

tede

kohs_eg

kohs_rspraxie

dyn empan

tgra

mathsortho

lecture

Quand un résultat à l’un des tests du module de base est insuffisant,

on peut le contrevalider en donnant une autre épreuve appartenant

au même facteur selon le tableau ci-dessus. Pour contrevalider un

résultat insuffisant relatif à l’intelligence générale, on utilisera


l’épreuve des cubes de Kohs adaptée, en passation dynamique avec

aides au cours du test. En ce qui concerne un doute relatif à la

mémoire de travail, on pourra mettre en œuvre le test de mémoire

dynamique, épreuve d’apprentissage de la mémoire à court terme.

Enfin, pour ce qui est des savoirs de base, on contrôlera le niveau de

compréhension de lecture.

fafafafacteurcteurcteurcteur intelligenceintelligenceintelligenceintelligence

généralegénéralegénéralegénérale

mémoiremémoiremémoiremémoire

de travailde travailde travailde travail

savoirssavoirssavoirssavoirs

de basede basede basede base

séquence 1séquence 1séquence 1séquence 1 : module de base: module de base: module de base: module de base

objet évaluéobjet évaluéobjet évaluéobjet évalué potentiel

d'apprentissage

empan de la mémoire

à court terme

logique et

mathématique

test module test module test module test module

de basede basede basede base TEDE-ATH TEMCT-ATH TLM-ATH

séquence 2séquence 2séquence 2séquence 2 : m: m: m: module de contrevalidationodule de contrevalidationodule de contrevalidationodule de contrevalidation

objet évaluéobjet évaluéobjet évaluéobjet évalué potentiel

d'apprentissage

capacité d’apprentissage

de la mémoire à court terme

compréhension

de lecture

ttttest module est module est module est module

de contrevalidationde contrevalidationde contrevalidationde contrevalidation cubes de Kohs mémoire dynamique lecture

séquence 3 : module métiersséquence 3 : module métiersséquence 3 : module métiersséquence 3 : module métiers

objet éobjet éobjet éobjet évaluévaluévaluévalué praxie gestion des ressources

maîtrise du

français

constructive attentionnelles écrit

test module test module test module test module Constribois TGRA orthographe

complémentairecomplémentairecomplémentairecomplémentaire

famille de métiersfamille de métiersfamille de métiersfamille de métiers métiers

manuels métiers à risque

tertiaire,

techniciens...

Enfin, une troisième séquence peut-être mise en œuvre en

complément des deux précédentes à l'aide des trois épreuves

restantes. Cette dernière séquence peut permettre de vérifier la

pertinence de l'orientation vers certains types de métiers : pour les

métiers manuels, l'épreuve de praxie constructive; pour les métiers à

risque, le test de gestion des ressources attentionnelles; pour les

métiers du tertiaire, l'épreuve d'orthographe.


Les positionnements se font par rapport à des normes établies auprès

d'un échantillon d’une centaine de travailleurs handicapés admis en

section préparatoire dans un centre de rééducation professionnelle,

des deux sexes et orientés vers des formations de niveau V ou de

niveau IV, voire non orientés si les résultats de la formation

préparatoire ne sont pas jugés suffisants.

La section suivante présente les différentes épreuves de manière

synthétique ; pour leur mise en œuvre, on se reportera aux manuels

techniques de chacun des trois modules de la batterie : module de

base, module de contrevalidation et module métiers.


2. LES EPREUVES :

2.1 Les épreuves du module de base

Les épreuves du module de base peuvent s'utiliser de manière

indépendante, ou bien être mises en œuvre ensemble.

2.1.1 T.L.M.-ATH©

Test de logique et mathématique

forme adaptée pour travailleurs handicapés

auteur : Daniel Pasquier

préconisation : évaluation des compétences logiques et

mathématiques de personnes reconnues travailleurs handicapés

en vue d’une admission en centre de rééducation professionnelle.

étalonnage : 109 adultes, stagiaires de sections préparatoires en

C.R.P.

modalité : papier crayon.

passation : individuelle ou collective, environ 90 minutes.

correction : traitement informatisé des résultats.

matériel : manuel, matériel pour la passation, fichier Excel97+

pour le traitement des résultats.

L’épreuve vise à mesurer les compétences logiques et mathématiques.

On a repris certains exercices du Test Analytique de Mathématiques - T.A.M. - de l’I.N.E.T.O.P. A l’occasion d’une étude préalable, les 23

exercices du test ont été donnés à des groupes de stagiaires en

situation d’évaluation de l’employabilité préalable à l’insertion. Les

exercices les plus faciles et les plus difficiles ont été écartés pour ne

conserver que 15 exercices, chacun d’entre eux renvoyant à une

activité logico-mathématiques.

Les activités induites par les exercices font appel à des opérations

numériques relativement proches des mathématiques scolaires (sept

exercices) ou bien à la manipulation de propositions logiques verbales

relativement proches du raisonnement logique (huit exercices). Le

mode de cotation des items a été repris du T.A.M.


L’épreuve a été étalonnée à partir des scores de 109 stagiaires adultes

de C.R.P., reconnus travailleurs handicapés, fréquentant des sections

préparatoires, des deux sexes, d’une moyenne d’âge de 38 ans. On

n’observe pas de différence de performance entre les âges, mais par

contre les hommes obtiennent en moyenne des scores globaux

supérieurs à ceux des femmes (d de Cohen = 0,43 soit une taille de

l’effet intermédiaire). Pour cette raison, un positionnement

différentiel en fonction du sexe a été proposé en complément du

positionnement général.

Les qualités psychométriques ont été établies : fidélité acceptable

(0,86) ; validité concourante consistante : corrélations élevées avec

lecture, orthographe, gestion des ressources attentionnelles - TGRA -,

empan de mémoire, apprentissage mnémonique - DYN -, cube de

Kohs en passation dynamique avec aide au cours du test (un score de

réussite spontanée avant aide - RS - et un score d’efficience générale

avec aides - EG -), potentiel d’apprentissage - TEDE -.

Quand on compare les groupes entre eux, on observe que les

stagiaires orientés vers le secteur qualifiant ont un score moyen

supérieur aux non-orientés (66,34 vs 46,36) pour un effet notable. Parmi les orientés, ceux qui se dirigent vers le niveau IV ont un score

moyen supérieur à celui des stagiaires qui se dirigent vers le niveau V

(77,63 vs 61,12) également pour un effet notable. La valeur prédictive

notable du score logico-mathématique est confortée par un éta de 0,54

ce qui renvoie 29% de variance expliquée par le niveau d’orientation.

Le score de compétences logique et mathématiques permet donc de distinguer de manière statistiquement pertinente les stagiaires en fonction du niveau d’orientation prononcé à l’issue de leur stage préparatoire.

D’un point de vue diagnostique, la fiche de résultats donne pour

chaque exercice les scores et les pourcentages de réussite à comparer

avec les pourcentages de réussite moyens. Egalement disponibles,

trois scores standardisés encadrés par les limites de confiance : un

pour la logique, un pour les mathématiques et un pour l’ensemble.


D’un point de vue pronostique le résultat d’un candidat à la formation

en C.R.P. est comparé aux valeurs de référence établies au cours de

l’expérimentation. Deux indications en ressortent : le score du

candidat est-il à l’intérieur des limites de la norme ; si oui, peut-on

envisager une orientation vers le niveau V ou bien vers le niveau IV.

Un graphe spécifique selon le sexe permet d’affiner le positionnement

du niveau de compétences.

Dans l’exemple ci-dessous, le score du répondant se situe entre la

moyenne pour le niveau V et moins un écart type, mais il se situe en

dehors des limites d’accès à une orientation vers le niveau IV.

Concrètement, ce résultat pourrait argumenter un projet

d’orientation vers une formation de niveau V, en excluant

l’orientation vers une formation de niveau IV.

5

15

25

35

45

55

65

75

85

95

0 52 52 52

maxi 73 87 92

m +1s 69,01 76,77 87,48

m 46,36 61,12 77,63

m-1s 23,70 45,47 67,78

mini 6 18 57

non orientés niveau 5 niveau 4


2.1.2 T.E.D.E.-ATH©

Test d’évaluation dynamique de l’éducabilité,



préconisation : évaluation du potentiel d’apprentissage des

personnes reconnues travailleurs handicapés en vue d’une

admission en centre de rééducation professionnelle.


CRP


passation : individuelle ou collective en 3 séquences, en temps

libre, apprentissage (environ 90 minutes), post-test immédiat

(environ 20 minutes), post-test différé à une semaine.


matériel téléchargeable : manuel, transparents pour la

passation, livret d’apprentissage, livret post-test immédiat, livret

post-test différé, fichier pour le traitement.

Z X O

X = Z + O


Le T.E.D.E.-ATH© est destiné aux publics reconnus travailleurs handicapés envisageant un parcours de reconversion professionnelle

via une formation en C.R.P. La mesure du potentiel d’apprentissage

de ces publics s’intègre dans un processus d’aide à l’orientation. Le

T.E.D.E.-ATH© est dérivé du T.E.D.E.6© destiné aux publics tout-venants2.

La tâche est double : logico-mathématique et spatio-projective. Il

s’agit de composer une égalité de segments selon une structure

donnée puis de vérifier qu’elle est vraie par une série de déplacements

matérialisés par des flèches. La réussite nécessite la coordination

d’un savoir et d’une action, coordination à la base des maîtrises

professionnelles.

La procédure se déroule selon le schéma suivant : accueil,

présentation du test d’apprentissage, séquence d’apprentissage en

temps libre (environ 90 minutes), pause, post-test immédiat en

temps libre (environ 30 minutes), post-test différé à une semaine,

entretien de restitution.

Les aspects qualitatifs sont amplifiés pour affiner l’objectif de

diagnostic du fonctionnement cognitif de l’apprenant. L’objectif

principal est de constater la tenue dans le temps de la

performance par comparaison des performances obtenues aux deux

post-tests.

Tous les résultats numériques sont traités par le logiciel

(développement Excel97+) qui permet de positionner les

performances obtenues à l’apprentissage et aux post-tests, la tenue

dans le temps, les aspects fonctionnels comme le gradient de transfert

et l’équilibrage de la tâche, ainsi que les aspects prédictifs par niveau

de projet de formation.

Les résultats ont été étalonnés auprès de 127 stagiaires de sections

préparatoires de C.R.P., des deux sexes, d’une moyenne d’âge de 38,5

ans. On observe une supériorité des hommes et des plus jeunes, ce qui

a conduit à l’élaboration d’étalonnages spécifiques. Les résultats

différencient de manière significative trois sous-groupes en fonction 2 Edité par les E.C.P.A.


de la décision d’orientation élaborée en fin de stage préparatoire : non

orientés, orientés vers une formation de niveau V, orientés vers une

formation de niveau IV.

Les qualités psychométriques ont été établies : fidélité excellente

(0,91) ; validité concourante consistante (corrélations élevées avec le

test des cubes de Kohs, un test de mathématiques, l’empan de

mémoire, la gestion des ressources attentionnelles) ; validité

prédictive relativement fiable (éta = 0,45).

D’un point de vue diagnostique, le TEDE-ATH© permet une

description fine des stratégies d’apprentissage et de contrôle mises en

œuvre par l’apprenant, ainsi que ses compétences en termes de

transfert d’apprentissage à court terme (test immédiat) et à moyen

terme (test différé). Des indications de remédiation cognitive peuvent

être établies.






Dans l’exemple produit, on voit que le potentiel d’apprentissage du

candidat Azer pourrait envisager une formation de niveau V, mais

pas de niveau IV. C’est là une information utile au processus

d’orientation mais insuffisante à elle seule pour prendre une

décision : elle doit être associée aux autres informations utiles à la

décision d’orientation.

Bibliographie du T.E.D.E. :

Pasquier, D. (1991). Mesurer le potentiel d’apprentissage. Les cahiers d’information du directeur du personnel, 17.

Pasquier, D. (1991). Regards neufs sur la capacité d’apprendre. Les cahiers d’information du directeur du personnel, 18.

Pasquier, D. (1994). Evaluation dynamique, potentiel d’apprentissage

et facteur G, in A la recherche du potentiel d’apprentissage,


Garbo R. et Lebeer J. (éd.). Antwerp : EAMC, University of

Antwerp.

12

17

22

27

32

37

42

Azer 30 30 30

maxi 40 42 42

m +1s 36 38 42

m 28 31 37

m-1s 20 23 32

mini 13 14 23

non orientés niveau V niveau IV

Pasquier, D. (1994). Le test d’évaluation dynamique de l’éducabilité

(TEDE), in Les techniques d’évaluation des personnes, Huteau M. (éd.). Issy-les-Moulineaux : EAP.

Pasquier, D. (1995). Le T.E.D.E. Pédagogies de Médiations. Documents du CRUISE. Poitiers : CUFEP.

Pasquier D. (1996) Un paradigme d’hier pour demain : l’évaluation

dynamique du potentiel d’apprentissage. Actes du congrès international d’actualité de la recherche en éducation et formation. Nanterre : Université de Paris X.

Pasquier D., L’évaluation dynamique en psychologie, Le journal des psychologues, N°145, 1997

Pasquier D. (2000). Étude différentielle du potentiel d’apprentissage chez de jeunes apprentis. XXVII Congrès international de

Psychologie, Stockholm (Suède).

Pasquier D., Estebe I., Jaigu J. (2001). Prévoir la réussite chez de

jeunes apprentis : approche exploratoire. Pratiques Psychologiques, 1, 99-110.


Pasquier D., Estebe I., Jaigu J., Prévoir la réussite chez de jeunes

apprentis : rapport d’expérimentation 1999-2001, [en ligne].

Disponible : http://avenirentreprise.free.fr/rapportcfa.pdf

Pasquier, D (2005). L’évaluation dynamique du potentiel

d’apprentissage de l’adulte : intervention massifiée et approche

clinique. In Pithon, G. et Gangloff, B. Évaluer pour former, orienter et apprécier le personnel. Paris: L'Harmattan.

Pasquier D. (2005). Les Compétences à Apprendre. Évaluation chez l'adulte. Paris: L'Harmattan.

Pasquier, D. (2006). La genèse de l’apprenti : vocation ou

prédestination ? Le poids des déterminants scolaires. In R. Ben

Rejeb, Destin, discours et société, pp. 143-155. Tunis: Centre de Publication Universitaire.

Chartier P., & Loarer E. (2008). Le Test d’Evaluation Dynamique de

l’Educabilité, 6è édition (T.E.D.E.6) de Pasquier. In Evaluer l’intelligence logique. Approche cognitive et dynamique, pp. 359-363. Paris : Dunod.

Pasquier, D., & Mazilescu, C. A. (2010). Une conséquence des

mutations industrielles : l’évaluation dynamique du potentiel

d’apprentissage le TEDE6. In G. V. Todea (Ed.) VI-ème conférence internationale. Psychologie appliquée, la personne et les technologies du XXI siècle (pp. 214-227). Timisoara : Eurobit.


2.1.3 T.E.M.C.T.-ATH©

Test d’Empan de la Mémoire à Court Terme



préconisation : évaluation de la capacité de la mémoire de

travail à court terme de personnes reconnues travailleurs

handicapés en vue d’une admission en centre de rééducation

professionnelle.


C.R.P.


passation : individuelle ou collective, quelques minutes .


matériel téléchargeable : manuel, matériel pour la passation,

fichier Excel pour le traitement des résultats.

L’épreuve vise à mesurer l’empan de la mémoire à court terme. Dans

cet objectif, l’apprentissage de listes de nombres est classiquement

utilisé soit dans les tests d’intelligence générale (Binet-Simon et

dérivés), soit dans le cadre d’études de neuropsychologie pour

l’évaluation de la capacité de la mémoire à court terme.

L’originalité du T.E.M.C.T.-ATH© vient de l’utilisation dans une même épreuve de quatre matériels différents à mémoriser : nombres,

lettres, mots, images. D’autre part, afin de rendre possible une

passation collective, les réponses doivent être écrites sur une feuille

spécifique.

L’empan est évalué à partir de quatre listes de 10 nombres, de 10

lettres, de 10 mots et de 10 images a priori non structurables ni de manière logique, ni de manière analogique. Ces listes projetées sur

écran sont données à voir successivement, chacune en un seul essai.

Le temps d’exposition visuelle ou de lecture est identique soit 20

secondes par liste.

La passation, collective ou individuelle ne prend que quelques

minutes. La correction se fait à l’aide d’un fichier Excel97+.


Le fichier matériel comprend les quatre listes à projeter, soit

directement à l’aide d’un vidéoprojecteur, soit à l’aide d’un

rétroprojecteur.

L’épreuve a été étalonnée à partir des scores de 124 stagiaires adultes

de C.R.P., reconnus travailleurs handicapés, fréquentant des sections

préparatoires, des deux sexes, d’une moyenne d’âge de 38 ans.

On n’observe pas de différence de performance entre les sexes, ni

entre les âges, ce qui permet l’utilisation d’un même étalonnage pour

tous les répondants.

Les qualités psychométriques ont été établies : fidélité acceptable

(0,77) ; validité concourante consistante : corrélations élevées avec le

test des cubes de Kohs, une épreuve de lecture, la gestion des

ressources attentionnelles, les mathématiques, l’apprentissage

mnémonique et le potentiel d’apprentissage.

Le score d’empan de la mémoire à court terme permet de distinguer

de manière statistiquement pertinente les stagiaires en fonction du

niveau d’orientation prononcé à l’issue de leur stage préparatoire (non

orientés, orientés vers une formation de niveau V, orientés vers une

formation de niveau IV) avec une validité prédictive relativement

fiable (éta = 0,35).

D’un point de vue diagnostique, pour chacune des quatre séries de

stimuli à mémoriser, la feuille de résultats fournit différents indices

bruts et standardisés : nombre de réponses, nombre de bonnes

réponses, nombre d’erreurs dont le nombre de répétitions, indice de

rendement et score global de performance encadré par la marge

d’erreur de mesure.

Résultats standards (m=100; σσσσ=15) limitessérie n réponses n BR n erreurs n répétitionsrendement performance supre infre

nombres 135 107 139 166 78 92 99 85

lettres 135 107 154 176 61 90 97 82

mots 132 123 121 98 88 115 122 108

images 140 123 145 98 73 108 115 101

total 154 122 175 188 57 101 108 94







Dans l’exemple ci-dessus, le score du répondant encadre la moyenne

pour le niveau V, mais il se situe entre la moyenne et moins un écart

type pour le niveau IV. Concrètement, ce résultat pourrait

argumenter un projet d’orientation vers une formation de niveau V, la

probabilité de réussir une formation de niveau IV étant moindre.

12

17

22

27

32

37

répondant 25 25 25

maxi 30 33 36

m +1s 27,26 29,45 31,42

m 22,68 25,25 27,28

m-1s 18,10 21,05 23,14

mini 13 14 19



2.2 Epreuves du module de contrevalidation

Ces épreuves s'utilisent au cas par cas, lorsqu'il y a nécessité de

contrevalider un score bas à l'une des épreuves du module de base; on

introduit alors leur score brut dans le fichier résultats de la B.R.T.H.

(voir infra, 3. Traitement informatique). En cas de besoin par rapport

à des objectifs spécifiques, elle peuvent être mises en ouvre pour elles-

mêmes, chacune d'entre elles ayant été étalonnées par rapport aux

trois niveaux d'orientation. Le manuel technique du module de

contrevalidation donne toutes les informations nécessaires à la

2.2.1 Cubes de Kohs en passation aidée3 (facteur général)

On ne présente plus les cubes de Kohs, grand classique de la

psychologie clinique et du développement, mesurant l’expression

analytique et synthétique de la pensée conceptuelle tout en mettant

en jeu l’aptitude à la structuration spatiale. Goldstein en a réalisé

une passation aidée, en partie reprise ici. L'aide est apportée au fur et

à mesure des difficultés rencontrées au cours de la passation

individuelle, d'une durée variable (entre 20 et 40 minutes) en fonction

de l'efficacité du répondant.

L’aide 1 joue sur la différence d’échelle entre le dessin à reproduire et

les cubes. Une réussite suite à cette aide souligne une difficulté

d’échelle. L’aide 2 joue sur le surlignage des dessins pour aider à

visualiser les cubes. Une réussite suite à cette aide indique une

difficulté d’analyse perceptive. La saisie des résultats se fait sur un

fichier Excel97+ qui élabore automatiquement les résultats.

2.2.2 Mémoire dynamique (facteur mémoire de travail)

Cette épreuve vient en complément du Test d’Empan de la Mémoire à Court Terme. La tâche consiste à mémoriser une liste de nombres et

une liste de lettres à l'occasion de quatre essais successifs. En

fonction des courbes d'apprentissage obtenues on peut ainsi

déterminer si, malgré un score bas au test d'empan, la mémoire de

travail est susceptible d'apprentissage dans une situation de

répétition. La passation papier-crayon, qui ne prend que quelques

minutes, peut-être collective ou individuelle. La saisie des résultats se

3 On pourra se procurer la boîte de cubes auprès des E.C.P.A. Lien direct : http://www.ecpa.fr/psychologie-clinique/test.asp?id=1409#


fait sur un fichier Excel97+ qui élabore automatiquement les

résultats.

2.2.3 Lecture silencieuse (facteur savoirs de base)

On a repris la feuille F du Test de lecture silencieuse de

l’I.N.E.T.O.P.4 diffusée par les E.A.P. Cette feuille comporte trois

petits textes de difficulté croissante suivis chacun d'une série de

phrases à compléter destinées à s'assurer de la compréhension du

texte par le lecteur. La passation, en temps libre, peut se faire en

individuel ou en collectif. Comme pour les autres tests, la saisie des

résultats se fait sur un fichier Excel97+ qui élabore automatiquement

les résultats.

4 Aubret, J, & Blanchard, S. (1991). L'évaluation des compétences d'un lecteur. Paris : I.N.E.T.O.P.


2.3 Epreuves du module métiers

Ces trois épreuves sont destinées à apprécier des compétences

spécifiques en fonction de l'orientation vers la formation choisie :

métiers à dominante technico-manuelle (test de praxie constructive),

métiers à risque (T.G.R.A.), métiers nécessitant une bonne

orthographe. La saisie des résultats de chaque épreuve se fait sur un

fichier Excel97+ qui élabore automatiquement les résultats.

2.3.1 Test de praxie constructive (facteur général)

La première utilisation du jeu Constribois pour évaluer les praxies constructives se trouve dans le test d'aptitude de comportement au

travail et à l'insertion sociale (TACTIS), non édité. On peut se

procurer le jeu Constribois auprès de Nathan5. Ce jeu comporte 140

pièces de bois à assembler pour réaliser un modèle figurant sur une

fiche. On demande de réaliser un modèle d'hélicoptère. La passation

est individuelle, et le répondant dispose de 20 minutes pour réaliser

la tâche. La cotation prend en compte le respect des sous-ensembles

et le choix de chaque pièce.

2.3.2 Test de gestion des ressources attentionnelles (facteur

mémoire de travail)

Le T.G.R.A. est une épreuve dérivée du Digital Test de Manuel Sedo,

test lui-même dérivé du test de Stroop, les mots étant remplacés par

des chiffres afin de limiter le biais lié à la maîtrise de la lecture. La

tâche consiste à dénombrer ou à lire une série du même chiffre en

fonction de l'aspect du cadre qui entoure cette série. La passation est

individuelle ou collective en 2 séquences : module d'entraînement en

temps libre, puis module test en 10 minutes. En plus de la vitesse et

de la précision, on peut prendre en considération l'équilibre entre les

deux aspects de la tâche, c'est-à-dire la gestion de l'interférence entre

le signe graphique et la quantité qu'il désigne.

2.3.3 Orthographe (facteur savoirs de base)

Il s'agit d'une dictée d'une dizaine de lignes reprise de la feuille YLS4

de l'I.N.E.T.O.P.. La cotation ne porte que sur les mots ou expressions

les plus représentatifs de l'orthographe lexicale (phonétique ou

d'usage) et de l'orthographe grammaticale.

5 http://www.nathan.fr/materieleducatif/catalogue/produit.asp?ean13=3133093871374&idm=#descriptif_produit


3. TRAITEMENT INFORMATIQUE :

Après avoir renseigné les rubriques d’identification du répondant, il

suffit de reporter les scores bruts obtenus aux trois tests dans les

cases correspondantes surlignées de couleur jaune (voir tableau ci-

dessous).

facteur intel ligence générale

mémoire de travail

savoirs de base

objet évalué potentiel d'apprentissage

empan de la mémoire à court terme

logique et mathématique

test TEDE-ATH TEMCT-ATH TLM-ATH total

score brut score standard*

(*moyenne = 100; écart type = 15)

Apparaîtront alors sur la dernière ligne les scores standard construits

sur la base d’une moyenne de 100 points et d’un écart type de 15

points. A la droite du tableau s’inscriront le score total brut (somme

des scores standard obtenus aux trois tests) et le score standardisé

correspond. Ces informations sont traduites visuellement sous la

forme d’un profil des scores standardisés qui permet de percevoir

d’emblée points forts et points faibles ainsi que l’ampleur des écarts

entre les scores standardisés par un répondant aux trois tests.

Les trois tableaux suivants donne des prévisions d’orientation selon

qu’on ait fait passer un seul test, ou deux ou encore, ce qui représente

la situation idéale, les trois. Pour chaque test, le tableau indique la

corrélation simple (prévision à partir d’un seul test) ou multiple

(prévision à partir de plusieurs tests), la variance expliquée que cette

corrélation représente, la prévision d’orientation en trois possibilités

(non orienté, orienté niveau V, orienté niveau IV), la probabilité de

réalisation de cette prévision.

Enfin, un graphe prévisionnel réalisé à partir des scores obtenus aux

trois tests permet de positionner le score d’un répondant par rapport

au niveau d’orientation : stagiaires non orientés, stagiaires orientés

vers le niveau V et stagiaires orientés vers le niveau IV.


Il se peut qu’un ou plusieurs scores bruts renvoient à un niveau de

performance insuffisant ce qui conduit à procéder à une

contrevalidation.

Pourquoi contrevalider un résultat insuffisant ? Si la réussite à un

test renvoie à une compétence, à une capacité ou à une aptitude du

répondant, l’inverse n’est pas vrai : un résultat médiocre ne renvoie

pas systématiquement à une incompétence. Une personne peut très

bien détenir un potentiel sans pour autant l’investir dans certains

types de tâche jugées sans signification ou réveillant d’anciens

traumas scolaires, ni dans certaines situations (trop stressantes, sans

enjeu…) ou bien dans certaines circonstances perturbatrices

génératives de préoccupations envahissantes (problèmes de couple,

avec les enfants, chômage, dettes, maladies…).

En conséquence, un niveau bas ouvre un double questionnement : un

questionnement sur le processus mental qui a conduit l’élaboration de

la réponse erronée ; un questionnement sur la disposition mentale de

la personne pour aborder la situation d’évaluation. En tout état de

cause, un mauvais résultat nécessite une contrevalidation par un

autre test équivalent.

Concrètement, lorsqu’un score standard est inférieur à 85 points (soit

en-deçà d’un écart type), un message situé en haut de page invite à

donner l’épreuve permettant de contrevalider le premier résultat.

Préconisations des épreuves de contrevalidation.Préconisations des épreuves de contrevalidation.Préconisations des épreuves de contrevalidation.Préconisations des épreuves de contrevalidation.

Donner le test des cubes de Kohs. Donner le test dynamique d'apprentissage de la mémoire de travail. Donner le test de lecture.

A la droite de ce message, un tableau permet de noter les scores bruts

obtenus à l’épreuve ou aux épreuves de contrevalidation données.

Indiquer le ou les scores bruts des épreuves de con trevalidation données.


Dans ce cas, on consultera les résultats à l’onglet « Module

contrevalidation ». Il est à noter que dans un souci de cohérence, les

scores des épreuves de contrevalidation sont transformés en scores

équivalents des épreuves du module de base en utilisant les valeurs

données par les équations de régression.

Passage du score Kohs_RS vers un score TEDE’ (r = 0,59) : 12,71 +

1,42 x score Kohs_RS.

Passage du score mémoire dynamique vers un score T.E.M.C.T.’ (r =

0,40) : 14,98 + 1,14 x score mémoire dynamique.

Passage du score lecture vers un score T.L.M.’ (0,32) : 45,01 + 1,5 x

score lecture.

Le chapitre suivant donne deux exemples de résultats.


4. INTERPRETATION :

4.1 Un profil favorable

facteur intelligence générale mémoire de travail sa voirs de base

objet évalué potentiel

d'apprentissage empan de la mémoire

à court terme logique et

mathématique test TEDE-ATH TEMCT-ATH TLM-ATH total

score brut 45 34 83 371 score standard* 126 129 116 130

(*moyenne = 100; écart type = 15)

On a reporté dans les cases surlignées en jaune les scores bruts

obtenus aux trois tests du module de base de la batterie. On observe

que tous les scores standards sont supérieurs à 115 points (16% des

meilleures performances).

Le profil des trois épreuves permet de visualiser le positionnement

des scores par rapport à la moyenne (ligne rouge pleine) et par

rapport aux écarts types (lignes pointillées bleues). La feuille de

résultats indique ensuite les différentes prévisions de niveaux

d’orientation à l’issue de la préparatoire.


Prévision à partir d'un seul test

R variance expliquée prévision probabilité TEMCT-ATH (empan) 0,35 12% orienté niveau IV 54% TEDE-ATH (potentiel) 0,42 18% orienté niveau IV 52%

TLM-ATH (logique math) 0,53 29% orienté niveau IV 67%

Prévision à partir de deux tests R multiple variance expliquée prévision probabilité

TEMCT et TEDE 0,45 20% orienté niveau IV 53% TLM et TEDE 0,52 27% orienté niveau IV 69%

TLM et TEMCT 0,57 33% orienté niveau V 69%

Prévision à partir des trois tests R multiple variance expliquée prévision probabilité

TLM, TEMCT et TEDE 0,54 29% orienté niveau IV 74%

Ces prévisions à partir d’un test, de deux ou de trois tests vont dans

le même sens d’une probabilité d’orientation vers une formation de

niveau IV, probabilité de 74% pour trois tests. Le graphe prévisionnel

confirme cette prédiction à partir de trois tests.

4,0

4,5

5,0

5,5

6,0

Répondant 4,27 4,27 4,27

max 5,53 5,58 4,88

m +1s 5,42 5,17 4,70

m 5,05 4,87 4,52

m -1s 4,67 4,57 4,34

min 4,63 4,34 4,23



La légende du graphique supra indique le score brut global obtenu aux tests du module de base par le répondant en termes de niveau

d’orientation prédit, et pour chaque niveau d’orientation la moyenne,

la moyenne plus un écart type, la moyenne moins un écart type, les

notes minimales et maximales observées. Le score du répondant est

représenté par une ligne horizontale de couleur marron.

Le niveau d’orientation prédit est calculé à l’aide des coefficients

obtenus par l’analyse de régression, à savoir : constante + a x score

standard T.L.M. + b x score standard T.E.C.M. + c x score standard

T.E.D.E. Soit avec les valeurs chiffrées : 7,631 + (-0,018) x score

standard T.L.M. + (-0,003) x score standard T.E.C.M. + (-0,005) x

score standard T.E.D.E.

Le score prévisionnel minimal observé se situe à 4,63 points bruts

pour les non orientés, à 4,34 points vers le niveau V et à 4,23 points

pour le niveau IV. Toutefois, les scores limites ne concernent que des

effectifs marginaux. Par précaution, il serait préférable de prendre

comme norme la moyenne diminuée d’un écart type soit 4,67 points

pour une orientation vers le niveau V et 4,34 points pour une

orientation vers le niveau IV.

4.2 Un profil limite

facteur intelligence générale mémoire de travail sa voirs de base

objet évalué pote ntiel

d'apprentissage empan de la mémoire

à court terme logique et

mathématique test TEDE-ATH TEMCT-ATH TLM-ATH total

score brut 35 17 49 267 score standard* 106 73 88 84

Le profil des résultats n’est pas homogène : si le potentiel

d’apprentissage se situe au-dessus de la moyenne, le niveau de

logique et de mathématique se situe en dessous et le niveau d’empan

de mémoire à court terme est en-dessous de l’écart type inférieur. En

conséquence, le logiciel préconise de donner le test dynamique

d’apprentissage de la mémoire de travail.


Quand on passe à l’onglet « module contrevalidation », le tableau de

résultats a été actualisé par le remplacement de l’épreuve d’empan

par l’épreuve de mémoire dynamique. Cette épreuve est nettement

mieux réussie que la précédente ce qui se traduit par un gain de 39

points standard.

facteur intelligence générale mémoire de travail savoirs de base

objet évalué potentiel

d'apprentissage apprentissage

mémoire dynamique logique et

mathématique test TEDE-ATH mémoire dynamique TLM-ATH total

score brut ou score théorique** 35 29 49 259

score standard* 106 112 88 80 *moyenne = 100; écart type = 15

**score théorique si épreuve de contrevalidation Evolution du score standard 39

Quand on observe le tableau des prévisions d’orientation, il apparait

que l’orientation vers une formation de niveau V est validée qu’on

considère un seul test, ou deux ou encore trois.

On peut visualiser cette conclusion sur le graphe prévisionnel.


Prévision à partir d'un seul test R variance expliquée prévision probabilité

mémoire_dynamique 0,35 12% orienté niveau V 54% TEDE-ATH 0,42 18% orienté niveau V 52% TLM-ATH 0,53 29% orienté niveau V 67%

Prévision à partir de deux tests R multiple variance expliquée prévision probabilité

mémoire_dynamique et TEDE 0,45 20% orienté niveau V 53% TLM et TEDE 0,52 27% orienté niveau V 69%

lecture et mémoire_dynamique 0,57 33% orienté niveau V 69%

Prévision à partir des trois tests R multiple variance expliquée prévision probabilité

TLM, mémoire_dynamique et TEDE 0,54 29% orienté niveau V 74%

La ligne des résultats de Toto est proche de la moyenne des stagiaires

orientés vers le niveau V mais en dessous du score minimal observé

chez les stagiaires orientés vers le niveau IV.


5. ELEMENTS DE VALIDATION :

Les éléments de validation apparaissent en grande partie sur les

tableaux donnant les probabilités. On a rajouté le d de Cohen et la

taille de l’effet. Les effectifs peuvent varier en fonction des épreuves

ou des combinaisons d’épreuves. Il faut noter que les meilleurs tests

s’associent aux critères à prédire à hauteur de corrélations pouvant

atteindre 0,54. Dans cette étude, les répondants ont déjà été

sélectionnés ce qui limite les valeurs de corrélation. Si on avait pu

avoir accès à l’ensemble des candidats à la reconversion

professionnelle via une formation qualifiante, les valeurs des

corrélations auraient été probablement supérieures à celles observées

ici.

Prévision à partir d'un seul test

On a les effectifs suivants : 109 pour le T.L.M., 127 pour le T.E.D.E.

et 127 pour le T.E.M.C.T.

R variance expliquée probabilité d de Cohen taille de

l'effet

T.E.M.C.T. (empan) 0,35 12% 54% 0,74 notable

T.E.D.E. (potentiel) 0,42 18% 52% 0,92 notable

T.L.M. (logique math) 0,53 29% 67% 1,25 notable

Le tableau ci-dessus indique que toutes les corrélations entre les

scores des tests et le niveau d’orientation traduisent un effet notable.

C’est le test au contenu logico-mathématique qui offre la meilleure

prédictivité avec 29% de variance expliquée et une probabilité de 67%

de prédictions correctes.

Prévision à partir de deux tests

On a les effectifs suivants : 119 pour la combinaison T.E.M.C.T. -

T.E.D.E., 90 pour la combinaison T.L.M. - T.E.D.E., 89 pour la

combinaison T.L.M. - T.E.M.C.T.

Le tableau ci-dessous indique que toutes les corrélations entre les

scores des tests et le niveau d’orientation traduisent un effet notable.


Les combinaisons de tests offrent une meilleure fiabilité prédictive

que les tests seuls.

C’est le test au contenu logico-mathématique associé au test d’empan

de la mémoire à court terme qui offre la meilleure prédictivité avec

33% de variance expliquée et une probabilité de 69% de prédictions

correctes.

R multiple variance expliquée probabilité d de Cohen taille de

l’effet

T.E.M.C.T. et T.E.D.E. 0,45 20% 53% 1 notable

T.L.M. et T.E.D.E. 0,52 27% 69% 1,21 notable

T.L.M. et T.E.M.C.T. 0,57 33% 69% 1,38 notable

Prévision à partir des trois tests

On dispose des résultats aux trois tests pour un effectif de 87

répondants.

R multiple variance expliquée probabilité d de Cohen taille de

l’effet

TLM, TEMCT et TEDE 0,54 29% 74% 1,28 notable

On obtient avec les résultats des trois tests la meilleure réduction de

l’incertitude avec une probabilité de 74% de prédictions réalisées.

La comparaison des prédictions moyennes par niveau de prédiction

effectif permet de conclure dans le même sens que les corrélations,

cette fois-ci en différenciant les niveaux d’orientation.

non orientés orientés orientés niveau 5 orientés niveau 4

m 5,05 4,65 4,87 4,52

σσσσ 0,38 0,48 0,30 0,18

n 8 78 51 27

Les valeurs affectées aux niveaux d’orientation étaient les suivantes :

6 pour non orientés, 5 pour orienté vers le niveau V ; 4 pour orienté

vers le niveau IV. En conséquence, plus le niveau d’orientation est

élevé et plus la valeur numérique de la prédiction sera basse.


L’écart des prédictions entre orientés et non orientés (5,05 vs 4,65) se traduit par un effet notable. L’écart des prédictions entre les orientés

vers le niveau V et les orientés vers le niveau IV (4,87 vs 4,52) relève également d’un effet notable.

orientés vs non orientés 4 vs 5

écart 0,4 0,35

d de Cohen 0,84 1,32

taille de l’effet notable notable

t de Student 2,28 5,54

p 0,02 0

significativité S TS

Prep 0,94 1

S : significatif ; TS : très significatif ; Prep : probabilité de réplication.

Toutes les formules de passation se concrétisent par des effets notables, la combinaison des trois épreuves offrant la validité prédictive la plus fiable. On valide ainsi un niveau élevé de fiabilité prédictive du module de base de cette batterie.


6. DEUX PROTOCOLES DE PASSATION :

Les deux protocoles de passation présentés ici sont des propositions

visant à optimiser l’utilisation des tests des trois modules. In fine, chaque praticien reste maître et responsable de ses choix techniques

et des conseils ou décisions qu’il infère des observations et des

résultats recueillis à l’occasion des passations des épreuves et des

entretiens préalables ou des entretiens de restitution.

On présentera successivement un protocole à visée diagnostique et un

protocole à visée pronostique. Le premier protocole trouvera

naturellement sa place dans les contextes où le praticien et son

« client » disposent de temps, par exemple dans le cadre de stages de

pré-orientation ou dans le cadre de bilan de compétences. Le second

protocole structure une approche économique en temps en

sélectionnant les informations présentant la meilleure valeur

pronostique du niveau d’orientation, non orienté, orienté vers le

niveau V ou orienté vers le niveau IV.

6.1 Protocole long, à visée diagnostique

Ce protocole utilise les épreuves des trois modules de la batterie. On

commencera par mettre en œuvre la passation des trois épreuves du

module de base. Si les trois résultats et le score global permettent de

conclure en termes d’orientation, alors, on pourra stopper la

procédure d’évaluation et rédiger le rapport de synthèse présentant le

détail des résultats et les conclusions inférées de ces résultats.

Par contre, si le résultat à l’un ou l’autre des tests pratiqués n’est pas

satisfaisant selon un critère déterminé, il convient de contrevalider ce

résultat en utilisant un test rattaché au même facteur. Le critère

choisi peut être un résultat hors normes, n’entrant pas dans la zone

d’orientabilité délimitée suite à l’étalonnage. Il peut s’agir aussi d’un

score qui se situe en-deçà de la moyenne diminuée d’un écart type

(score inférieur à 85 points). Ou bien encore, on peut choisir la ou les

épreuves qui constituent des points faibles et qui de ce fait affectent

le score global.


Enfin, on terminera par la passation du test du module métiers

correspondant à l'orientation en termes de catégories de métiers,

manuels, à risques, tertiaires.

6.2 Protocole court, à visée pronostique

On commencera par donner la passation du test de logique et de

mathématique (T.L.M.-A.T.H.) dans la mesure où un résultat à cet

test présente à lui-seul une valeur prédictive forte (r = 0,53). Si le

positionnement obtenu pour un répondant débouche sur une

prévision d’orientation en formation bien nette, on pourra arrêter la

procédure d’évaluation.

Dans le cas d’un niveau logico-mathématique insuffisant, on pourra

envisager une remise à niveau des savoirs de base. Toutefois, il

convient de vérifier si le candidat à la formation présente un potentiel

d’apprentissage suffisant. On donnera donc le test d’évaluation

dynamique de l’éducabilité (T.E.D.E.-A.T.H.) pour établir le potentiel

d’apprentissage du candidat. Dans le cas d’un potentiel laissant

prévoir une orientation en formation, on pourra conseiller un

parcours articulant une phase de remise à niveau des savoirs de base

préalable à l’admission en formation.

Un potentiel d’apprentissage insuffisant suggère la nécessité d’une

remédiation cognitive. Mais avant, il convient de s’assurer que la

mémoire de travail permette un traitement efficace de l’information.

Dans ce but, on pourra donner le test d’empan de la mémoire à court

terme (T.E.M.C.T.-A.T.H.). Un résultat conforme aux normes

d’orientation établies ouvre la possibilité d’un parcours formatif

intégrant une phase de remédiation cognitive6 et une phase de remise

à niveau des savoirs de base préalable à l’entrée en formation. Un

résultat insuffisant débouche sur la nécessité de passer au protocole à

visée diagnostique. Sur la page suivante, ce protocole à visée

pronostique est présenté sous la forme d’un arbre de décision indicatif

dans la mesure où la responsabilité des décisions revient au praticien

qui possède l’ensemble des éléments d’information utile à

l’élaboration d’une préconisation d’orientation.

6 Par exemple à l’aide des E.D.I. (voir site www.avenirentreprise.fr).


Début Parcours personnalisé vers

l’emploi et/ou la formation

T.L.M. => favorable ? formation

OUI

NON

T.E.D.E. => favorable ? remise à niveau

OUI formation

NON

remédiation

T.E.M.C.T.=>favorable ? remise à niveau

OUI formation

NON

protocole à visée

diagnostique

Fin

T.L.M. : test de logique et de mathématique (savoirs de base). T.E.D.E. : test d’évaluation dynamique de l’éducabilité (potentiel d’apprentissage). T.E.M.C.T. : test d’empan de la mémoire à court terme (mémoire de travail).