This article was downloaded by: [University of Calgary]On: 04 October 2013, At: 05:12Publisher: RoutledgeInforma Ltd Registered in England and Wales Registered Number:1072954 Registered office: Mortimer House, 37-41 Mortimer Street,London W1T 3JH, UK

European Journal of TeacherEducationPublication details, including instructions forauthors and subscription information:http://www.tandfonline.com/loi/cete20

Validité des instruments dedécision pour l'évaluationdes enseignants?Haim H. Gaziel & Marc M. Wasserstein-WarnetPublished online: 01 Jul 2010.

To cite this article: Haim H. Gaziel & Marc M. Wasserstein-Warnet (2000) Validitédes instruments de décision pour l'évaluation des enseignants?, European Journalof Teacher Education, 23:2, 175-188, DOI: 10.1080/02619760020019755

To link to this article: http://dx.doi.org/10.1080/02619760020019755

PLEASE SCROLL DOWN FOR ARTICLE

Taylor & Francis makes every effort to ensure the accuracy of allthe information (the “Content”) contained in the publications on ourplatform. However, Taylor & Francis, our agents, and our licensorsmake no representations or warranties whatsoever as to the accuracy,completeness, or suitability for any purpose of the Content. Any opinionsand views expressed in this publication are the opinions and views ofthe authors, and are not the views of or endorsed by Taylor & Francis.The accuracy of the Content should not be relied upon and should beindependently verified with primary sources of information. Taylor andFrancis shall not be liable for any losses, actions, claims, proceedings,demands, costs, expenses, damages, and other liabilities whatsoeveror howsoever caused arising directly or indirectly in connection with, inrelation to or arising out of the use of the Content.

This article may be used for research, teaching, and private studypurposes. Any substantial or systematic reproduction, redistribution,reselling, loan, sub-licensing, systematic supply, or distribution in anyform to anyone is expressly forbidden. Terms & Conditions of access

and use can be found at http://www.tandfonline.com/page/terms-and-conditions

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

European Journal of Teacher Education, Vol. 23, No. 2, 2000

Validite des instruments de decision pour l’evaluationdes enseignants?

HAIM H. GAZIEL, & MARC M. WASSERSTEIN-WARNET

SUMMARY A review of the literature shows that the use of teacher evaluation in publiceducation is widespread. This seems paradoxical when one considers the amount of criticismlevied at them by a various groups. The present study was designed in order to deal with theproblems of validity and reliability of teacher evaluation instruments planned for the purposeof teachers’ promotion or for awarding merit pay. Based upon a review of the literature andschool inspectors’ judgements, a teacher evaluation instrument including 25 items has beenconstructed. The instrument has been tested by � ve school inspectors and 180 school principals.Following their judgements and the factor analysis run upon the data, a face validity and acontent validity of the developed instrument emerged. However, conclusions concerning thereliability of the instrument have to be treated with caution. The use of an instrument of thistype is justi� ed only for making preliminary decisions as to the eligibility of teachers for furtherconsideration for promotion or for merit pay.

RESUME L’analyse de la litterature professionnelle montre l’utilisation croissante dans lesetablissements publics des instruments d’evaluation des enseignants. Ceci parait paradoxal sil’on tient compte des critiques importantes formulees a leur encontre par des groupes differents.La presente etude traite des problemes de validite et de � abilite des instruments d’evaluation desenseignants pour les decisions de promotion et de remuneration “de merite”. Se fondant sur lalitterature professionnelle et sur les appreciations formulees par les inspecteurs scolaires, elle aelabore un instrument representatif d’evaluation des enseignants comportant 25 elements.L’instrument a ete teste aupres de 5 inspecteurs et de 180 directeurs d’ecole. Les resultatsrevelent que cet instrument possede une validite de contenu etablie sur la litterature profession-nelle, sur l’appreciation des inspecteurs scolaires et sur les resultats d’une analyse de facteursfondee sur les reponses des directeurs d’ecole au questionnaire propose. Toutefois, en ce quiconcerne la � abilite, les conclusions sont plus nuancees. L’utilisation d’instruments de ce typesemble uniquement ef� cace pour la determination preliminaire de ceux qui au sein desenseignants auraient droit ensuite a un examen plus precis de leurs merites en vue de promotionou de remunerations.

RESUMEN El analisis de la literatura profesional evidencia el uso creciente en los estableci-mientos publicos de instrumentos de evaluacion de los profesores. Esto podria parecer paradojicosi se tienen en cuenta las criticas importantes formuladas por diferentes grupos. El presente

ISSN 0261-9768 print; ISSN 1469-5928 online/00/020175-14Ó 2000 Association for Teacher Education in EuropeDOI: 10.1080/02619760020019755

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

176 Haim H. Gaziel & Marc M. Wasserstein-Warnet

estudio trata de los problemas de validez y de � abilidad de los instrumentsos de evaluacion delos profesores para las decisiones de promocion y de remuneracion “del merito”. Tomando comobase la literatura profesional y las apreciaciones formuladas por los inspectores escolares, se haelaborado un instrumento representativo de la evaluacion de los profesores que comporta 25elementos. El instrumento se sometio a prueba con 5 inspectores y 180 directores de escuela. Losresultados revelan que este instrumento representativo posee una validez de contenido estable-cida a partir de la literatura profesional, de la apreciacion de los inspectores escolares y de losresultados de un analisis de factores que se fundamenta en las respuestas al cuestionario dedirectores de escuela. Sin embargo, en lo que se re� ere a la � abilidad de contenido, lasconclusiones no son tan de� nidas. El uso de instrumentos de este tipo parece unicamente e� cazpara la determinacion preliminar de aquellos profesores que podrian tener derecho en una faseposterior, a pasar un examen mas preciso de sus meritos para una promocion o remuneracion.Sin embargo, dicho grupo de profesores una vez identi� cado, el instrumento no parece ser losu� cientemente � able para la decision de una promocion y convendria desarrollar enfoquescomplementarios.

ZUSAMMENFASSUNG Ein Uberblick uber die Fachliteratur zeigt, dass sich die VerwendungLehrerbewertungen immer mehr verbreitet, obwohl es paradoxalerweise von verschiedenenGruppen stark kritisiert wird. Die vorliegende Studie beschaftigt sich mit den Problemen derGultgkeit und Zuverlassigkeit von den Lehrerbewertungsmitteln, in Bezug auf die Be-forderungsentscheidungen und auf die Leistungsentlohnungen. Sie hat, gestutzt auf die Fach-literatur und auf die Ansichten der Schulraten, einen Bewertungssystem der Lehrer in 25Punkten entworfen. Dieses Bewertungssystem wurde von 25 Schulraten und von 180 Schuldi-rektoren gepruft. Ihre Ansichten, sowie die Faktorenanalyse der Daten, bestatigen dieGultigkeit dieses Instrumentes. Die Benutzung eines Instrumentes dieser Art sollte zu einerersten Entscheidung fuhren, dessen Inhalt nur die Berechtigung der Lehrer zur Beforderung,zur Leistungsentlohnung und zur weitere Untersuchung bein� ussen sollte.

Introduction

Suite a la necessite d’une amelioration de la qualite de l’enseignement scolaire et de sonef� cacite (Creemers et al., 1989), on constate une demande accrue de professeurs plusperformants et d’une meilleure “gestion” des classes (Brophy & Good, 1986). L‘ecoleen tant que structure instituee et stable (Hills, 1968) procurait aux enseignants lesentiment de la securite de l’emploi, et ils pensaient qu’ils n’etaient pas tenus de rendrecompte de la qualite de leur travail ni des resultats de leurs eleves (Broadfoot & Osborn,1987). Pour des motifs economiques, tels que les reductions des budgets publics,comme du fait des resultats insuf� sants de l’enseignement, le grand public en general,et les parents en particulier, ont modi� e les attentes qu’ils nourrissaient a l’egard del’ecole et ont formule des exigences plus etendues a l’egard des enseignants (Lindle,1989). Ce phenomene a ete accentue par les resultats de la recherche en sciences del’education qui con� rmaient l’hypothese selon laquelle “l’ef� cacite” scolaire dependaitde l’ef� cacite de l’activite des enseignants dans leurs classes (Mullens, 1996; Mezer &Teddlie, 1998). Ces exigences nouvelles ont suscite un sentiment de tension chez lesenseignants (Gugliemi & Tatrow, 1998). Les syndicats d’enseignants ont alors de-mande des compensations pour l’effort supplementaire exige des enseignants. Une desprocedures envisagees etait celle d’un systeme de remuneration au merite; c’est-a-dire,des primes speciales accordees aux enseignants selon la qualite de leur travail. Des lors,

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

Validite pour l’evaluation des enseignants? 177

se posait la question de savoir comment on allait evaluer cette qualite et etablir ainsiune distinction entre les enseignants “ef� caces” et ceux qui ne l’etaient pas, a� n dedecider lesquels bene� cieraient d’un supplement de remuneration ou de promotions.Comme le montrent Sergiovanni & Starratt (1988): “gagner ou perdre lors del’evaluation d’un enseignant n’est jamais une consequence objective; il s’agit toujoursdu produit du systeme d’evaluation que l’on a utilise” (ibid., p. 310). Si cela est vrai,quels sont les instruments dont on peut disposer pour une evaluation des enseignantsen rapport avec les decisions de promotion et de primes?

On cherchera, ici, a examiner dans quelle mesure les instruments habituelsd’evaluation des enseignants sont ef� caces pour permettre de determiner lequel desenseignants a droit a une retribution supplementaire. Cette etude cherche donc, enutilisant la theorie classique d’evaluation, a con� rmer la validite des criteres empiriquesqui temoignent de l’ef� cacite de certains des instruments d’evaluation des enseignantsen regard des hypotheses que les administrateurs scolaires considerent a priori commeimportantes. Cette etude tentera egalement de determiner si la structure factorielle desdonnees obtenues justi� e leur classi� cation en categories telles que celles que suggerela litterature professionnelle; et, plus particulierement, lesquels de ces ensembles decriteres designent le plus clairement les enseignants meritants.

Les etablissements scolaires ont toujours pratique une evaluation systematique dutravail de leurs personnels. La litterature professionnelle montre qu’une grande major-ite des structures de l’enseignement possedent un ensemble de procedures (y inclus lesinstruments d’evaluation) pour une appreciation du travail des enseignants (Hyman,1986; Bottin, 1991). Notre etude met en lumiere plus particulierement l’utilisationfrequente des instruments d’evaluation par l’encadrement et, notamment, par lesresponsables des etablissements (Peterson & Comeaux, 1990).

Les instruments d’evaluation des enseignants ont ete contestes du fait de leurincapacite a faire la preuve de leur validite et de leur � abilite (Medley & Coker, 1987).En fait, la seule chose dont les instruments d’evaluation des enseignants peuvent faireetat en leur faveur est le fait meme qu’ils sont admis comme tels. Ceci s’explique parle fait qu’ils sont souvent elabores par les membres de la structure scolaire qui lesutilise.

En vue d’une evaluation des enseignants qui permettrait l’octroi de promotions oude primes, cet instrument devrait mettre en oeuvre les criteres de mesure qui perme-ttent une evaluation precise et � able pour le choix des enseignants qui pourraient ypretendre. En vue de ce type de decision, on doit mettre en oeuvre des principesd’elaboration des instruments comparables a ceux que l’on met en oeuvre dans latheorie des tests a references normatives; ce qui signi� e que les instrumentsd’evaluation des enseignants soient concus de maniere a procurer une differenciationoptimale des enseignants. La capacite a faire ce type de differenciation releve de laquestion de la � abilite. Quant a la validite—qui, elle, releve de la question de la capacited’un instrument a mesurer les differentes caracteristiques qu’il est cense evaluer—laplupart des instruments en usage actuellement appuient leur revendication de validitesur le contenu des elements qui les constituent. On fait rarement l’effort de comparerles resultats des evaluations d’enseignants avec les criteres utilises a l’exterieur desetablissements (Darling-Hammond et al., 1983).

Pour ce qui est des inspecteurs scolaires en Israel, lorsqu’on les interroge sur leursinstruments d’evaluation, ils reconnaissent que, a leur connaissance, les echellesd’evaluation des enseignants ne prennent jamais en compte des criteres externes achacun de leurs etablissements.

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

178 Haim H. Gaziel & Marc M. Wasserstein-Warnet

Les trois phenomenes suivants nous ont conduit a proceder a un examen de lavaleur reelle des instruments d’evaluation:

(a) une � abilite et une validite contestees;(b) une large utilisation dans l’enseignement public;(c) l’importance croissante qu’on leur attribue pour la prise de decision

quant aux promotions ou quant a l’octroi de remunerations supplementaires auxenseignants.

Selon une telle logique, la preoccupation essentielle de cet examen est d’evaluerl’ef� cacite des instruments couramment utilises pour la determination de la qualited’un enseignant et le droit qui en decoulerait pour lui d’obtenir un supplement deremuneration. Dans cette perspective, notre etude est focalisee sur les sujets derecherche suivants:

1. Quels sont les composantes d’un instrument “type” susceptibles de mesurerl’ef� cacite d’un enseignant?

2. La validite apparente des composantes d’un instrument-type s’appuie-t-elle surune infrastructure factorielle explicitee?

3. Dans quelle mesure certaines composantes d’un “instrument-type” accomplis-sent-elles correctement leur fonction d’identi� cation des enseignants“meritants”?

4. Quelles sont les composantes d’un instrument-type donne qui permettraient dedistinguer de la maniere la plus optimale, les enseignants meritants de ceux quine le sont pas?

Methode

Un instrument d’evaluation des enseignants comportant 25 elements a ete elabore surla base de la litterature professionnelle qui, sur cette question, fait usage d’uneprocedure de recherche en ligne. Il a ete presente a cinq inspecteurs scolaires pourevaluation. Ceux-ci ont ete pries de classer chacun de ces elements selon son import-ance pour l’appreciation des enseignants. Ceux de ces elements qui avaient obtenul’assentiment de quatre sur cinq de ces inspecteurs ont ete inclus dans l’instrument quia ete presente ensuite a 180 directeurs d’ecole primaire (30 directeurs pour chacune dessix regions administratives du pays) a qui il avait ete demande de proceder auxoperations suivantes:

1. Classer chacun des elements selon son degre d’importance pour leur fonctiond’evaluation des enseignants.

2.Designer et classer un enseignant “ef� cace” et qui pourrait, de ce fait, pretendrea une remuneration au merite.

3.Designer et classer un enseignant “non ef� cace” et qui ne devrait donc paspouvoir pretendre a une remuneration au merite.

Apres un premier envoi des questionnaires, suivi ensuite d’un rappel, le taux dereponse avait ete de 65%; c’est-a-dire que 65% des elements d’enquete etaient utilis-ables et pouvaient etre inclus dans les analyses des donnees obtenues. Ces analysesdevaient mettre en œuvre une analyse des facteurs a rotation varimax, a� n de controlersi la structure a priori des elements d’un instrument-type elabore sur la base de la

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

Validite pour l’evaluation des enseignants? 179

litterature professionnelle comporte la presence d’une structure factorielle implicite.Des indices de differenciation (la correlation element/resultat total) ont ete utilises pourattribuer leur place respective aux criteres effectifs d’evaluation affectes aux enseignantsqu’ils designaient comme “meritants”. Ensuite, un coef� cient de correlation de classe-ment (Spearman Rho) a ete calcule pour determiner s’il existait une relationsigni� cative entre les deux. A� n de determiner lesquels de ces elements etablissaient ladistinction la plus claire entre enseignants “meritants” et “non meritants”, on a utilisele test Khi2.

Resultats

La premiere question que posait notre etude etait de savoir quels types d’elements seretrouveraient dans un instrument-type donne, procure par l’analyse de la litteratureprofessionnelle et cense mesurer l’ef� cacite d’un enseignant. L’examen de cesrecherches a fait apparatire un inventaire de 25 elements utilisables pour l’evaluation del’ef� cacite des enseignants. Ces elements ont ete presentes a trois inspecteurs scolairesgeneraux a� n que ceux-ci les classent en categories distinctes. Ils les ont classes en cinqgrandes categories de comportement des enseignants generalement utilisees dans lesinstruments d’evaluation. Ces cinq categories etaient: la pratique pedagogique, lagestion de la classe, les relations interpersonnelles, les responsabilites professionnelles etles caracteristiques personnelles. Ces elements ont ete choisis pour chacune de cescategories et les jugements formules par les inspecteurs scolaires constituent la base deleur prise en compte. La correlation entre les facteurs d’appreciation etiat r 5 0,87. Les25 elements sont presentes au Tableau I; les categories auxquelles chacun d’entre euxappartient sont presentees au Tableau II.

La deuxieme question se posait en rapport avec la structure factorielle de ceux deselements de l’instrument qui auraient ete valides par les inspecteurs scolaires. Uneanalyse factorielle des donnees collectees d’apres les reponses fournies par les directeursd’etablissements a procure trois facteurs qui expliquent 57% des distortions del’instrument. Ces facteurs ont ete classes en categories distinctes comme suit:

Facteur I: Comportement a l’egard des eleves (14 elements); se rapporte, essentielle-ment, au comportement pedagogique de l’enseignant et aux relations interpersonnellesavec les eleves. Les elements factoriels et leur poids factoriel sont les suivants: element1 (0, 723); element 2 (0,804); element 3 (0,844); element 7 (0,523); element 8 (0,677);element 9 (0,830); element 13 (0,724); element 14 (0,573); element 15 (0,611);element 16 (0.835); element 18 (0,529); element 21 (0,473); element 23 (0.541)element 25 (0,639).Facteur II: Collaboration intra-etablissement (6 element); facteuraxe sur les capacites de l’enseignant a collaborer avec ses colleues et a prendre encompte les besoins de l’administration (ou autres) de l’etablissement. La “citoyennetede l’enseignant” entre pour une certaine part dans ce facteur. Les elements du facteurII et leur poids factoriel sont les suivants: element 10 (0,665); element 12 (0,474);element 17 (0,677); element 19 (0.545), element 20 (0,751); element 24 (0,679).Facteur III: Attitudes professionnelles (5 elements); se rapporte aux comporte-ments plus diffus de l’enseignant, dont certains sont marginaux de sa fonction peda-gogique, tels que l’appartenance a des organisations professionnelles. Les elements dufacteur III et leur poids sont les suivants: element 4 (0,675); element 5 (0,651); element6 (0.511) element 11 (0,678); element 22 (0,562).

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

180 Haim H. Gaziel & Marc M. Wasserstein-Warnet

TABLEAU I. Elements des instruments d’evaluation des enseignants

Element: l’enseignant qui

1. Encourage ses eleves a une participation active a l’etude2. Manifeste coherence, equite et impartialite dans son appreciation de ses

eleves3. Motive ses eleves4. Explique le rapport entre sa pratique d’enseignant et le but recherche pour

ses cours5. Utilise la bibliotheque, les medias, ses eleves et ses collegues de la

structure scolaires comme facteurs de sa pratique d’enseignant6. S’habille professionnellement7. Aide ses eleves a de� nir leurs objecti� s de travail8. Manifeste responsabilite et � abilite9. Manifeste respect, consideration et impartialite a l’egard de tous ses

eleves10. Manifeste sa volonte de cooperer aves ses collegues11. Aide ses eleves a evaluer leurs progres12. Manifeste une attitude positive dans ses rapports avec les parents13. Manifeste enthousiasme, initiative et inventivite14. Aide ses eleves a arriver a l’autonomie et au controle de soi15. Pratique un hebreu correct, aussi bien oral qu’ecrit16. Maintient une discipline coherente et constante17. Procure aux instances scolaires, locales et regionales les donnees

completes et precises necessaires a la gestion de l’etablissement18. Encourage la re� exion creatrice19. Utilise des methodes variees d’evaluation des resultats de ses eleves20. Assume des responsabilites et des taches supplementaires21. Veille au maintien d’un environment scolaire amical et comprehensif;22. Est membre d’une organisation professionnelle23. Utilise des methodes elaborees avec soin et ef� caces;24. Respecte les politiques et les reglements scolaires25. Facilite les bons resultats de ses eleves en veillant a prendre en compte

leurs differences individuelles

La comparaison de l’attribution de ces elements a des categories inspirees de lalitterature professionnelle et con� rmees par les inspecteurs scolaires montre que les 14elements du facteur du comportement a l’egard des eleves peuvent tous se trouveregalement dans la categorie des “pratiques pedagogiques” ou dans celle de “gestion dela classe”, ou encore dans celle des “relations interpersonnelles”. Trois des six elementsinclus dans le deuxieme facteur: celui de la collaboration intra-etablissement peuvent setrouver egalement dans la categorie des “responsabilities professionnelles”, alors quel’un des elements des “attitudes professionnelles” se retrouve dans la categorie des“caracteristiques personnelles”.

De ces donnees, on pourrait conclure que la structure categorielle obtenue par lemoyen d’une analyse des facteurs serait du meme ordre que la structure obtenue sur labase de la litterature professionnelle. Ce qui reviendrait a dire que, en ce qui concerneles instruments habituels d’evaluation des enseignants, les categories qui servent a cetteevaluation sont, d’une maniere generale, correctement representees par les elementsutilises pour la mesure d’une categorie donnee. Cependant, cela ne signi� e pas quel’instrument est suf� samment � able pour l’identi� cation des enseignants “ef� caces”; et

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

Validite pour l’evaluation des enseignants? 181

TABLEAU II. Elements des instruments d’evaluation des enseignants classespar categorie

Categorie pratiques pedagogiques

2. Manifeste coherence, equite et impartialite dans son appreciation de seseleves

4. Explique le rapport entre sa pratique d’enseignant et le but recherchepour ses cours

5. Utilise la bibliotheque, les medias, ses eleves et ses collegues de lastructure scolaires comme facteurs de sa pratique d’enseignant

11. Aide ses eleves a evaluer leurs progres18. Encourage la re� exion creatrice19. Utilise des methodes variees d’evaluation des resultats de ses eleves23. Utilise des methodes elaborees avec soin et ef� caces25. Facilite les bons resultats de ses eleves en veillant a prendre en compte

leurs differences individuelles

Categorie “gestion de classe”.3. Motive ses eleves7. Aide ses eleves a de� nir leurs objectifs de travail

11. Aide ses eleves a evaluer leurs progres14. Aide ses eleves a arriver a l’autonomie et au controle de soi16. Maintient une discipline coherente et constante23. Utilise des methodes elaborees avec soin et ef� caces

Categorie “relations interpersonnelles”1. Encourage ses eleves a une participation active a l’etude9. Manifeste respect, consideration et impartialite a l’egard de tous ses eleves

10. Manifeste sa volonte de cooperer aves ses collegues12. Manifeste une attitude positive dans ses rapports avec les parents21. Veille au maintien d’un environnement scolaire amical et comprehensif

Categorie “responsabilites professionnelle”17. Procure aux instances scolaires, locales et regionales les donnees

completes et precises necessaires a la gestion de l’etablissement20. Assume des responsabilites et des taches supplementaires;22. Est membre d’une organisation professionnelle24. Respecte les politiques et les reglements scolaires

Categorie “caracteristiques personnelles”6. S’habille professionnellement8. Manifeste responsabilitie et � abilite

13. Manifeste enthousiasme, initiative et inventivite15. Pratique un hebreu correct, aussi bien oral qu’ecrit

c’est la une question qu’on examinera maintenant et dont les resultats sont rapportesau Tableau III.

Le Tableau III montre que les ensembles de donnees qui ont ete utilisees pourtenter de de� nir les elements susceptibles d’identi� er les enseignants ef� caces sontconstitues, d’une part, par la classi� cation par degres d’importance a priori attribuesaux 25 elements par les directeurs d’ecole et, d’autre part, par le classement obtenupour une evaluation des enseignants que leurs directeurs signalaient effectivementcomme meritant promotions ou primes. La valeur moyenne de ces elements a servi adesigner la place des fonctions de valeur a priori designees par les directeurs d’ecole. Lesindices de differenciation (correlation element/resultat total) ont ete utilises pour le

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

182 Haim H. Gaziel & Marc M. Wasserstein-Warnet

TABLEAU III. Comparaison de l’importance a priori et de l’importance effective deselements d’evaluation des enseignants

Importance aprioriImportance effective element/resultat total

Element Classement Moyenne classement correlation

1 5 4,86 18 0,462 4 4,88 16 0,463 1 4,91 5 0,564 20 4,38 14 0,515 21 4,31 8 0,546 24 3,85 15 0,507 14 4,60 9 0,548 6 4,83 25 0,249 2 4,30 24 0,25

10 19 4,44 23 0,3911 18 4,49 4 0,5712 15 4,58 11 0,5213 7 4,82 21 0,4214 13 4,68 1 0,6615 9 4,75 20 0,4316 3 4,89 12 0,5117 22 4,30 22 0,4118 12 4,69 6 0,5519 16 4,52 3 0,5720 23 4,23 17 0,4621 8 4,78 10 0,5322 25 3,35 19 0,4423 10 4,74 7 0,5524 17 4,51 13 0,5125 11 4,70 2 0,61

classement des evaluations que les directeurs accordent aux enseignants qu’ils consider-ent effectivement comme “meritants”.

On a etabli un coef� cient de correlation de classement par place (Spearman Rho)pour determiner s’il existe une relation signi� cative entre eux. On en a deduit que, dupoint de vue de la presente etude, l’importance a priori des elements utilises pourl’evaluation des enseignants, telle qu’elle est percue par les directeurs d’ecole est sansrelation (r 5 0,02) avec l’importance (telle qu’elle a ete de� nie par les coef� cients decorrelation element/resultat total) que ces elements avaient lors de la designationeffective des enseignants comme “meritants”. Toutefois, la question qui restait ensuspens etait de savoir lesquels des elements des instruments-types etablissaient ladifferenciation optimale entre enseignants “meritants” (consideres comme tels effec-tivement) et “non meritants” (consideres comme moins “ef� caces”).

On souhaite donc voir si les elements consideres ici sont aptes a etablir unedistinction � able entre des enseignants consideres comme “meritants” et d’autres quin’etaient pas consideres comme “meritants”.

On se souviendra, a ce stade, que les directeurs d’ecole a qui on a demande d’etablirun classement a priori de l’importance des elements d’evaluation et de choisir et noterun enseignant qu’ils estimeraient meriter une “remuneration de merite”, etaient cens-eses egalement reperer et noter un enseignant dont ils estimeraient qu’il ne serait pas

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

Validite pour l’evaluation des enseignants? 183

TABLEAU IV. Valeur movenne effective conferee par les directeurs d’ecole primaire pourles 25 elements de l’instrument d’evaluation des enseignants

Valeur movenne Valeur moyenne effective Valeur moyenne effectiveElement a priori enseignants “meritants” enseignants “non meritants”

1 4,86 4,83 2,922 4,88 4,87 2,973 4,91 4,84 2,504 4,38 4,41 2,555 4,31 4,30 2,926 3,85 4,43 3,517 4,60 4,61 2,578 4,83 4,91 3,149 4,30 4,31 2,85

10 4,44 4,70 3,2311 4,49 4,45 2,6612 4,58 4,77 2,8013 4,82 4,85 2,4814 4,68 4,72 2,5415 4,75 4,83 3,6716 4,89 4,88 2,7117 4,30 4,69 3,3818 4,69 4,62 2,4419 4,52 4,70 2,7220 4,23 4,73 3,0121 4,78 4,86 2,7722 3,35 3,97 3,4423 4,74 4,78 2,5624 4,51 4,81 3,3825 4,70 4,69 2,41

en droit d’en bene� cier. Les valeurs moyennes des classements de ces trois groupes sontpresentees dans le Tableau IV.

Le Tableau IV indique que, selon l’analyse du test Khi2 de tous les elements inclusdans l’instrument, des differences signi� catives (en faveur des enseignants “meritants”)se retrouveront entre les enseignants designes par les directeurs d’ecole comme“meritants” et “non meritants”.

Discussion

Une grande partie de la litterature professionnelle presente une critique des instrumentsd’evaluation des enseignants a qui ils reprochent leur incapacite a faire la preuve de leurvalidite et de leur � abilite (Murnane & Cohen, 1985).

La presente etude elabore un instrument representatif d’evaluation des enseignantset en fait l’epreuve en rapport avec les criteres proposes ci-dessus. Cet instrumentpossede une validite de contenu etablie sur la litterature professionnelle, surl’appreciation des inspecteurs scolaires et sur les resultats d’une analyse de facteurspratiquee sur les reponses des directeurs d’ecole au questionnaire propose.

Pour ce qui est de la � abilite, les conclusions ne sont pas parfaitement nettes. Eneffet, les elements de cet instrument sont aptes a faire la distinction entre les en-seignants juges meritants par leur directeurs et les enseignants que ceux-ci considerentcomme “non meritants”. Toutefois, lorsqu’il faut decider qui du groupe des

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

184 Haim H. Gaziel & Marc M. Wasserstein-Warnet

“meritants” bene� cierait effectivement d’une promotion ou d’un supplement de re-muneration, des dif� cultes se presentent. Elles peuvent cependant trouver une solutiongrace a la theorie du test a references normatives (Thorndike & Hagen, 1969).

Conformement a cette theorie, deux indices couramment utilises procurent uneinformation de caractere technique sur la qualite de chacun des elements du test: cesont “l’indice de dif� culte” et “l’indice de differenciation”. L’indice de dif� culteindique la proportion du nombre de sujets ayant obtenu une appreciation positivedivise par le nombre total des sujets soumis au test. Un indice eleve (par ex., 0,90)serait la marque d’un element “facile”. L’indice de differenciation est la mesure de lacapacite des elements d’un test a etablir une distinction entre des sujets a note haute oubasse. Il est souvent considere comme un coef� cient de correlation et sa valeur peutvarier entre-let 1 1; etant, de cette maniere, un indice de differenciation parfait. Larelation entre ces deux indices est telle que les differenciations sont renforcees par deselements dont l’indice de dif� culte equivaut a 0,50; en consequence, les elements quicomportent une tres haute (ou tres basse) dif� culte n’ont pas une capacite tres eleveede differenciation.

La susdite theorie est adequate quant a la question que notre etude examine;c’est-a-dire pour l’identi� cation des enseignants “meritants”. Autrement dit, les ele-ments des instruments d’evaluation des enseignants candidats a la remuneration demerite doivent avoir les memes caracteristiques que les elements des tests normalises.On peut illustrer cette idee par un exemple. Imaginons une structure scolaire quin’aurait que deux enseignants: l’enseignant A et l’enseignant B. Considerons ensuiteque deux categories d’elements seulement soient prises en compte: le “savoir” (maitrisede la matiere enseignee) et la “gestion de classe”. Admettons en outre qu’il s’agitd’evaluer chacune de ces deux categories de l’instrument d’evaluation dans la pro-cedure d’evaluation du “merite”, et que l’on attribue au “savoir” comme a la “gestion”une note de 50 sur une echelle d’evaluation de 100. L’enseignant qui, au bout ducompte, obtient la meilleure note sera considere comme “meritant”. On suppose alorsque les deux enseignants obtiennent 50 pour leur maitrise des matieres enseignees (lesavoir), mais que l’enseignant A obtient 50 points pour sa gestion de classe, alors quel’enseignant B obtient une note 0. De l’exemple ci-dessus, on voit que pour ladetermination de celui qui est un enseignant “meritant”, le savoir n’a procure aucunedonnee qui ait contribue a cette decision; les seules differences entre les deux en-seignants decoulent de leurs capacites de gestion de la classe; et cette situation simples’appuie sur les criteres de la theorie du test a references normatives. Ceci pose doncque des elements du test tres faciles (ou tres dif� ciles) n’apportent pas grand chosepour la differenciation entre enseignants “meritants” et enseignants “non meritants”, ilsne devraient donc pas etre utilises. En effect, ils deforment les tests et donnetl’impression qu’ils ont des qualites qui n’existent pas en realite. On voit, par analogie,que dans notre exemple, l’element “tres facile” du “savoir” est sans effet pour ladetermination de qui est “meritant” ou “non meritant”. La seule base de decision restecomment chacun des enseignants est note pour l’element de gestion de la classe.

De meme, les resultats de la presente etude montrent que la relation entre leselements effectivement de� nis comme importants et ceux dont on pensait a priori qu’ilsl’etaient est quasiment nulle (r 5 0,02). II semble que ces resultats soient dus, enpartie, a une valeur tronquee des elements en cause; et dans une telle situation, il estextrement dif� cile de prendre des decisions � ables. Le groupe meritant est si homogeneque les instruments traditionnels de mesure de qualite utilises par les etablissementsscolaires est probablement sans valeur. Une telle situation est semblable aux dif� cultes

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

Validite pour l’evaluation des enseignants? 185

qui surgissent parfois pour les tests a reference normative; ce qui revient a dire que leselements dotes d’indices de dif� culte eleves ou bas sont inef� caces pour l’identi� cationdes sujets. Si tous les sujets etaient d’une qualite exceptionnellement elevee, et si tousles elements etaient extremement faciles (comme le suggere la situation actuelle desenseignants consideres comme “meritants”), notre capacite a prendre des decisionsconcretes serait rendue doublement precaire.

En outre, si on se refere a d’autres donnees du Tableau IV, et si on les examine d’unautre point de vue, la question qui se poserait serait: sur quel element particulier del’instrument-type peut-on deceler des differences signi� catives entre les valeursd’importance a priori conferees aux elements des tableaux par les directeurs d’ecole etles valeurs qu’ils attribuent effectivement aux enseignants qu’ils estiment etre“meritants”? Les tests Khi2 appliques dans ce sens a chacun des 25 elements del’instrument d’evaluation des enseignants montrent que des differences statistiquementsigni� catives n’apparaissent que pour six de ces elements.

Ces elements ainsi que leur valeur a priori et leur valeur effectivement attribueeetaient les suivants:

· pour l’element 6: “s’habille professionnellement”, la valeur moyenne a priori etaitde 3,85, la valeur moyenne effective etant de 4,43;

· pour l’element 10: “manifeste sa volonte de cooperer aves ses collegues”, la valeurmoyenne a priori est de 4,44, la valeur moyenne effective etant de 4,70;

· pour l’element 17: “procure aux instances scolaires, locales et regionales lesdonnees completes et precises necessaires a la gestion de l’etablissement”, lavaleur moyenne a priori est de 4,30, pour une valeur moyenne effective de 4,69;

· pour l’element 20: “assume des responsibilites et des taches supplementaires”, lavaleur moyenne a priori est de 4,23 pour une valeur moyenne effective de 4,73;

· pour l’element 22: “est membre d’organisations professionnelles”, la valeurmoyenne a priori est de 3,35 pour une valeur moyenne effective de 3,97;

· pour l’element 24: “se conforme aux politiques et aux reglements scolaires”, lavaleur moyenne a priori est de 4,51 pour une valeur moyenne effective de 4,81.

Un examen attentif de ces resultats procure quelques donnees interessantes. D’abord,aucun de ces elements n’a ete inclus dans la categorie des rapports avec les eleves quel’analyse factorielle avait mise en valeur; tous se rapportent au facteur de collaborationentre collegues dans les etablissements scolaires (elements 10, 17, 20 et 24) ou auxattitudes professionnelles (6, 22). Cinq des six elements faisaient partie de la categoriedes “responsabilites professionnelles” ou de celle des “caracteristiques personnelles”,categories utilisees initialement sur la base de l’analyse de la litterature professionnelle.Un seul de ces elements (l’element 10) se rapporte aux relations interpersonnelles et neconcerne que la collaboration avec les collegues, non les rapports avec les eleves. Onpourrait ainsi en deduire que l’enseignant “meritant” est celui qui manifeste descaracteristiques qui sont pourtant sans rapport avec le travail de l’enseignant avec seseleves. Ce qui semble compter reellement et c’est le fond de la question—est la“citoyennete” et le comportement professionnel. Outre que le degre d’importance apriori attribue aux six elements retenus par les directeurs d’ecole etait tres bas (l’element6, par exemple, etait note en 24eme position), alors que, lorsqu’ils notaient effective-ment leurs enseignants qu’ils consideraient comme “meritants”, les six elements ci-dessus etaient classes a un niveau bien superieur.

On s’est donc interroge, ici, sur la raison de ces divergences. Il semble en effectincongru que des caracteristiques peu appreciees des enseignants prennent une telle

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

186 Haim H. Gaziel & Marc M. Wasserstein-Warnet

importance. Une des raisons pourraient en etre que le fonctionnement des elementspeu importants peut etre suivi facilement. On constate en effet aisement qu’un en-seignant appartient a une organisation professionnelle ou s’habille de maniere profes-sionnelle; alors que sa facon d’encourager ses eleves, de les motiver pour une partici-pation active est moins aisee a apprecier. En outre, il est sans doute tres dif� ciled’evaluer le degre exact ou les enseignants “meritants” se distinguent l’un de l’autre surdes points de cet order.

Il est facile d’apprecier ce qu’on observe aisement, alors que ces observations sontsouvent sans importance reelle pour une appreciation du merite d’un enseignant. C’estce que montrent les constats de la recherche anterieure (Cohen & Murnane, 1985;Conley & Bacharach, 1990).

Resume et Conclusions

Notre etude de la litterature professionnelle montre que les etablissements del’enseignement public utilisent souvent des instruments d’evaluation des enseignants.

Ceci parait paradoxal si l’on tient compte des critiques importantes formulees a leurencontre par differents groupes et notamment les chercheurs et les defenseurs desenseignants. On leur reproche frequemment d’etre inadequats et inef� caces, notam-ment quant aux facteurs psychometriques de validite et de � abilite (Peterson et al.,1985).

La presente etude porte sur les questions de la validite et de la � abilite desinstruments d’evaluation des enseignants pour les decisions de promotion et de re-muneration “de merite”. Se fondant sur la litterature professionnelle et sur les appreci-ations formulees par les inspecteurs scolaires, elle a elabore un instrument representatifd’evaluation des enseignants et en a fait une analyse factorielle a� n d’en examiner lavalidite de contenu. Cette analyse montre que ce sont les qualites qu’on attribue aucomportement de l’enseignant vis-a-vis de ses eleves (comportement pedagogique,attitudes, relations interpersonnelles); a son aptitude a la collaboration et a procurer desreponses adequates aux besoins de l’administration de l’etablissement; a son comporte-ment professionnel, tous criteres qui sont les elements veritablement signi� catifs de cetinstrument. Dans la mesure ou il les met en lumiere effectivement, il peut etreconsidere comme vehiculant une valeur de contenu. En extrapolant ces constatations,on dira ici que les structures scolaires peuvent elaborer des instruments qui, au moinsa premiere vue, sont valides. Toutefois, rien dans notre recherche n’a procure de preuvede la validite de tels instruments pour l’identi� cation des enseignants dont les eleves ontobtenu des resultats de haut niveau.

D’une part, ces constatations suggerent que les instruments elabores pour cetteetude pourraient etre valides pour la differenciation des enseignants “meritants” et“non meritants”. On a demande aux directeurs d’ecole de noter selon cet instrumentun enseignant a qui ils proposeraient d’accorder une promotion ou un supplement deremuneration, ainsi qu’un enseignant pour lequel ils s’abstiendraient de le faire. Lavaleur moyenne attribuee aux 25 elements du Tableau IV varie fortement entre cesdeux categories d’enseignants; de sorte que les etablissements semblent en droitd’utiliser des instruments d’evaluation pour la determination preliminaire de ceux deleurs enseignants qui auraient droit ensuite a un examen plus precis de leurs merites envue de leur promotion ou de remunerations. Ceci est une conclusion inedite puisqued’autres chercheurs qui ont etudie l’evaluation des enseignants n’ont pas proposel’usage d’instruments d’evaluation des enseignants a cet effet. D’autre part, une fois

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

Validite pour l’evaluation des enseignants? 187

qu’un groupe d’enseignants “meritants” a ete determine, la validite d’un typed’instrument elabore pour leur recherche qui irait au-dela de ce premier objectif estcontestable. On estime, ici, qu’il ne serait pas suf� samment � able pour ce type dedecision et on proposera des approaches complementaires, outre les donnees procureespar les instruments d’evaluation des enseignants, pour determiner ceux des enseignantsqui, pris en compte pour une eventuelle retribution de merite, l’obtiendraient effective-ment.

Correspondence: Haim H. Graziel and M. M. Wasserstein-Warnet Bar-Ilan UniversitySchool of Education Ramat-Gan 52900 Israel E-mail: , gazielh@mail.bin.ac.il . and, warnet@mail.biu.ac.il .

BIBLIOGRAPHIE

BOTTIN, J. (1991) Etudes des pratiques d’evaluation des professeurs en classe de troisieme etde seconde, Rapport sur IGEN, Paris, Ministere de L’Education.

BROADFOOT, P. & OSBORN, M. (1987) Teachers’ conceptions of their professionalresponsabilities: some international comparisons, Comparative Education, 23, pp.287–301.

BROPHY, J.E. & GOOD, T.E. (1986) Teachers’ behavior and student achievement, in:M.C. WITTROCK (Ed.) Handbook of Research on Teaching (New York, Mc GrawHill) pp. 328–375.

COHEN, D. & MURNANE, R.J. (1985) The merits of merit pay, Institute of Research onEducational Finance and Governance, Standford University.

CONLEY, S.C. & BACHARACH, S.B. (1990) Performance appraisal: a strategic consider-ation, Journal of Personnel Evaluation in Education, (3), pp. 309–319.

CREEMERS, B., PETERS, T.E. & REYNOLDS, D. (1989) School Effectiveness and SchoolImprovement (Amsterdam, Swets & Zeitlinger).

DARLING – HAMMOND L., WISE, E.A. & PEACE, R.S. (1983) Teachers’ evaluation in theorganizational context: a review of the literature, Review of Educational Research,53, pp. 285–328.

GUGLIEMI, S.R. & TATROW, K. (1998) Occupational stress, burnout and health inteachers: a methodological and theoretical analysis, Review of Educational Research,68, pp. 61–99.

HILLS, J.C. (1968) Organization in education, in: Toward a Science of Organis-ation,(Eugene, University of Oregon, The center for advanced study of educationaladministration).

HYMAN, R.T. (1986) School Administration’s Faculty: a supervision handbook (EnglewoodCliffs NJ, Pientice Hall).

LINDLE, J.C. (1989) What do parents want from principals and teachers? EducationalLeadership, 47, pp. 12–14.

MEDLEY, D. & COKER, H. (1987) How valid are principals’ judgments of teachereffectiveness, Phi Delta Kappa, 19, pp. 138–140.

MEZER, Y.E. & TEDDLIE, C.H. (1998) An examination of differential teacher effective-ness in two restructuring schools, Paper presented at the annual meeting of theAERA, Sandiego.

MULLENS J. (1996) Student learning, teaching quality and professional development: thetheoretical linkages and current measurement, (Washington D.C., U.S. Department ofEducation).

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3

188 Haim H. Gaziel & Marc M. Wasserstein-Warnet

MURNANE, R. & COHEN, D. (1985) Why most merit plans fail and a few survive?Harvard Educational Review, 56, pp. 1–17.

PETERSON, P.L. & COMEAUX, M. Evaluating the systems: teachers’ perspectives onteacher evaluation, Educational Evaluation and Policy analysis, 12, pp. 3–24.

PETERSON, D., MICCERI, T.H. & SMITH, O.B. (1985) Measurement of teacher perform-ance: a study in instrument development, Teaching and Teacher Education, 1, pp.63–67.

SERGIOVANNI, T.H. & STARRAT, R.J. (1998) Supervision Human Perspectives (New York,McGraw-Hill).

THORNDIKE, R.L. & HAGEN, E.T. (1969) Measurement and Evaluation in Psychology andEducation (New York, Wiley).

Dow

nloa

ded

by [

Uni

vers

ity o

f C

alga

ry]

at 0

5:12

04

Oct

ober

201

3