MÉMOIRES - Portail francophone de la Recherche en ... · observés aux épreuves de lecture en fin de 2e cycle et en fin de 4e cycle. Tableau 1 : Description des résultats obtenus

MÉMOIRES

Comment expliquer la variabilité des performances en lecture des élèves

de deuxième et de sixième années primaires ? Exploitation des épreuves externes organisées par l'Inspection de l'Enseignement

communal liégeois

Lectures obligatoires en première secondaire. Programmes officiels et pratiques enseignantes

La participation verbale à l'école maternelle : Analyse des

interactions "institutrice-enfants"

De la non-objectivité du jugement professoral en matière d'évaluation

des performances des élèves

Le chef-d'œuvre, évaluation valorisante

Cahiers du Service de Pédagogie expérimentale - Université de Liège - 11-12/2002 65

Comment expliquer la variabilité des performances en lecture des élèves de deuxième et de sixième années primaires ?

COMMENT EXPLIQUER LA VARIABILITÉ DES PERFORMANCES EN LECTURE DES ÉLÈVES DE DEUXIÈME ET DE SIXIÈME ANNÉES PRIMAIRES ? Exploitation des données résultant des épreuves externes organisées en 2000 et en 2001 par l'Inspection de l'Enseignement communal liégeois.

Christophe Dierendonck Résumé

Cet article présente et résume les constats d’une recherche1 menée dans le cadre d’un mémoire de Licence en Sciences de l’Education réalisé dans l’enseignement communal liégeois. Ce mémoire a tenté de répondre à quatre questions principales :

1. Comment les élèves de deuxième et de sixième années primaires maîtrisent-ils les compétences de base en lecture ?

2. Existe-t-il des écoles, des implantations2 ou des classes plus efficaces que d’autres en lecture ?

3. Les résultats des élèves sont-ils différents en fonction de l’évaluation considérée ?

4. Comment expliquer les différences de rendement en lecture ?

1 Année de référence : 2000-2001. Population : 40 écoles primaires (50 implantations), 70 classes de deuxième année et 58 classes de

sixième année. Méthodologie : - Analyse des performances en lecture observées aux épreuves de fin de cycle organisées

par l’Inspection de l’enseignement communal liégeois. - Recueil par questionnaire d’informations relatives aux pratiques pédagogiques et aux

caractéristiques des écoles, des classes et des élèves. Participation à l’étude : - Plus de 90 % des classes de deuxième et de sixième années pour l’analyse des

performances en lecture. - 88 % des questionnaires envoyés aux directions. - 60 % des questionnaires envoyés aux enseignants de deuxième année. - 71 % des questionnaires envoyés aux enseignants de sixième année. 2 Selon le décret du 13 juillet 1998, le terme « implantation » désigne un bâtiment ou un ensemble de

bâtiments scolaires situé(s) à une seule adresse où l'on dispense de l'enseignement maternel et/ou primaire.

66 Cahiers du Service de Pédagogie expérimentale - Université de Liège - 11-12/2002


1. Comment les élèves de deuxième et de sixième années primaires maîtrisent-ils les compétences de base en lecture ?

a) Les instruments d’évaluation

Contexte d’élaboration

Dès 1991, l’Inspection de l’Enseignement communal de la ville de Liège a pris l’initiative d’organiser, avec les moyens limités qui sont les siens, une évaluation « externe »1 des connaissances et des compétences des élèves en français et en mathématique à la fin de chaque cycle2. En 2000-2001, ces épreuves ont été construites par des équipes de directeurs et de directrices dans le

1 Dans le cadre qui nous occupe, le terme

« externe » signifie « proposée par une structure externe aux enseignants ». Habituellement, sont considérées comme évaluations externes les évaluations qui sont centralisées, tant au niveau de leur conception que de leur administration et de leur correction (C. Monseur et M. Demeuse, 2000). Les évaluations externes sont-elles efficaces. Rapport non publié. Liège : Service de Pédagogie expérimentale de l'Université).

2 Le terme « cycle » a été préféré au terme « degré » afin de respecter la nomenclature adoptée dans le décret relatif à la promotion d'une école de la réussite.

La différence entre ces deux nomenclatures peut être illustrée par le tableau suivant :

Ancienne nomenclature Nomenclature actuelle

Années Degrés Cycles Etapes 1re maternelle 2e maternelle

1er cycle

3e maternelle 1re primaire 2e primaire

1er degré 2e cycle

Etape 1

3e primaire 4e primaire

2e degré 3e cycle

5e primaire 6e primaire

3e degré 4e cycle Etape 2

1re secondaire 2e secondaire

5e cycle Etape 3

cadre de commissions3 qui se sont réunies à plusieurs reprises durant l’année scolaire, sous la supervision d’une inspectrice. L’observation du fonctionnement d’une de ces commissions4 conduit à penser que la construction des épreuves s’effectue de manière plutôt empirique. Aucun prétest des instruments n’est en effet envisagé et la démarche de travail se résume aux quatre phases suivantes :

• Phase 1 : répartition des « sous-matières » (lecture, compréhen-sion à l’audition, conjugaison, orthographe, expression écrite) par directeur(trice).

• Phase 2 : rédaction et proposition5 d’items susceptibles d’évaluer le domaine attribué.

• Phase 3 : critique, modification et sélection des items proposés.

• Phase 4 : rédaction et dactylogra-phie des épreuves.

3 Au total, on dénombre six commissions de plus

ou moins sept personnes (deux commissions par cycle : l’une en français, l’autre en mathématique).

4 Français 2e cycle. 5 Lors de cette phase, deux modalités sont

possibles : soit les directeurs et les directrices rédigent eux-mêmes les items dont ils ont la charge, soit ils font appel aux enseignants de leur établissement qui sont concernés. Ces deux modalités de fonctionnement ont bien sûr des implications différentes. Dans le premier cas, on peut craindre que la nature et la difficulté des items proposés par les directions soient fonction des caractéristiques spécifiques des écoles ou du niveau de performance des élèves. Cette remarque est aussi valable dans le deuxième cas mais un biais supplémentaire existe puisque les items sont construits par des enseignants dont les élèves passeront l’épreuve en fin d’année.



Validité et fidélité

Alors que l’épreuve de lecture proposée en 2000-2001 aux élèves de deuxième cycle couvre quasiment la totalité des compétences de base qui sont définies dans le référentiel « Socles de compétences », l’épreuve de quatrième cycle présente, quant à elle, un degré de couverture relativement faible. En effet, seules douze compétences sur vingt-neuf sont évaluées. Force est de reconnaître que plusieurs améliorations pourraient être apportées en vue d’assurer une plus grande validité aux épreuves, notamment en privilégiant un nombre plus important d’items, en construisant ceux-ci au départ des compétences de base telles que définies dans les Socles1 et en accordant une attention particulière aux critères de correction. En outre, dans les conditions actuelles, ce sont

les enseignants qui font passer les épreuves et qui corrigent les copies des élèves, ce qui limite sensible-ment le niveau de confiance que l’on peut accorder aux résultats. Quant à la fidélité des instruments, elle s’avère plutôt bonne. Selon la formule de l’alpha de Cronbach, les coefficients d’estimation de la consistance interne des deux épreuves sont relativement élevés (0,85 pour l’épreuve de deuxième année et 0,84 pour celle de sixième année). b) Analyse des scores totaux

Le tableau 1 présente les caractéris-tiques essentielles des résultats observés aux épreuves de lecture en fin de 2e cycle et en fin de 4e cycle.

Tableau 1 : Description des résultats obtenus aux épreuves externes

Epreuve de fin de 2e cycle Epreuve de fin de 4e cycle

Nombre d’élèves 943 908

Score moyen 77,5 / 100 82,8 / 100

Score minimal 6 / 100 3,5 / 100

Score maximal 100 / 100 100 / 100

Ecart-type 18,3 12,3

1 Ce n’est pas le cas actuellement. On assiste même à la démarche inverse : les items sont rédigés et l’on

recherche ensuite dans le document de référence les compétences correspondantes.



Au vu de ces données, un premier constat s’impose : qu’ils soient au terme du deuxième cycle ou au terme des études primaires, les élèves testés obtiennent en moyenne

un score total proche des quatre-vingts pourcent1.

Ce constat positif mérite toutefois d’être nuancé par l’analyse des graphiques 1 et 2.

Graphique 1 : Distribution des résultats obtenus à l’épreuve de lecture (fin de 2e cycle)

Graphique 2 : Distribution des résultats obtenus à l’épreuve de lecture (fin de 4e cycle)

1 Le seuil des 80 % est généralement le seuil de réussite escompté dans de telles épreuves d’évaluation des

compétences de base.

0,2 0,2 0,3 0 0,82,5

7,2

18

34,836

0

5

10

15

20

25

30

35

40

Pour

cent

age

d'él

èves

0 à 9 10 à 19 20 à 29 30 à 39 40 à 49 50 à 59 60 à 69 70 à 79 80 à 89 90 à 100

Scores totaux (%)

0,1 0,7 1,23,1

5,4 5,9

10,5

16,1

25,7

31,3

0

5

10

15

20

25

30

35

Pour

cent

age

d'él

èves

0 à 9 10 à 19 20 à 29 30 à 39 40 à 49 50 à 59 60 à 69 70 à 79 80 à 89 90 à 100

Scores totaux (%)



À la lumière de ces graphiques, il apparaît que, derrière les pourcenta-ges moyens élevés présentés dans le tableau 1, se cachent de plus ou moins grandes disparités entre les élèves. Seuls 57% des élèves de deuxième année et 70,8% des élèves de sixième année semblent, en effet, posséder un niveau de maîtrise des compétences de base supérieur ou égal aux quatre-vingts pourcent escomptés. Cette constatation a pour corollaire qu’ils sont 16% en deuxième et 10% en sixième à obtenir un score compris entre 50 et 70% mais, surtout, qu’en deuxième année, plus de 10% des élèves se trouvent en grande difficulté de lecture (score inférieur à 50%). c) Analyse des scores par item

En deuxième année, avec une difficulté moyenne des items1 égale à 0,79, l’épreuve de lecture peut être qualifiée de relativement facile. Les items les moins bien réussis sont liées aux compétences suivantes : repérer les informations relatives aux références d’un document, gérer la compréhension d’un document afin 1 L’indice de difficulté d’un item se calcule en

divisant la moyenne des scores obtenus à cet item par l’étendue de la note (étendue = score maximum – score minimum). La difficulté moyenne des items n’est autre que la moyenne des indices de difficultés des items. Il est à noter que cette valeur est souvent plus intéressante que la moyenne calculée à partir des scores totaux, car elle tient compte de la pondération individuelle des items.

de dégager les informations explicites, tenir compte des unités grammaticales et distinguer le vrai du faux. En sixième année, la difficulté moyenne de l’épreuve est de 0,81. Les items les moins bien réussis portent sur les compétences relatives à la découverte d’informations implicites, la restitution de l’ordre chronologique et la vérification d’hypothèses. 2. Existe-t-il des implantations ou

des classes plus efficaces que d’autres en lecture ?

a) Les concepts de performance et d’efficacité

Lorsqu’on désire mesurer les effets d’un enseignement, il convient de distinguer le concept de performance de celui d’efficacité. Une classe ou une école performante se définit simplement par l’obtention d’un score moyen supérieur à celui des autres classes ou écoles. Dans ce cas, on considère uniquement le résultat moyen obtenu à un test standardisé qui permet la comparaison entre classes ou entre écoles. Par contre, définir ce qu’est une classe ou une école efficace suppose que l’on prenne en compte un autre concept : celui de valeur ajoutée. En économie, la valeur ajoutée est la différence entre la valeur d’une



production et celle des consommations ayant servi à la réaliser. Transposé dans le domaine des sciences de l’éducation, ce concept de valeur ajoutée équivaut à la différence, exprimée en note réduite1, entre le score moyen qu’une classe (une école) obtient à une épreuve et la moyenne des scores obtenus à la même épreuve par les

autres classes (écoles) socio-économiquement semblables. Autre-ment dit, toute classe ou toute école possédant une valeur ajoutée positive est considérée comme une classe ou une école efficace. A l’inverse, une valeur ajoutée négative est synonyme de classe ou d’école peu efficace puisque la per-formance est inférieure à la moyenne des classes ou écoles de même composition socio-économique2.

b) Variabilité des performances moyennes des classes, des implantations et des

écoles

Graphique 3 : Performances moyennes des classes de deuxième année

50

55

60

65

70

75

80

85

90

95

100

Classes

Scor

es m

oyen

s

1 Les notes réduites, également appelées notes z, écarts réduits, notes types ou encore scores standardisés,

permettent la comparaison sur une échelle normalisée qui se caractérise par une moyenne égale à 0 et un écart type égal à 1.

Les notes réduites se calculent selon la formule z = (X – M) / sigma où z est la note réduite, X la note obtenue au test, M la moyenne des résultats au test et sigma l’écart-type des résultats observés.

Dans le cas d’une distribution de notes réduites dite « normale », un écart-type de part et d’autre de la moyenne englobe nécessairement environ 68 % des résultats, deux écarts-types 95 % et trois écarts-types 99 %.

2 Il se peut donc qu’une classe ou une école performante soit considérée comme peu efficace étant donné qu’elle présente un résultat moyen inférieur au score moyen escompté dans le milieu socio-économique qui est le sien.



Graphique 4 : Performances moyennes des classes de sixième année

60

65

70

75

80

85

90

95

100

Classes

Scor

es m

oyen

s

Graphique 5 : Performances moyennes des implantations

60

65

70

75

80

85

90

95

100

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50

Implantations

Scor

es m

oyen

s

Graphique 6 : Performances moyennes des écoles

60

65

70

75

80

85

90

95

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40

Ecoles

Scor

es m

oyen

s



Les graphiques 3, 4, 5 et 6 montrent de manière probante qu’une importante variabilité existe au sein des performances moyennes obser-vées aux épreuves de lecture, et ce quel que soit le niveau d’analyse considéré (classe, implantation, école). Il existe donc des classes, des implantations et des écoles en moyenne plus performantes que d’autres.

Cela dit, ce n’est pas la variabilité observée entre les écoles qui étonne le plus, mais bien la variabilité des performances existant au sein même

des écoles. Prenons le cas des écoles 4 et 15 pour nous en convaincre. Variabilité de performance entre

implantations d’une même école

L’école 4 compte deux implantations (implantations 7 et 8) comprenant chacune une classe de deuxième année (classes 8 et 9) et une classe de sixième année (classes 6 et 7). Les performances des classes de cette école sont résumées dans le tableau 2.

Tableau 2 : Variabilité de performance entre implantations d’une même école (Ecole 4)

Score moyen réduit (note z) Ecole 4 -0.31 Implantation 7 1.32 Implantation 8 -1.86

Classe 8 (2e ) 1.76 Implantation 7 Classe 6 (6e ) 0.33 Classe 9 (2e ) -1.24 Implantation 8 Classe 7 (6e ) -2.07

Au vu de ce tableau et au-delà du score moyen relativement faible de l’école (note z = -0.31), on s’aperçoit que les deux implantations qui composent l’école obtiennent des scores moyens diamétralement opposés. Avec des notes z positives en deuxième et sixième années, l’implantation 7 peut être qualifiée d’implantation performante alors que les scores moyens de l’implantation 8 sont négatifs et plutôt inquiétants. Le cas de l’école 4 n’est pas un cas isolé puisque sur six écoles possédant au moins deux implanta-tions, quatre écoles présentent une

différence significative1 de résultat en fonction de l’implantation considérée. Variabilité de performance au sein

d’une même implantation

L’école 15, qui ne compte pas d’autre implantation (école 15 = implantation 20), comprend deux classes de deuxième année (classes 29 et 30) et deux classes de sixième année (classes 22 et 23). Les performances moyennes de ces classes sont reprises dans le tableau 3.

1 Plus d’un écart-type entre les scores moyens des

implantations.



Tableau 3 : Variabilité de performance au sein d’une même implantation

Score moyen réduit (note z) Ecole 15 = Implantation 20 -0.03

Classe 29 -1.12 Deuxième année Classe 30 -1.11 Classe 22 0.65 Sixième année Classe 23 1.09

Le tableau 3 témoigne de l’existence d’une réelle différence de performance entre les élèves selon que l’on considère tel ou tel niveau d’enseignement. Alors que les classes de sixième année de l’implantation 20 sont relativement performantes par rapport aux classes de l’échantillon, il apparaît que les classes de deuxième année de cette même implantation peuvent être qualifiées de peu performantes en

comparaison avec le score moyen des autres classes de deuxième année. Ce constat étonnant n’a rien d’un cas unique puisque, pour les trente-quatre implantations comprenant au moins une classe de deuxième année et une classe de sixième année1, on constate que les différences de performance se distribuent comme suit :

Tableau 4 : Différence de performance relative

entre classe de deuxième et classe de sixième d’une même implantation

Différence … Nombre de cas … inférieure à 0,5 écart type 23 (35 %)

… comprise entre 0,5 et 1 écart type 24 (37 %)

… comprise entre 1 et 2 écarts types 13 (20 %)

… supérieure à 2 écarts types 5 (8 %)

Il semble donc que, dans plus d’un quart des implantations, une différence considérable de perfor-mance relative existe entre les classes de deuxième année et celles de sixième année. 1 Et au sujet desquelles nous possédons des

informations exhaustives.

c) Stabilité des performances des écoles au cours du temps

La stabilité des performances des écoles ou des implantations au cours du temps a été étudiée en comparant les performances moyennes de chaque école ou de chaque implantation sur au moins deux années.



Dans notre cas, seule l’étude de la stabilité des performances des écoles est possible puisque nous ne bénéficions des informations propres aux implantations que pour l’année scolaire 2000-2001.

Le graphique 7 met en relation les classements d’écoles opérés en juin 2000 et juin 2001 à partir des épreuves de lecture de fin de cycle.

Graphique 7 : Rangs des écoles en juin 2000 et juin 2001

La correspondance entre les deux classements d’écoles aurait été totale si tous les points du graphique 7 s’étaient placés sur la droite d’équation y = x. Visiblement, c’est loin d’être le cas. D’ailleurs, le coefficient de détermination de la droite qui ajuste le mieux le nuage de points n’est que de 0,18. Il semble donc que, d’une année à l’autre, le classement des écoles varie fortement ; certaines écoles pouvant être en tête du classement une année et quinze à vingt places plus loin l’année suivante.

En outre, l’analyse des écarts existant entre les performances moyennes, exprimées en notes réduites, de l’année 1999-2000 et de l’année 2000-2001 renforce l’idée que la performance moyenne des écoles n’est guère stable au fil du temps. Seules sept écoles sur quarante obtiennent en effet des performances « stables » d’une année à l’autre (écarts compris entre –0.20 et 0.20 écart type).

31

3233

16

3

6

34

17

728

4

35

27

9

25

10

29

24

302

23

21

26

8

15

19

120

22

18

14

13

11

50

5

10

15

20

25

30

35

40

0 5 10 15 20 25 30 35 40

Rang des écoles en juin 2000

Ran

g de

s éc

oles

en

juin

200

1



d) Effet « école », effet « implantation » et effet « classe»

Lorsque, par une analyse de variance, les performances en lecture sont mises en relation avec l’appartenance à l’unité « école », l’unité « implantation » ou l’unité

« classe », il apparaît que toutes ces variables sont hautement significatives (p < 0,0001). Les pourcentages de variance expliquée (R2) attribuables à chacune des variables sont présentés dans le tableau 5.

Tableau 5 : Pourcentage de variance expliquée selon le niveau d’analyse considéré

POURCENTAGE DE VARIANCE EXPLIQUEE (R2)

MODELES EXPLICATIFS Deuxième année Sixième année A = Appartenance à une école 12,6 22,9 B = Appartenance à une implantation 14,7 24,8 C = Appartenance à une classe 19,5 28,8 D = A + B + C 19,5 28,8

A l’analyse de ce tableau, on s’aperçoit que le modèle explicatif D présente un R2 identique à celui de la variable C prise isolément. Ceci s’explique aisément par la nature du modèle D qui est un modèle où les variables s’emboîtent les unes dans les autres (les classes sont emboîtées dans les implantations qui sont elles-mêmes emboîtées dans les écoles). Cela dit, les R2 dégagés montrent que les performances des élèves en lecture sont beaucoup plus liées au fait d’appartenir à une classe que de fréquenter telle implantation ou telle école. Ce constat laisse penser que le niveau « classe » est certainement le niveau d’analyse le plus pertinent pour déterminer quelles variables

expliquent le mieux les différences de performance. e) Catégorisation des classes

efficaces1

Afin de différencier les classes performantes de celles qui sont réellement efficaces, deux procédures sont envisageables : soit on détermine l’indice de valeur ajoutée de chaque classe, soit on analyse les résidus de la régression menée entre les scores moyens observés au test et un indice moyen du niveau socio-économique des élèves. Analysons successivement ces deux cas de figure.

1 Dans le mémoire, ce travail a été fait en prenant

l’implantation comme unité d’analyse.



Valeur ajoutée des classes

Pour catégoriser les classes sur la base de leur valeur ajoutée, deux types d’informations doivent être mises en relation : la performance moyenne de chaque classe et son niveau socio-économique moyen1. Une fois le niveau socio-économique des classes défini, une moyenne des

scores moyens standardisés est calculée par catégorie socio-économique (catégorie 1 : niveau socio-économique très défavorisé, catégorie 2 : niveau socio-économique défavorisé, catégorie 3 : niveau socio-économique favorisé). Cette moyenne est ensuite utilisée pour attribuer à chaque classe un indice de valeur ajoutée selon la formule suivante :

Valeur ajoutée = ( Mcat – Mcla ) / Sigma où Mcat est la moyenne des scores standardisés par catégorie socio-économique, Mcla est la moyenne standardisée de la classe et Sigma l’écart-type des scores standardisés de la catégorie socio-économique.

Cette opération débouche sur le tableau 6 qui nous permet de pointer2 les classes réellement efficaces compte tenu des caractéristiques socio-économiques du public qu’elles accueillent. 1 Le niveau socio-économique moyen des classes

a été déterminé en mettant en relation un indicateur synthétique de niveau socio-économique calculé par quartier avec les adresses des élèves. Cet indicateur, fruit de la collaboration d’une équipe interuniversitaire belge (M. Demeuse, C. Monseur, A. Collard, P. Marrissal, G. Van Hamme, B. Delvaux (1999). La détermination des quartiers devant être pris en compte pour l'établissement de la liste des établissements et implantations à discrimination positive. Rapport non publié) a été calculé à partir de douze variables socio-économiques. Voir aussi M. Demeuse (2000). La politique de discrimination positive en Communauté française de Belgique. Les Cahiers du Service de Pédagogie expérimentale, 1-2, 115-135.

2 Moyennant la fixation de seuils arbitraires.



Tableau 6 : Valeur ajoutée des classes

DEUXIEME ANNEE SIXIEME ANNEE Catégorie

socio-économique

Classes Moyenne par classe

Notes réduites

Valeur ajoutée Classes Moyenne par

classe Notes

réduites Valeur ajoutée

1 32 57 -2,71 -1,64 13 66,94 -2,11 -1,47

1 10 80,6 0,10 0,22 12 70,77 -1,58 -0,92

1 31 82 0,26 0,33 50 72,14 -1,40 -0,72

1 64 91,6 1,40 1,09 24 78,1 -0,58 0,14

1 51 80,18 -0,30 0,45

1 6 84,43 0,28 1,06

1 11 87,14 0,65 1,45

Moyenne 77,80 -0,24 0,00 77,10 -0,72 0,00

Ecart-type 12,73 1,51 1,00 6,90 0,94 1,00

2 48 67 -1,52 -1,14 1 66,7 -2,14 -2,17

2 13 71,2 -1,02 -0,60 7 67,86 -1,98 -1,99

2 60 71,2 -1,02 -0,60 14 71,33 -1,51 -1,45

2 65 72,5 -0,87 -0,44 3 78,57 -0,52 -0,31

2 68 73,5 -0,75 -0,31 52 79,21 -0,43 -0,21

2 21 75,9 -0,46 0,00 54 79,43 -0,40 -0,18

2 14 83,1 0,39 0,92 46 80,04 -0,32 -0,08

2 8 93 1,57 2,18 19 82,14 -0,03 0,25

2 47 82,28 -0,02 0,27

2 17 82,3 -0,01 0,27

2 28 82,8 0,06 0,35

2 42 82,97 0,08 0,38

2 48 83,54 0,16 0,47

2 34 85,34 0,40 0,75

2 33 85,37 0,41 0,75

2 55 89,55 0,98 1,41

2 35 90,29 1,08 1,52

Moyenne 75,93 -0,46 0 80,57 -0,25 0,00

Ecart-type 7,79 0,93 1 6,40 0,87 1,00

3 3 79,8 0,00 -1,04 26 75,92 -0,88 -2,54

3 56 80,1 0,04 -0,96 44 83,27 0,12 -1,00

3 51 80,5 0,08 -0,86 10 85,95 0,49 -0,44

3 52 81,4 0,19 -0,61 22 86,64 0,58 -0,29

3 40 82,8 0,36 -0,23 37 87,59 0,71 -0,09

3 54 83 0,38 -0,18 57 88,32 0,81 0,06

3 67 83,5 0,44 -0,04 45 88,54 0,84 0,10

3 12 85,9 0,73 0,60 43 89,63 0,99 0,33

3 46 87,9 0,96 1,14 31 90,68 1,13 0,55

3 37 92 1,45 2,25 30 93,1 1,46 1,06

3 9 93,47 1,51 1,14

3 27 93,57 1,52 1,16

Moyenne 83,69 0,46 0,00 88,06 0,77 0,00

Ecart-type 3,69 0,44 1,00 4,76 0,65 1,00



La mise en relation des performances moyennes des classes et des indices moyens de niveau socio-économique permet non seulement de montrer l’importante variabilité des résultats moyens des classes mais également de pointer, dans chaque catégorie socio-économique, les classes les plus efficaces (en grisé dans le tableau). Analyse des résidus

L’analyse de régression entre les scores observés au test et l’indice moyen de niveau socio-économique présenté dans la section précédente nous permet de « prédire » le score attendu de chaque élève compte tenu des caractéristiques de son milieu. A côté de cela, certains élèves font mieux que le score qui leur est prédit tandis que d’autres sont moins performants que prévu. Ces différences entre les scores observés et les scores attendus sont appelés « résidus de la régression ».

Ces résidus nous permettent de distinguer les classes efficaces des classes peu efficaces. Les classes efficaces sont celles dont les élèves réussissent, en moyenne, mieux que prévu tandis que les classes peu efficaces présentent un résidu moyen négatif. En nous basant sur la proximité existant ou non entre les résidus et les indices moyens de niveau socio-économique, nous avons cherché à rassembler sous une même catégorie les classes présentant des résidus et des caractéristiques socio-économiques similaires. Nous avons donc décidé qu’à partir d’un résidu nul, les classes seraient considérées soit comme efficaces (résidus positifs), soit comme inefficaces (résidus négatifs). Cette démarche est illustrée par le graphique 8 en deuxième année et par le graphique 9 en sixième année. Les catégories de classes se définissent comme suit :

- Classes très défavorisées efficaces: cadran I - Classes très défavorisées peu efficaces : cadran II - Classes défavorisées efficaces : cadran III - Classes défavorisées peu efficaces : cadran IV - Classes favorisées efficaces : cadran V - Classes favorisées peu efficaces : cadran VI



Graphique 8 : Caractéristiques socio-économiques et efficacité des classes de deuxième année

Graphique 9 : Caractéristiques socio-économiques et efficacité des classes de sixième année

-20

-15

-10

-5

0

5

10

15

20

-2 -1,5 -1 -0,5 0 0,5 1

Indice socio-économique moyen par classe

Rés

idus

-20

-15

-10

-5

0

5

10

15

20

-2 -1,5 -1 -0,5 0 0,5 1

Indice socio-économ ique m oyen par classe

Rés

idus

I

II

III

IV VI

V

I

II

III

IV VI

V



L’analyse de ces graphiques permet non seulement de distinguer les classes efficaces de celles qui le sont moins, mais elle montre qu’un nombre relativement important de classes défavorisées sont à considérer comme étant plus efficaces que certaines classes dites favorisées.

3. Les résultats des élèves sont-ils différents en fonction de l’évaluation considérée ?

Lorsqu’on compare les scores observés aux épreuves de fin de cycle de juin 2001 et les notes attribuées par les enseignants au cours des troisième et quatrième périodes de l’année scolaire 2000-2001, on aboutit au tableau de corrélations suivant.

Tableau 7 : Corrélations entre les scores obtenus à l’épreuve externe

et les points attribués par les enseignants en 3e et 4e périodes

Notes de 3e période Notes de 4e période

Scores au test 0,71 0,72 DEUXIEME ANNEE

Notes de 3e période 1 0,86

Scores au test 0,60 0,60 SIXIEME ANNEE

Notes de 3e période 1 0,62

Alors qu’en deuxième année, logiquement, les notes de troisième et de quatrième périodes sont fortement corrélées (0,86), ce n’est pas le cas en sixième année (0,62). L’évaluation des compétences en lecture des élèves apparaît comme peu stable d’une période à l’autre.

Par ailleurs, avec des corrélations comprises entre 0,60 et 0,72, il semble qu’une relation positive existe bel et bien entre ce qui est

mesuré grâce aux épreuves de fin de cycle et les notes attribuées par les enseignants. Cependant, les coeffi-cients dégagés peuvent être qualifiés de « moyens1 » et il convient de s’interroger sur les raisons de pareille situation. Pour ce faire, il convient d’étudier grâce aux graphiques 10 et 11, comment se distribuent les différences existant entre les deux types de mesures, en termes d’écarts en points.

1 Généralement, on considère que de « bonnes »

corrélations se caractérisent par des coefficients au moins égaux à 0,80.



Graphique 10

Deuxième année (n = 810)

64,8

24,0

8,02,2 0,5 0,2 0,0

64,8

25,2

7,31,7 0,9 0,1 0,0

0

20

40

60

80

100

0 à 10 11 à 20 21 à 30 31 à 40 41 à 50 51 à 60 ou plus...

Ecarts en points par rapport à l'épreuve externe

Fréq

uenc

e (%

)

Période 3Période 4

Graphique 11

Sixième année (n = 832)

56,9

29,7

11,1

2,0 0,4 0,0 0,0

57,8

30,2

9,12,5 0,1 0,1 0,1

0102030405060708090

100

0 à 10 11 à 20 21 à 30 31 à 40 41 à 50 51 à 60 ou plus...

Ecarts en points par rapport à l'épreuve externe

Fréq

uenc

e (%

)

Période 3Période 4

Les graphiques 10 et 11 montrent de manière ostensible que la comparaison entre les notes accordées par les enseignants et les scores obtenus aux épreuves externes aboutit majoritairement à des variations de 0 à 10 points sur cent. Plus inquiétant est le fait que dans 35 % des cas en deuxième année et 40 % des cas en sixième année, l’amplitude des écarts passe de 10 à 30 points sur cent. Dans une

minorité de cas, on observe même des écarts allant de 30 à 60 points sur cent. Ces différents constats nous amènent à penser qu’en comparaison avec les épreuves externes de lecture qui sont standardisées et communes à tous les élèves, les pratiques d’évaluation des enseignants peuvent conduire à de véritables injustices. Examinons les graphiques 12 et 13 pour nous en convaincre.



Graphique 12 : Elèves de deuxième année

Graphique 13 : Elèves de sixième année

Les informations tirées des graphiques 12 et 13 nous permettent notamment de pointer les cas litigieux où le sort de l’élève dépend de l’évaluation pratiquée. En deuxième année, cinquante-trois élèves sont dans ce cas. En sixième année, ce nombre chute à dix.

4. Comment expliquer les différences de rendement en lecture ?

a) Les variables étudiées

La figure A présente les différentes variables étudiées dans cette recherche.

0123456789

10

0 10 20 30 40 50 60 70 80 90 100Scores à l'épreuve externe

Not

es a

ttrib

uées

pa

r les

ens

eign

ants

0123456789

10

0 10 20 30 40 50 60 70 80 90 100Scores à l'épreuve externe

Not

es a

ttrib

uées

par

les

ense

igna

nts

Cadran I : Elèves en échec à l’épreuve externemais pas au cours de l’année

Cadran II : Elèves en échec aux deux formes

d’évaluation Cadran III : Elèves en réussite aux deux formes

d’évaluation Cadran IV : Elèves en échec au cours de l’année

mais pas à l’épreuve externe

Cadran I : Elèves en échec à l’épreuve externemais pas au cours de l’année

Cadran II : Elèves en échec aux deux formes

d’évaluation Cadran III : Elèves en réussite aux deux formes

d’évaluation Cadran IV : Elèves en échec au cours de l’année

mais pas à l’épreuve externe

I

II

III

IV

I

II

III

IV


Figure A : Modèle multiniveaux théorique présentant les variables étudiées

NIVEAU 3 : l’implantation

NIVEAU 2 : la classe

NIVEAU 1 : l’élève E1. Caractéristiques individuelles

E1A. Sexe E1B. Année de naissance E1C. Niveau socio-économique E1C1. Adresse E1C2. Profession des parents

C1. Caractéristiques de l’enseignant C1A. Sexe C1B. Age C1C. Nombre d’années d’ancienneté dans la fonction

d’enseignant C1D. Nombre d’années d’ancienneté en tant

qu’enseignant dans cette implantation C1E. Nombre d’années d’ancienneté en tant

qu’enseignant dans le niveau actuel C1F. Charge d’enseignement C1G. Formation en lecture C1H. Habitudes de lecture C1I. Conceptions de l’enseignement C1J. Degré de concertation avec les collègues C2. Caractéristiques de la classe C2A. Niveau socio-économique moyen C2B. Nombre d’élèves C2C. Suivi de classe C2D. Classe unique ou multi-niveaux C2E. Pourcentage de filles et de garçons C2F. Pourcentage d’élèves en retard et en avance

scolaire C2G. Pourcentage d’élèves ne parlant pas le français à

la maison C2H. Niveau général moyen C2I. Niveau moyen en lecture C2J. Pourcentage d’élèves qui, selon l’enseignant,

éprouvent des difficultés en lecture C2K. Présence et utilisation de la bibliothèque d’école

C2K1. Présence d’une bibliothèque d’école(B.E.) C2K2. Fréquence d’utilisation de la B.E.

C2K3. Emprunt des livres de la B.E.

I1. Caractéristiques objectives de l’implantation I1A. Nombre de classes I1B. Nombre d’enseignants I1C. Nombre d’élèves I1D. Niveau socio-économique moyen I1E. Pourcentage d’élèves d’origine étrangère I1F. Pourcentage d’élèves ne parlant pas le français chez eux I1G. Recrutement des élèves I1H. Age moyen de l’équipe éducative I1I. Stabilité de l’équipe éducative I1J. Répartition des élèves dans les classes I1K. Dispositions organisationnelles

I1K1. Groupes verticaux I1K2. Moments de remédiation

I1L. Présence et utilisation du matériel informatique I1L1. Nombre d’ordinateurs I1L2. Fréquence d’utilisation des ordinateurs

I1M. Présence et utilisation de la bibliothèque d’école I1M1. Présence d’une bibliothèque I1M2. Taille de la bibliothèque d’école I1M3. Exploitation de la bibliothèque d’école I1M4. Etat des livres

C2L. Présence et caractéristiques de la bibliothèque de classeC2L1. Présence d’une bibliothèque de classe (B.C.) C2L2. Taille de la bibliothèque de classe C2L3. Etat des livres de la B.C. C2L4. Emprunt des livres de la B.C

C2M. Présence d’un coin-lecture C2N. Prédiction du résultat moyen en lecture à l’épreuve externe C2O. Pourcentage d’élèves bénéficiant d’un soutien en lecture C2P. Assouplissement du titulariat

C3. Caractéristiques de l’enseignement C3A. Opportunité d’apprentissage

C3A1. Temps total d’instruction C3A2. Temps consacré à l’apprentissage du français C3A3. Temps consacré à l’apprentissage de la lecture

C3B. Méthodologie générale C3C. Objectifs principaux de l’enseignement de la lecture C3D. Méthode d’apprentissage de la lecture C3E. Organisation de l’enseignement de la lecture C3F. Activités proposées aux élèves C3G. Types d’écrits proposés aux élèves C3H. Existence et durée des devoirs en lecture C3I. Méthodes d’évaluation des compétences en lecture C3J. Utilisation d’un manuel d’apprentissage de la lecture

C4. Contacts avec les parents C4A. Pourcentage de parents que l’enseignant a rencontrés de

manière individuelle C4B. Pourcentage de parents que l’enseignant a rencontrés de

manière collective C4C. Pourcentage de parents que l’enseignant n’a jamais vus

I1N. Taux de doublement des élèves (3e mat. et 2e p. ) I1O. Taux de retard scolaire I1P. Statut de l’implantation I1Q. Stabilité de la population scolaire I1R. Fréquence des réunions de concertation I2. Caractéristiques subjectives de l’implantation selon le point de vue de la direction et des enseignants

I2A. Perception de l’enseignement dispensé I2B. Perception des rapports entre enseignants I2C. Perception de l’ambiance de l’implantation I2D. Perception de la discipline I2E. Perception des élèves I2F. Perception des locaux I2G. Perception de la relation envers les familles

I2H. Perception de la réputation de l’école

I3. Ouverture de l’implantation vers l’extérieur

I4. Degré de coopération des parents

NIVEAU 4 : l’école EC2. Caractéristiques de la direction EC2A. Ancienneté dans la fonction EC2B. Ancienneté dans l’implantation EC2C. Charge d’enseignement EC2D. Evaluation des enseignants

EC1. Caractéristiques de l’école EC1A. Nombre de classes EC1B. Nombre d’élèves EC1C. Niveau socio-économique moyen EC1D. Nombre d’implantations

E2. Résultats en lecture au cours de l’année

E2A. Résultats de 3e période E2B. Résultats de 4e période E3. Résultats à l’épreuve externe de lecture



b) Les variables significatives

Niveau « élève »

Au niveau « élève », l’âge des enfants et la profession des parents sont des indicateurs très significatifs des performances. Les élèves qui présentent une ou plusieurs années de retard scolaire obtiennent au test de lecture des résultats sensiblement inférieurs à ceux de leurs condisciples « à l’heure ». D’autre part, plus la profession des parents est socialement reconnue et valorisée, plus le rendement des élèves est élevé. Bien que présentant des R2 élevés (de 36 à 52 %), les évaluations portées par les enseignants en troisième et quatrième périodes ne permettent d’expliquer qu’une partie des variations de performance au test. Niveau « classe »

Au niveau « classe », une relation significative existe entre le rendement en lecture des élèves de sixième et le nombre d’années d’ancienneté de leur enseignant, ce qui laisse supposer qu’en général, plus l’enseignant est expérimenté, plus ses élèves sont performants. Le niveau socio-économique moyen permet de rendre compte de plus de 20 % de la variance expliquée en deuxième comme en sixième année.

En sixième année, la taille de la classe constitue une variable signi-ficative. Nous obtenons toutefois un résultat qui, intuitivement, peut paraître paradoxal : la performance moyenne de la classe augmente quand le nombre d’élèves augmente. Ce constat étonnant peut s’expliquer comme suit : dans notre échantillon, pratiquement tous les « gros » établissements sont fréquentés par un public favorisé. Ce sont ces mêmes établissements qui organisent des classes d’effectif élevé. À l’opposé, on observe des classes beaucoup plus petites dans les écoles de quartier, généralement défavo-risées. Dès lors, en rappelant le lien intime que partagent réussite et caractéristiques individuelles des élèves, on comprendra aisément pourquoi nous obtenons une corrélation positive entre la taille de la classe et le rendement. La variable « pourcentage d’élèves en retard scolaire » est significative à p ≤ 0,05 en deuxième année et p ≤ 0,001 en sixième année ; ce qui vient renforcer le constat fait à propos de l’âge des élèves. Les appréciations portées par les enseignants de deuxième et de sixième années au sujet du niveau moyen de leur classe (niveau général moyen, niveau moyen en lecture, prédiction du résultat moyen en lecture à l’épreuve externe) semblent constituer de relativement bons prédicteurs de réussite au test.



Toutefois, les pourcentages de variance expliquée mis en évidence sont assez inférieurs aux pouvoirs explicatifs des variables « résultats en lecture en troisième période » et « résultats en lecture en quatrième période ». En deuxième année, la présence d’une bibliothèque d’école semble être associée à de meilleurs résultats. Les classes performantes s’y rendent au moins une fois par semaine (une plage horaire est d’ailleurs réservée à cette activité dans l’emploi du temps de l’enseignant) et les élèves sont invités à emprunter les livres. En sixième année, seule la présence (et l’utilisation) d’une bibliothèque de classe est liée positivement au rendement. Les types d’écrits (ou plus exactement leur nature et leur provenance) proposés aux élèves de deuxième année sont liés au rendement avec un niveau de signification de p ≤ 0,05. Plus les écrits soumis aux élèves sont tirés de manuels de lecture adaptés au niveau des enfants, meilleures sont les performances. En sixième année, l’existence et la durée des devoirs en lecture semblent correspondre à de meilleures performances au test. Enfin, il apparaît qu’en deuxième année, les différences de résultats sont en partie liées au fait que les

enseignants rencontrent de manière individuelle les parents de leurs élèves. Niveau « implantation »

Au niveau « implantation », nous retrouvons encore une fois l’influence du niveau socio-économique moyen. Ce constat est complété par les pourcentages de variance expliquée hautement significatifs des variables « pourcen-tage d’élèves d’origine étrangère » et « pourcentage d’élèves ne parlant pas le français chez eux ». Avec le taux de retard scolaire, la variable « recrutement des élèves » présente l’un des R2 les plus élevés et les plus significatifs. Il semble donc que les implantations qui recrutent essentiellement dans le quartier obtiennent des performances moins élevées que celles qui sont en majorité composées d’élèves provenant de l’extérieur. L’existence, en deuxième année, de moments de remédiation semble également être un gage de performances supérieures. Niveau « école »

Au niveau « école », seul l’indice socio-économique moyen intervient dans l’explication de la variance des résultats.



c) Quelles sont les variables « classe » qui différencient le mieux les implantations efficaces de celles qui ne le sont pas ?

Afin de répondre à cette question, il nous faut calculer dans notre échantillon d’implantations efficaces les moyennes de chacune des variables et les comparer ensuite avec les moyennes de chaque

variable calculées pour l’échantillon d’implantations peu efficaces. La différence standardisée obtenue pour chaque variable entre les deux moyennes constitue l’indice de discrimination entre implantations efficaces et implantations peu efficaces. Plus cet indice est élevé, plus la variable est discriminante.

Voici reprises, dans le tableau 8, les dix variables qui distinguent le mieux les implantations efficaces des implantations moins efficaces.

Tableau 8 : Variables distinguant le mieux les implantations efficaces des implantations moins efficaces

En deuxième année En sixième année

1) le pourcentage d’élèves en retard scolaire 2) la fréquence des activités où l’élève est invité à

s’exprimer suite à sa lecture 3) le fait que les enseignants aient reçu une

formation récente en lecture 4) la fréquence des activités où l’élève écoute lire 5) la présence et l’utilisation fréquente de la

bibliothèque d’école 6) les habitudes de lecture des enseignants 7) le pourcentage de parents rencontrés de

manière individuelle 8) la fréquence des activités où l’élève est amené

à lire 9) la prédiction du résultat moyen de la classe au

test de lecture 10) le temps consacré à l’apprentissage du français

1) le temps consacré à l’enseignement de la lecture

2) le temps consacré à l’apprentissage du français 3) la fréquence des activités liées à la perception

de la structure et de l’organisation des textes 4) la présence et l’utilisation fréquente de la

bibliothèque de classe 5) la fréquence des activités où l’élève est invité à

s’exprimer suite à sa lecture 6) la fréquence des activités où l’élève est amené

à lire 7) l’orientation des objectifs de l’enseignement de

la lecture 8) la présence et l’utilisation fréquente de la

bibliothèque d’école 9) l’existence et durée des devoirs en lecture 10) la fréquence des activités où des processus

d’inférence sont mis en jeu

1 A l’image de ce que l’on fait généralement lorsqu’on désire comparer un groupe expérimental et un groupe

contrôle ( calcul de l’amplitude de l’effet selon la formule Amplitude de l’effet = ( Mex - Mc ) / σ où Mex est la moyenne du groupe expérimental, Mc la moyenne du groupe contrôle et σ l’écart-type du groupe contrôle ), nous avons standardisé les différences obtenues suite à la formule suivante : D = (Moyenne de la variable pour les écoles efficaces - Moyenne de la variable pour les écoles peu efficaces) / Ecart-type de la variable pour les écoles peu efficaces.



Parmi cet ensemble de variables, retenons principalement l’influence des facteurs d’exposition à la lecture (temps consacré à l’enseignement de la lecture, temps consacré à l’apprentissage du français, fréquence des activités où l’élève est amené à lire) ainsi que la fréquence des activités où l’élève est amené à s’exprimer suite à sa lecture.

Mettons également en évidence les variables liées aux ressources dont peuvent bénéficier les élèves (bibliothèques d’école et de classe).

Enfin, soulignons l’importance des relations et des échanges avec les parents d’élèves.

Conclusion

Dès le début de cet article, nous avons mis en évidence qu’en moyenne, les performances en lecture des élèves de deuxième et de sixième années primaires sont assez satisfaisantes (les moyennes se situant entre 70 et 85 %).

Toutefois, à côté de ces moyennes plutôt rassurantes, nous avons montré qu’il faut surtout s’inquiéter de la forte variabilité existant entre les performances des élèves puisque seuls 57 % des élèves en deuxième et 70 % des élèves de sixième maîtrisent de manière satisfaisante les compétences de base en lecture. En constatant que la forte variabilité des résultats s’observait non seulement entre les différentes

implantations mais également au sein même de celles-ci, nous avons conclu que certaines implantations pouvaient être considérées comme « performantes » ou comme « peu performantes » selon le niveau d’enseignement considéré.

L’examen de la stabilité des performances des écoles est venu alourdir ce constat, une école pouvant être performante une année et beaucoup moins l’année suivante.

Nous avons tenté d’expliquer cette variabilité en étudiant le pouvoir explicatif de chacune des variables de notre modèle.

Par ailleurs, en intégrant à l’analyse le concept de valeur ajoutée, nous avons catégorisé les classes selon leur efficacité réelle et montré qu’à recrutement socio-économique égal, l’action éducative pouvait faire la différence.

La catégorisation à laquelle nous avons abouti ne doit cependant pas être considérée par le lecteur comme une vérité absolue étant donné que nous nous basons sur les résultats d’une seule épreuve de lecture.

Il convient plutôt d’envisager la démarche présentée dans cet article comme une démonstration de ce que l’on pourrait réaliser, à faibles coûts, dans le cadre du lancement d’un pilotage des établissements scolaires, l’idéal étant de mener ce type d’analyse selon une perspective longitudinale et multidisciplinaire.

Documents

MÉMOIRES - Portail francophone de la Recherche en ... · observés aux épreuves de lecture en fin de 2e cycle et en fin de 4e cycle. Tableau 1 : Description des résultats obtenus