3 èmes Rencontres FORMIST - 12 juin 2003

L’impact des formations à la maîtrise de L’impact des formations à la maîtrise de l’informationl’information

sur la performance scolaire des sur la performance scolaire des étudiants: étudiants:

de la conviction à la preuve ?de la conviction à la preuve ?

33èmesèmes Rencontres FORMIST - 12 juin 2003 Rencontres FORMIST - 12 juin 2003

Paul ThirionULG

L’impact des formations à la maîtrise de L’impact des formations à la maîtrise de l’informationl’information

sur la performance scolaire des étudiants sur la performance scolaire des étudiants

Répondre à trois questions :Répondre à trois questions :

– Pourquoi une telle évaluation ?Pourquoi une telle évaluation ?

– Qu’existe-t-il déjà ?Qu’existe-t-il déjà ?

– Comment faire ?Comment faire ?

La formation documentaire, un La formation documentaire, un coût …coût …

• Mobilisation de moyens considérables Mobilisation de moyens considérables d’autant plus élevé si premiers cycles et si intégration dans le d’autant plus élevé si premiers cycles et si intégration dans le cursuscursus

– En temps humain pour les encadrants (bibliothécaires, En temps humain pour les encadrants (bibliothécaires, enseignants, tuteurs, …)enseignants, tuteurs, …)

• Coûts directsCoûts directs– Temps de préparationTemps de préparation– Développement d’outils de formation (didacticiels, exercices, Développement d’outils de formation (didacticiels, exercices,

notes de cours, syllabi, …)notes de cours, syllabi, …)– Réalisation de la formation (groupes parallèles, …)Réalisation de la formation (groupes parallèles, …)– Contacts avec les étudiants (contacts directs, Email, Forums, …)Contacts avec les étudiants (contacts directs, Email, Forums, …)– Evaluation des étudiants (examens, lecture de rapports, …)Evaluation des étudiants (examens, lecture de rapports, …)

• Coûts indirectsCoûts indirects– Formation de formateursFormation de formateurs– Organisation de partenariats avec les enseignantsOrganisation de partenariats avec les enseignants– Participation aux conseils des études, jurys, …Participation aux conseils des études, jurys, …– Mise en place d’évaluation de la formation, de mesure d’impact, …Mise en place d’évaluation de la formation, de mesure d’impact, …


– En temps pour les étudiantsEn temps pour les étudiants• Participation aux cours, séminaires, travaux Participation aux cours, séminaires, travaux

dirigés, …dirigés, …• ExercisationExercisation• Réalisation d’un travail personnelRéalisation d’un travail personnel• Examen éventuelExamen éventuel• ……

– En moyens matérielsEn moyens matériels• Utilisation de salles informatiquesUtilisation de salles informatiques• ……


Donc : coût institutionnel global Donc : coût institutionnel global considérable !considérable !

… … une valeur ?une valeur ?• Si nous sommes ici c’est que nous sommes Si nous sommes ici c’est que nous sommes

convaincusconvaincus

• Et nous avons peut-être réussi à convaincre Et nous avons peut-être réussi à convaincre certains décideurs …certains décideurs …

Des preuves !Des preuves !

Pression desautres matières

Pression desétudiants

Concurrence européenne

Une responsabilité éthique Une responsabilité éthique ……

• Un devoir : participer aux objectifs éducatifs de Un devoir : participer aux objectifs éducatifs de l’institutionl’institution

• Un constat : des moyens très limités …Un constat : des moyens très limités … Se concentrer sur le plus efficaceSe concentrer sur le plus efficace

Donc si nos formations n’ont pas un impact réel, il faut :Donc si nos formations n’ont pas un impact réel, il faut : Soit les supprimerSoit les supprimer Soit les transformerSoit les transformer … … Soit réussir à modifier les objectifs de l’institution !Soit réussir à modifier les objectifs de l’institution !

Par contre si elles ont un tel impact, alors elles Par contre si elles ont un tel impact, alors elles deviennent un outil particulièrement utile dans le deviennent un outil particulièrement utile dans le cadre de la lutte contre l’échec !cadre de la lutte contre l’échec !

Du travail en plus …Du travail en plus …

• Evaluer l’efficacité de la formation Evaluer l’efficacité de la formation en soi, en soi, par rapport à ses propres objectifspar rapport à ses propres objectifs

><><• Evaluer l’impactEvaluer l’impact

L ’état de la recherche L ’état de la recherche francophonefrancophone

• Les travaux de A. Coulon à Paris 8 (1993)Les travaux de A. Coulon à Paris 8 (1993)– Les étudiants qui obtiennent une UV en Les étudiants qui obtiennent une UV en

méthodologie documentaire ont-ils plus de méthodologie documentaire ont-ils plus de chance de réussir l’année ? D’obtenir plus chance de réussir l’année ? D’obtenir plus d’UV ?d’UV ?

– 8171 étudiants inscrits en 86/87, 87/88 et 8171 étudiants inscrits en 86/87, 87/88 et 88/8988/89

– Réussit celui qui s’affilie Réussit celui qui s’affilie et participer à une formation documentaire et participer à une formation documentaire permet de s’affilierpermet de s’affilier

A. Coulon 1993A. Coulon 1993% 1UV% 1UV0,9 %0,9 %7,6 %7,6 %

% de réussite% de réussite 81,4 81,4 %%

97,5 97,5 %%

1987/1988 passage de DEUG 1 à DEUG 2 (D’après A. Coulon, 1993)

X21 = 20,33 (seuil P 0,0001)

Un étudiant de DEUG1 qui obtient une UV de doc. a 8 fois plus de chances d’accéder à la deuxième année de DEUGUn étudiant de DEUG1 qui obtient une UV de doc. a 8 fois plus de chances d’accéder à la deuxième année de DEUG

Nb UV Doc Nb UV Doc obtenuesobtenues

0 UV0 UV 1 UV1 UV TotalTotal

DEUG1 à DEUG1DEUG1 à DEUG1 330330 33 333333DEUG1 à DEUG2DEUG1 à DEUG2 14441444 118118 15621562EnsembleEnsemble 17741774 121121 18951895

Rapport de 1 à 8

Rapport de 1 à

1,2Nb UV Doc Nb UV Doc obtenuesobtenues

0 UV0 UV 1 UV1 UV TotalTotal % 1UV% 1UV

DEUG2 à DEUG2DEUG2 à DEUG2 737737 2727 764764 3,5 %3,5 %DEUG2 à LicenceDEUG2 à Licence 11501150 8585 12351235 6,9 %6,9 %EnsembleEnsemble 18871887 112112 19991999% de réussite% de réussite 60,9 60,9

%%75,9 75,9 %%

1988/1989 passage de DEUG 2 à licence (D’après A. Coulon, 1993)

X21 = 10,01 (seuil P 0,01)

Un étudiant de DEUG2 qui obtient une UV de doc. a presque 2 fois plus de chances d’accéder à la licenceUn étudiant de DEUG2 qui obtient une UV de doc. a presque 2 fois plus de chances d’accéder à la licence

Rapport de 1 à 2

A. Coulon 1993A. Coulon 1993• Taille très réduite de certains effectifs Taille très réduite de certains effectifs • Pas d’information sur l’équivalence des Pas d’information sur l’équivalence des

2 groupes (sexe, âge, nationalité, 2 groupes (sexe, âge, nationalité, filière d’étude, nombre d’UV choisies filière d’étude, nombre d’UV choisies au départ, niveau de compétence au départ, niveau de compétence initiale…)initiale…)

• Pas d’information sur les raisons qui Pas d’information sur les raisons qui amènent les étudiants à choisir 1 UV amènent les étudiants à choisir 1 UV de méthodologie documentairede méthodologie documentaire

A. Coulon 1999A. Coulon 1999• 13 783 étudiants « primo-entrants » dont 988 13 783 étudiants « primo-entrants » dont 988

ont suivi 1 UE de méthodologie documentaireont suivi 1 UE de méthodologie documentaire• Etude longitudinale : un suivi pendant 4 ansEtude longitudinale : un suivi pendant 4 ans• Vérification de l’éventuel effet de variables Vérification de l’éventuel effet de variables

parasites :parasites :– SexeSexe– AgeAge– Situation professionnelleSituation professionnelle– NationalitéNationalité– Mode d’admission à l’université (nouveau bac/autre)Mode d’admission à l’université (nouveau bac/autre)– Série du bacSérie du bac

A. Coulon 1999A. Coulon 1999

AucunAucunee 1-5 1-5 6-106-10 + 10+ 10 TotalTotal

Sans UE docSans UE doc 29%29% 22%22% 30%30% 20%20% 100%100%Avec UE docAvec UE doc 0%0% 6%6% 27%27% 68%68% 100%100%

TotalTotal 27%27% 20%20% 30%30% 23%23% 100%100%

Nbre UE obtenues en 91/92 par les étudiants de première DEUG en première inscription à Paris 8(D’après A. Coulon, 1999)

X21 non fourni (seuil P 0,0001)

En moyenne les étudiants sans UE doc réussissent 5,5 UE et ceux avec UE doc en réussissent 11,5

Effet très net !Mais attention : interférence de l’UE doc n’est pas contrôlée

A. Coulon 1999A. Coulon 1999Rythme d’études sur 4 ans pour les étudiants nouvellement inscrits en 1991-92 Rythme d’études sur 4 ans pour les étudiants nouvellement inscrits en 1991-92 et et ayant suivi une UE de documentationayant suivi une UE de documentation (D’après Coulon, 1999) (D’après Coulon, 1999)

Deug1Deug1 Deug2Deug2 LicenceLicence MaîtrisMaîtrisee

RéinscritRéinscritss

Sortie Sortie échecéchec

Sortie Sortie autreautre

1991-921991-92 1001001992-931992-93 33 9090 33 00 9696 22 221993-941993-94 77 1212 6868 11 8888 66 221994-951994-95 00 66 3030 3333 6969

Rythme d’études sur 4 ans pour les étudiants nouvellement inscrits en 1991-92 Rythme d’études sur 4 ans pour les étudiants nouvellement inscrits en 1991-92 et et n’ayant pas suivi une UE de documentationn’ayant pas suivi une UE de documentation (D’après Coulon, 1999) (D’après Coulon, 1999)

Deug1Deug1 Deug2Deug2 LicenceLicence MaîtrisMaîtrisee

RéinscritRéinscritss

Sortie Sortie échecéchec

Sortie Sortie autreautre

1991-921991-92 1001001992-931992-93 1212 5151 11 00 6565 2424 11111993-941993-94 66 1717 3030 11 5454 44 771994-951994-95 00 88 1919 1515 4242

A. Coulon 1999A. Coulon 1999• A nouveau résultats remarquables et A nouveau résultats remarquables et

cohérents avec l’étude de 1993cohérents avec l’étude de 1993• Mais …Mais …

– Pas de réelle preuve de l’absence d’effet des Pas de réelle preuve de l’absence d’effet des variables parasites (âge, sexe, …). Juste une variables parasites (âge, sexe, …). Juste une « preuve » visuelle« preuve » visuelle

9%

91%

16%

84%

0%10%20%30%40%50%60%70%80%90%

100%

Français Etrangers

UE docSans UE doc

Proportion d'étudiants ayant suivi une UE doc en fonction de la

nationalité7,00%

3,80%

0,00%1,00%2,00%3,00%4,00%5,00%6,00%7,00%8,00%

Français Etrangers

Donc les français ont presque 2 fois plus tendance à choisir UE doc

A. Coulon 1999A. Coulon 1999– Traitement individuel de ces variablesTraitement individuel de ces variables

=> Pas d’évaluation de leur éventuel effet combiné => Pas d’évaluation de leur éventuel effet combiné

Or si l’on regarde les caractéristiques de ceux qui suivent Or si l’on regarde les caractéristiques de ceux qui suivent une UE doc par rapport aux autres dans l’ensemble des 3 une UE doc par rapport aux autres dans l’ensemble des 3 cohortes, cohortes,

Non Non SalariSalariéé

Nouv Nouv bacbac

Bac ABac A HommeHomme FrançaiFrançaiss

JeuneJeune

89-9089-90 ++ -- ++ ++ ++ ++90-9190-91 - - ouou

+ + ??++ ++ ++ == - - ouou

+ + ??91-9291-92 ++ ++ ++ ++ ++ ++… A vérifier statistiquement !

A. Coulon 1999A. Coulon 1999– Idem pour l’effet de ces variables sur la réussite. Idem pour l’effet de ces variables sur la réussite.

Traitées séparément (avec une série de X²). Or, il Traitées séparément (avec une série de X²). Or, il aurait été préférable de les introduire dans une aurait été préférable de les introduire dans une modèle de régression multiple pour éliminer pas à modèle de régression multiple pour éliminer pas à pas leurs effets respectifs et voir ce qui reste.pas leurs effets respectifs et voir ce qui reste.

– D’autres variables parasites (la filière d’études, …) ?D’autres variables parasites (la filière d’études, …) ?– Pas d’information sur les raisons qui amènent les Pas d’information sur les raisons qui amènent les

étudiants à suivre une UE de documentation étudiants à suivre une UE de documentation • Le hasard pur ?Le hasard pur ?• Obligatoire dans certaines filières ? Impossible dans Obligatoire dans certaines filières ? Impossible dans

d’autres ?d’autres ?• Les étudiants les plus motivés ?Les étudiants les plus motivés ?• Les plus « affiliés » au départ ?Les plus « affiliés » au départ ?• ……..

– Enfin, certains X² sur des effectifs extrêmement Enfin, certains X² sur des effectifs extrêmement réduitsréduits

A. Coulon 1999A. Coulon 1999

• L’importance des effets observés et L’importance des effets observés et le fait qu’ils se répètent sur le fait qu’ils se répètent sur plusieurs cohortes d’étudiants à plusieurs cohortes d’étudiants à travers les 2 études sont très travers les 2 études sont très rassurants et enthousiasmantsrassurants et enthousiasmants

• Mais l’absence de ces effets Mais l’absence de ces effets parasites devrait être contrôlée !parasites devrait être contrôlée !

Etude à l’ULg (1998)Etude à l’ULg (1998)• Etude d’ampleur nettement plus limitée Etude d’ampleur nettement plus limitée • Comparer le niveau de réussite au TFE de fin Comparer le niveau de réussite au TFE de fin

de 2de 2èmeème cycle (bac+5) d’étudiants en cycle (bac+5) d’étudiants en psychologie ayant ou non suivi un cours de psychologie ayant ou non suivi un cours de formation documentaire en 4formation documentaire en 4èmeème année année

D’après Thirion (1998)D’après Thirion (1998) nn Niveau de Niveau de

réussite (sur réussite (sur 100)100)

tt pp

Sans fo Sans fo docdoc 117117 72,8072,80

--1,830571,83057 0,0340,034

Avec fo Avec fo docdoc

1616 79,0679,06

Etude à l’ULg (1998)Etude à l’ULg (1998)• Impact important (plus de 6 points sur Impact important (plus de 6 points sur

100)100)• Mais :Mais :

– Effectifs réduitsEffectifs réduits– Effets parasites éventuels des motivations de Effets parasites éventuels des motivations de

choix de suivre le cours de formation choix de suivre le cours de formation documentaire, en partie seulement contrôlésdocumentaire, en partie seulement contrôlés• Cours à option pour tous les étudiants Cours à option pour tous les étudiants • Mais obligatoires pour certains groupesMais obligatoires pour certains groupes

– L’évaluation de la qualité des TFE liée aussi L’évaluation de la qualité des TFE liée aussi aux compositions des jurysaux compositions des jurys

La littérature anglo-La littérature anglo-saxonnesaxonne

• Surprise ! Ici aussi, très peu d’études portant Surprise ! Ici aussi, très peu d’études portant spécifiquement sur l’efficacité des formations spécifiquement sur l’efficacité des formations documentaires documentaires (cfr Elisabeth Carter, 2002)(cfr Elisabeth Carter, 2002)

Etude quasi expérimentale de Todd (1995) Etude quasi expérimentale de Todd (1995) • Méthodologie :Méthodologie :

– 2 classes de 72 classes de 7èmeème en sciences : formation aux « en sciences : formation aux « Information skills Information skills » » intégrée au cursus (les enseignants de sciences travaillant en intégrée au cursus (les enseignants de sciences travaillant en collaboration avec les bibliothécaires) collaboration avec les bibliothécaires)

– 2 classes « contrôles » reçoivent uniquement la formation en 2 classes « contrôles » reçoivent uniquement la formation en sciences sans aucune intégration avec une formation aux sciences sans aucune intégration avec une formation aux compétences informationnelles. compétences informationnelles.

• Effet positif sur les capacités des étudiants à identifier des Effet positif sur les capacités des étudiants à identifier des stratégies de traitement de l’information pour résoudre leurs stratégies de traitement de l’information pour résoudre leurs besoins d’information vis-à-vis de contenus particuliersbesoins d’information vis-à-vis de contenus particuliers

• Mais les élèves les plus faibles ne voient pas leur performance Mais les élèves les plus faibles ne voient pas leur performance s’améliorer : l’effet de la formation aux compétences s’améliorer : l’effet de la formation aux compétences informationnelles ne serait donc pas linéaire !informationnelles ne serait donc pas linéaire !

La littérature anglo-La littérature anglo-saxonnesaxonne

• Par contre, existence d’études mesurant l’impact de Par contre, existence d’études mesurant l’impact de la bibliothèque sur la réussite des étudiantsla bibliothèque sur la réussite des étudiants– Lane (1966) : ne pas se contenter d’examiner les inputs Lane (1966) : ne pas se contenter d’examiner les inputs

traditionnels de la bibliothèque (budget, importance du traditionnels de la bibliothèque (budget, importance du fonds,...), mais examiner l’impact de la bibliothèque sur les fonds,...), mais examiner l’impact de la bibliothèque sur les résultats des étudiants. résultats des étudiants.

– 20 ans plus tard, Hiscock (1986) puis Powell (1992) vont 20 ans plus tard, Hiscock (1986) puis Powell (1992) vont dans le même sens : pour justifier son existence, la dans le même sens : pour justifier son existence, la bibliothèque universitaire doit démontrer l’existence d’un bibliothèque universitaire doit démontrer l’existence d’un lien positif entre l’usage que les étudiants en font et leur lien positif entre l’usage que les étudiants en font et leur niveau de réussite scolaireniveau de réussite scolaire

– Plus de 70 études de ce type sur les 60 dernières années Plus de 70 études de ce type sur les 60 dernières années dont (selon Lonsdale 2003) au moins 10 études majeures dont (selon Lonsdale 2003) au moins 10 études majeures depuis 2000. depuis 2000.

Pour la plupart, américaines.Pour la plupart, américaines.

Etudes de C. LanceEtudes de C. Lance• Etudes à très large échelleEtudes à très large échelle

– Plusieurs centaines d’écoles par étudePlusieurs centaines d’écoles par étude– Répliquées sur 8 états américains par l’auteur Répliquées sur 8 états américains par l’auteur

et sur d’autres encore par d’autres chercheurset sur d’autres encore par d’autres chercheurs• Portent principalement sur l’enseignement Portent principalement sur l’enseignement

primaire et secondaire, mais pas primaire et secondaire, mais pas uniquement (cfr Smith, 2001)uniquement (cfr Smith, 2001)

• Réussite scolaire évaluée par des tests Réussite scolaire évaluée par des tests spécifiques communsspécifiques communs

• Analyse de régressionAnalyse de régression

Etudes de C. LanceEtudes de C. Lance• Résultats très cohérents entre les étudesRésultats très cohérents entre les études

– Le statut socio-économique est le prédicteur le plus important de la performance Le statut socio-économique est le prédicteur le plus important de la performance scolaire scolaire

– Une fois cette variable contrôlée, ce sont les variables liées à la bibliothèque qui Une fois cette variable contrôlée, ce sont les variables liées à la bibliothèque qui expliquent le plus la réussite :expliquent le plus la réussite :

• Nombre d’ouvrages par étudiantNombre d’ouvrages par étudiant• Nombre de souscriptions à des périodiques par étudiantNombre de souscriptions à des périodiques par étudiant• L’importance des achats de matériel de bibliothèque par étudiantL’importance des achats de matériel de bibliothèque par étudiant• Le développement de programmes de bibliothèqueLe développement de programmes de bibliothèque• L’importance des heures d’ouverture de la bibliothèqueL’importance des heures d’ouverture de la bibliothèque• ……

Pour Smith (2001), cela explique de 4 à 8% de la variance de réussite Pour Smith (2001), cela explique de 4 à 8% de la variance de réussite selon les niveauxselon les niveaux

– Et cela, bien au-delà des autres caractéristiques Et cela, bien au-delà des autres caractéristiques telles que le ratio enseignant/élève, telles que le ratio enseignant/élève, dépenses de l’école par élève, … dépenses de l’école par élève, …

Et au-delà …Et au-delà …• Etude internationale de l’Etude internationale de l’IEAIEA (International (International

Association for the Evaluation of Educational Achievements)Association for the Evaluation of Educational Achievements) menée en 1990-1991 sur des enfants de 9 et 14 menée en 1990-1991 sur des enfants de 9 et 14 ans : ans : – Avoir d’importantes bibliothèques scolaires est un Avoir d’importantes bibliothèques scolaires est un

des éléments les plus importants qui distingue les des éléments les plus importants qui distingue les pays qui ont le meilleur niveau de réussite en lecturepays qui ont le meilleur niveau de réussite en lecture

– Ce facteur gagne même en importance après Ce facteur gagne même en importance après correction pour les conditions sociales et correction pour les conditions sociales et économiqueséconomiques

– Disposer de bonnes bibliothèques scolaires peut Disposer de bonnes bibliothèques scolaires peut combler une partie du fossé entre riches et pauvres combler une partie du fossé entre riches et pauvres en ce qui concerne le développement de la lectureen ce qui concerne le développement de la lecture

Et par rapport à la formation Et par rapport à la formation documentaire ?documentaire ?

• Si l’usage de la bibliothèque améliore les résultats scolaires, Si l’usage de la bibliothèque améliore les résultats scolaires, alors, une formation documentaire qui vise à une utilisation plus alors, une formation documentaire qui vise à une utilisation plus intensive et plus efficace de la bibliothèque doit avoir les mêmes intensive et plus efficace de la bibliothèque doit avoir les mêmes conséquences. conséquences.

• De plus, une série d’éléments deDe plus, une série d’éléments de ces larges études vont très ces larges études vont très clairement dans le sens d’un impact de ces formations :clairement dans le sens d’un impact de ces formations :– Au ColoradoAu Colorado (Lance, 2000) : le niveau d’implication des bibliothécaires (Lance, 2000) : le niveau d’implication des bibliothécaires

dans l’enseignement (collaboration avec enseignants, participation aux dans l’enseignement (collaboration avec enseignants, participation aux réunions d’enseignants, mise en place de formation documentaire pour réunions d’enseignants, mise en place de formation documentaire pour les enseignants, …) est lié à un meilleur niveau de réussite des étudiantsles enseignants, …) est lié à un meilleur niveau de réussite des étudiants

– En AlaskaEn Alaska (Lance 2000) : les écoles qui ont des équipes de (Lance 2000) : les écoles qui ont des équipes de bibliothécaires plus importantes passent plus de temps à faire de la bibliothécaires plus importantes passent plus de temps à faire de la formation documentaire. Il en résulte une fréquentation plus assidue de formation documentaire. Il en résulte une fréquentation plus assidue de la bibliothèque par les étudiants et un niveau de capacité en lecture plus la bibliothèque par les étudiants et un niveau de capacité en lecture plus élevéélevé

– En En Penssylvanie Penssylvanie (Lance) : les résultats des étudiants s’améliorent en (Lance) : les résultats des étudiants s’améliorent en fonction du nombre de bibliothécaires, de la place des technologies de fonction du nombre de bibliothécaires, de la place des technologies de l’information et de l’implication des bibliothécaires dans l’acquisition des l’information et de l’implication des bibliothécaires dans l’acquisition des « « information skillsinformation skills » »

Cette relation ne peut être expliquée par les autres caractéristiques de Cette relation ne peut être expliquée par les autres caractéristiques de l’école ou les caractéristiques socio-économiques du milieu dans lequel l’école ou les caractéristiques socio-économiques du milieu dans lequel elle s’inscrit.elle s’inscrit.

Document Acrobat

Et par rapport à la formation Et par rapport à la formation documentaire ?documentaire ?

– Dans le MassachusettsDans le Massachusetts (Baughman, 2000) : le degré de réussite (Baughman, 2000) : le degré de réussite des élèves à tous niveaux est lié à la présence d’un programme de des élèves à tous niveaux est lié à la présence d’un programme de formation documentaireformation documentaire

– Dans l’IowaDans l’Iowa (Rodney, Lance & Hamilton-Pennel, 2003) : le niveau (Rodney, Lance & Hamilton-Pennel, 2003) : le niveau de réussite des étudiants est lié au niveau d’implication des de réussite des étudiants est lié au niveau d’implication des bibliothécaires dans l’enseignement, leur collaboration avec les bibliothécaires dans l’enseignement, leur collaboration avec les enseignants et la mise en place de formation documentaire enseignants et la mise en place de formation documentaire

– Au TenesseeAu Tenessee, Williams, Wavell & Coles (2001) de même que , Williams, Wavell & Coles (2001) de même que Oberg (1999) montrent également la place de la bibliothèque et de Oberg (1999) montrent également la place de la bibliothèque et de la collaboration entre enseignants et bibliothécaires dans la la collaboration entre enseignants et bibliothécaires dans la réussite des étudiantsréussite des étudiants

– Le Library research service (fast facts 2001 ) conclut : « Le Library research service (fast facts 2001 ) conclut : « The more The more time library media specialists are able to spend teaching teachers time library media specialists are able to spend teaching teachers as well as students to make more effective use of information as well as students to make more effective use of information resources, the more successful the school will beresources, the more successful the school will be »»

– ……

Enthousiasmant, mais …Enthousiasmant, mais …• Ces études vont très clairement dans le même sens : Ces études vont très clairement dans le même sens :

impact de la bibliothèque en particulier des impact de la bibliothèque en particulier des formations documentaire sur la réussiteformations documentaire sur la réussite

• Mais :Mais :– Essentiellement enseignement primaire, voire secondaire. Essentiellement enseignement primaire, voire secondaire.

Très peu couvrent l’enseignement supérieurTrès peu couvrent l’enseignement supérieur– Selon certaines études : l’impact diminuerait au fur et à Selon certaines études : l’impact diminuerait au fur et à

mesure que les élèves vont vers l’enseignement supérieurmesure que les élèves vont vers l’enseignement supérieur– La « réussite » est entendue dans un aspect limité (test La « réussite » est entendue dans un aspect limité (test

spécifique, souvent de compétence en lecture, …)spécifique, souvent de compétence en lecture, …)– Pas de variables cachées ? Pas de variables cachées ?

Par exemple les écoles qui accorderaient le plus d’importance Par exemple les écoles qui accorderaient le plus d’importance à leur bibliothèque seraient celles qui accordent le plus à leur bibliothèque seraient celles qui accordent le plus d’importance à l’apprentissage des élèves ….d’importance à l’apprentissage des élèves ….

– Résultats transposables tels quels dans d’autre systèmes Résultats transposables tels quels dans d’autre systèmes d’enseignement ?d’enseignement ?

– Pas d’étude différentielle (type de formation documentaire, Pas d’étude différentielle (type de formation documentaire, importance horaire, place dans le cursus, style importance horaire, place dans le cursus, style d’enseignement, …)d’enseignement, …)

Pourquoi pas plus Pourquoi pas plus d’études ?d’études ?

• De nombreux éléments explicatifs :De nombreux éléments explicatifs :– Relative récence des formations documentairesRelative récence des formations documentaires– Les « pionniers » se concentrent d’abord sur la mise en place Les « pionniers » se concentrent d’abord sur la mise en place

des actions de formationdes actions de formation– Contrairement aux USA, absence d’indicateurs de Contrairement aux USA, absence d’indicateurs de

performance à large échelle permettant des études au niveau performance à large échelle permettant des études au niveau national ou international. Donc nécessité de travailler avec national ou international. Donc nécessité de travailler avec des indicateurs plus locaux et en soi moins généralisablesdes indicateurs plus locaux et en soi moins généralisables

– Absence de support institutionnel pour de telles recherchesAbsence de support institutionnel pour de telles recherches– Conviction inébranlable de l’importance de cette formation. Conviction inébranlable de l’importance de cette formation.

En particulier en France et en Belgique, foi en l’étude de En particulier en France et en Belgique, foi en l’étude de CoulonCoulon

– Peut-être une certaine crainte de ne pas trouver de résultats Peut-être une certaine crainte de ne pas trouver de résultats aussi probants… avec les risques associés ! aussi probants… avec les risques associés !

– Difficulté méthodologique apparente d’une telle évaluation Difficulté méthodologique apparente d’une telle évaluation pour les non-spécialistes de la méthodologie que nous pour les non-spécialistes de la méthodologie que nous sommes.sommes.

Vers une méthodologie Vers une méthodologie d’évaluation de l’impact ?d’évaluation de l’impact ?

• L’idéal est simple … Il suffit de :L’idéal est simple … Il suffit de :– Prendre deux échantillons strictement identiquesPrendre deux échantillons strictement identiques

• 1 groupe test qui va suivre une formation documentaire (le 1 groupe test qui va suivre une formation documentaire (le prédicteur)prédicteur)

• 1 groupe contrôle 1 groupe contrôle – Choisir une mesure de la performance scolaire (le Choisir une mesure de la performance scolaire (le

critère)critère)– Faire une comparaison statistique entre les 2 groupesFaire une comparaison statistique entre les 2 groupes

• Hélas, sur chacun de ces éléments, une série de Hélas, sur chacun de ces éléments, une série de difficultés vont venir perturber et complexifier ce difficultés vont venir perturber et complexifier ce modèle idéal …modèle idéal …

=> Il faudra y être extrêmement attentif sous => Il faudra y être extrêmement attentif sous peine de voir les résultats observés perdre toute peine de voir les résultats observés perdre toute valeur valeur

Quelles performances Quelles performances pour quelles compétences ?pour quelles compétences ?

• Les erreurs liées au critère !Les erreurs liées au critère !Un éventuel effet de la formation documentaire sur la compétence scolaire Un éventuel effet de la formation documentaire sur la compétence scolaire pourrait très bien être masqué ou accentué par une mauvaise qualité de pourrait très bien être masqué ou accentué par une mauvaise qualité de l’indicateur de performance choisil’indicateur de performance choisi

• Qu’est-ce que c’est la compétence scolaire ?Qu’est-ce que c’est la compétence scolaire ?– Comment est-elle définie et par qui ?Comment est-elle définie et par qui ?– Les compétences ! Probablement très différentes selon les niveaux, les Les compétences ! Probablement très différentes selon les niveaux, les

filières, voire les lieux de formation; ces ensembles de compétences n’étant filières, voire les lieux de formation; ces ensembles de compétences n’étant pas nécessairement couverts de la même façon par la formation pas nécessairement couverts de la même façon par la formation documentairedocumentaire

– On ne sait pas mesurer directement une « compétence ». On ne peut QUE On ne sait pas mesurer directement une « compétence ». On ne peut QUE travailler avec des indicateurs de celle-citravailler avec des indicateurs de celle-ci

• Ces indicateurs sont nombreux et parfois discordants : que prendre ?Ces indicateurs sont nombreux et parfois discordants : que prendre ?– Moyenne des résultats aux différents cours ? Moyenne des résultats aux différents cours ? – Travail de fin d’étude ? Travail de fin d’étude ? – Résultats aux stages ? Résultats aux stages ? – Proportion d’échec ? Proportion d’échec ? – Nombre d’abandons ? Nombre d’abandons ? – Durée moyenne des études ?Durée moyenne des études ?– Tests spécifiques créés pour l’occasion et directement liés aux objectifs Tests spécifiques créés pour l’occasion et directement liés aux objectifs

déclarés de la formation ?déclarés de la formation ?– Voire des mesures plus indirectes : rapidité dans la découverte d’emploi, … Voire des mesures plus indirectes : rapidité dans la découverte d’emploi, …


• Et en plus, ces indicateurs sont loin d’être parfaitsEt en plus, ces indicateurs sont loin d’être parfaits– Certains aspects de la compétence sont évalués, d’autres Certains aspects de la compétence sont évalués, d’autres

ne le sont pas ou très indirectement (esprit critique,…)ne le sont pas ou très indirectement (esprit critique,…)– Les examens ne sont QUE des échantillons de ce qui est Les examens ne sont QUE des échantillons de ce qui est

attenduattendu– Des éléments parasites interviennent dans la mesure Des éléments parasites interviennent dans la mesure

• Place de la subjectivité, de la chance, … en particulier dans Place de la subjectivité, de la chance, … en particulier dans les examens oraux, les rapports d’étudiants, …les examens oraux, les rapports d’étudiants, …

• Effets de haloEffets de halo• ……

Donc choisir avec soin les critères de performance Donc choisir avec soin les critères de performance et en prendre plusieurset en prendre plusieurs

Compétence scolaire Compétence scolaire « vraie »« vraie »


• Indépendance du critère de performance choisi par Indépendance du critère de performance choisi par rapport au prédicteur (càd la formation rapport au prédicteur (càd la formation documentaire) ?documentaire) ?

Dans le cas de cours intégrés au cursus : participation de Dans le cas de cours intégrés au cursus : participation de la note de fo doc à la note finale. => la note de fo doc à la note finale. => effet purement effet purement mécaniquemécanique

– Donc soit recalculer la note finale sans y intégrer la note Donc soit recalculer la note finale sans y intégrer la note de formation documentaire mais cela change le critère …de formation documentaire mais cela change le critère …

– Soit ne considérer comme significatif QUE si l’effet Soit ne considérer comme significatif QUE si l’effet observé dépasse ce simple effet mécanique (par exemple observé dépasse ce simple effet mécanique (par exemple faire une analyse de régression pour retirer l’effet de faire une analyse de régression pour retirer l’effet de cette note)cette note)

Et le prédicteur ??Et le prédicteur ??• C’est quoi C’est quoi « avoir suivi une formation documentaire »« avoir suivi une formation documentaire » ? ?

– S’y être inscrit ? S’y être inscrit ? – Avoir réellement participé à la formation ? A une partie Avoir réellement participé à la formation ? A une partie

seulement ?seulement ?– Avoir présenté l’examen ou rentré un rapport ?Avoir présenté l’examen ou rentré un rapport ?– Avoir réussi ? Avoir réussi ? – Avoir un certain niveau de réussite ?Avoir un certain niveau de réussite ?

• Tous les cas posent problèmesTous les cas posent problèmes– Soit vérifier les caractéristiques de ceux qui ne participent pas Soit vérifier les caractéristiques de ceux qui ne participent pas

à la totalité de la formation et on les élimine dans les 2 groupesà la totalité de la formation et on les élimine dans les 2 groupes– Soit vérifier que l’effet est obtenu pour PLUSIEURS de ces Soit vérifier que l’effet est obtenu pour PLUSIEURS de ces

prédicteurs et de façon graduéeprédicteurs et de façon graduée• De plus, les formations documentaires ne sont pas De plus, les formations documentaires ne sont pas

équivalentes équivalentes (objectifs différents, niveau d’étude différent, (objectifs différents, niveau d’étude différent, méthodologie différente, qualités pédagogiques différentes de méthodologie différente, qualités pédagogiques différentes de ceux qui la pratiquent, …)ceux qui la pratiquent, …)

Les échantillons ou le travail Les échantillons ou le travail de sape des variables de sape des variables

confondantes …confondantes …• Les différences observées entre les 2 groupes ne s’expliquent-elles pas par autre Les différences observées entre les 2 groupes ne s’expliquent-elles pas par autre

chose ?chose ?

• Le cas d’une répartition aléatoire des étudiantsLe cas d’une répartition aléatoire des étudiants– Risque des échantillons réduitsRisque des échantillons réduits– Est-ce vraiment aléatoire ? (exemple répartition selon le N° de matricule …)Est-ce vraiment aléatoire ? (exemple répartition selon le N° de matricule …)

• Les 2 groupes ne sont pas choisis aléatoirement Les 2 groupes ne sont pas choisis aléatoirement – Certaines filières doivent suivre la formation, d’autres pas. Certaines filières doivent suivre la formation, d’autres pas.

Ces filières sont-elles strictement équivalentes ?Ces filières sont-elles strictement équivalentes ?– Groupes choisis dans des institutions différentes. Groupes choisis dans des institutions différentes.

Formation identique ? Caractéristiques socio-économiques identiques ?, Formation identique ? Caractéristiques socio-économiques identiques ?, ……

– Choix personnel du cours par l ’étudiant. Choix personnel du cours par l ’étudiant. Même profil ? Mêmes éléments motivationnels ?Même profil ? Mêmes éléments motivationnels ?

– 2 groupes à des moments différents (avant et après l’introduction du cours dans le cursus).2 groupes à des moments différents (avant et après l’introduction du cours dans le cursus).N’y a-t-il pas coexistence avec une autre modification de l’enseignement N’y a-t-il pas coexistence avec une autre modification de l’enseignement

(autres cours, changement d’enseignant, changements des règles d’admission (autres cours, changement d’enseignant, changements des règles d’admission des étudiants.…) ?des étudiants.…) ?

• Donc :Donc :– Vérifier l’absence de tels effets.Vérifier l’absence de tels effets.

• Pas de manière simplement « visuelle » Pas de manière simplement « visuelle » • Mais de manière statistique et en tenant compte des éventuels effets combinés de plusieurs variables Mais de manière statistique et en tenant compte des éventuels effets combinés de plusieurs variables

en utilisant une analyse de régression multiple tenant compte des effets d’interactionsen utilisant une analyse de régression multiple tenant compte des effets d’interactions– Ou travailler par groupes contrastés larges et les plus homogènes possiblesOu travailler par groupes contrastés larges et les plus homogènes possibles

Au pays de la science, Au pays de la science, les aveugles sont rois …les aveugles sont rois …

• Celui qui mène la recherche n’est pas une simple Celui qui mène la recherche n’est pas une simple machine d’enregistrement. Il reste humain.machine d’enregistrement. Il reste humain.

• Inconsciemment, il aura tendance à trouver ce qu’il Inconsciemment, il aura tendance à trouver ce qu’il souhaite trouver.souhaite trouver.

• Une seule solution : travailler en « Une seule solution : travailler en « aveugleaveugle » » – Définir de manière stricte le plan de traitement des données et Définir de manière stricte le plan de traitement des données et

les outils statistiques AVANT la récolte des donnéesles outils statistiques AVANT la récolte des données– Se faire aider dans la récolte et le traitement des données par Se faire aider dans la récolte et le traitement des données par

des personnes des personnes • qui ne connaissent pas la recherche qui ne connaissent pas la recherche • et ne sont pas impliqués dans la formation. et ne sont pas impliqués dans la formation.

En particulier pour les mesures qualitatives ou plus complexesEn particulier pour les mesures qualitatives ou plus complexes– Lors du traitement, remplacer les noms des groupes par des Lors du traitement, remplacer les noms des groupes par des

identifiants neutresidentifiants neutres

Quelle « preuve » ?Quelle « preuve » ?• Statistiques descriptivesStatistiques descriptives

– Les éléments observés sont des faits, des Les éléments observés sont des faits, des certitudescertitudes

– Mais ils ne valent que pour le groupe étudiéMais ils ne valent que pour le groupe étudié• Statistiques inférentiellesStatistiques inférentielles

– On cherche à savoir si les résultats observés On cherche à savoir si les résultats observés peuvent se généraliser au-delà de l’échantillonpeuvent se généraliser au-delà de l’échantillon

– Il n’y a plus de preuve, juste des présomptionsIl n’y a plus de preuve, juste des présomptionsP=0.01 signifie que j’ai 1 chance sur cent de me P=0.01 signifie que j’ai 1 chance sur cent de me

trompertromper– On observe des corrélations, pas des causalités !On observe des corrélations, pas des causalités !

En résuméEn résumé– Travailler avec 2 groupes avec une répartition des Travailler avec 2 groupes avec une répartition des

étudiants la plus aléatoire possibleétudiants la plus aléatoire possible– Eviter les effectifs trop faibles (en dessous de 30)Eviter les effectifs trop faibles (en dessous de 30)– Utiliser plusieurs « mesures » de la performance Utiliser plusieurs « mesures » de la performance

scolairescolaire– Tenir compte des éventuels effets mécaniquesTenir compte des éventuels effets mécaniques– Vérifier par régression multiple l’absence d’effets Vérifier par régression multiple l’absence d’effets

des variables confondantes ou les neutraliserdes variables confondantes ou les neutraliser– Ajouter résultats année antérieure pour neutraliser Ajouter résultats année antérieure pour neutraliser

effets parasites (car cela va intégrer des variables effets parasites (car cela va intégrer des variables confondantes comme le sexe, le niveau de confondantes comme le sexe, le niveau de performance individuel initial…)performance individuel initial…)

– Travailler le plus possible « en aveugle »Travailler le plus possible « en aveugle »

Et avec un seul groupe ?Et avec un seul groupe ?C’est le cas lorsqu’une formation devient obligatoire C’est le cas lorsqu’une formation devient obligatoire

pour tous les étudiantspour tous les étudiants– Comparer le niveau de réussite à la formation Comparer le niveau de réussite à la formation

documentaire avec la réussite scolaire documentaire avec la réussite scolaire • IntéressantIntéressant• Mais ne prouve rien : les meilleurs ont tendance à mieux Mais ne prouve rien : les meilleurs ont tendance à mieux

réussir dans tous les cours donc aussi dans les cours de réussir dans tous les cours donc aussi dans les cours de formation documentaireformation documentaire

– Le mieux : recréer des conditions plus expérimentales avec Le mieux : recréer des conditions plus expérimentales avec plusieurs groupesplusieurs groupes

• Soit en comparant avec d’autres formations (surveys larges, ..)Soit en comparant avec d’autres formations (surveys larges, ..)• Soit en recréant à l’intérieur du groupe et de manière Soit en recréant à l’intérieur du groupe et de manière

purement aléatoire, des sous-groupes contrastés (différentes purement aléatoire, des sous-groupes contrastés (différentes méthodologies, …) et en les comparant entre euxméthodologies, …) et en les comparant entre eux

Si certains de ces groupes se distinguent au niveau de la Si certains de ces groupes se distinguent au niveau de la performance scolaire et ce de manière répétitive, on obtient performance scolaire et ce de manière répétitive, on obtient une double information :une double information :

– La formation documentaire peut avoir un impact sur la réussiteLa formation documentaire peut avoir un impact sur la réussite– Telle méthodologie est plus efficace que les autresTelle méthodologie est plus efficace que les autres

Les méta-analysesLes méta-analyses• A cause de la taille réduite de leurs échantillons, A cause de la taille réduite de leurs échantillons,

de bonnes études peuvent montrer des effets peu de bonnes études peuvent montrer des effets peu significatifssignificatifs

• Une solution : les méta-analyses Une solution : les méta-analyses – A partir d’une série d’études séparées et indépendantes, A partir d’une série d’études séparées et indépendantes,

mais ayant des caractéristiques communes (niveau mais ayant des caractéristiques communes (niveau d’étude, ...)d’étude, ...)

– Utilisation de méthode statistiques permettantUtilisation de méthode statistiques permettant• De réduire la part de variance liée à des artefacts De réduire la part de variance liée à des artefacts

méthodologiquesméthodologiques• Mettre en évidence celle réellement attribuable au prédicteurMettre en évidence celle réellement attribuable au prédicteur

Mais pour cela, il faut d’abord avoir de telles études Mais pour cela, il faut d’abord avoir de telles études locales !locales !

Il y a donc du travailIl y a donc du travail

• Renforcer le début de faisceau de preuvesRenforcer le début de faisceau de preuves– Mettre en place de larges surveys nationaux/internationauxMettre en place de larges surveys nationaux/internationaux– Mais aussi, multiplier les démarches locales d’évaluation Mais aussi, multiplier les démarches locales d’évaluation

basées sur des données solidesbasées sur des données solides… Doing the best you can with what you have… Doing the best you can with what you have (D. (D.

Barclay, 1993)Barclay, 1993)

Pour Welch et Braybrook (2002) ainsi que Todd (2002), les Pour Welch et Braybrook (2002) ainsi que Todd (2002), les preuves les plus utiles de l’effet des bibliothèques sur preuves les plus utiles de l’effet des bibliothèques sur l’apprentissage viendront d’études locales et de micro l’apprentissage viendront d’études locales et de micro recherches prenant en compte des éléments qualitatifs plutôt recherches prenant en compte des éléments qualitatifs plutôt que des surveys à large échelle, purement quantitatifs comme que des surveys à large échelle, purement quantitatifs comme ceux de Lanceceux de Lance

Merci de votre attention … …

courageuse !

Documents

3 èmes Rencontres FORMIST - 12 juin 2003