Embed Size (px)
Citation preview
Université Paris V, VI, XI et XII
Mémoire pour l’obtention du DIU de Pédagogie Médicale
Impact d’un outil pédagogique de type portfolio sur la
formation des étudiants hospitaliers en stage en
réanimation
Romain Pirracchio,
Né le 1er septembre 1975
Sous la direction du Pr Didier Journois, Service d’Anesthésie-Réanimation, HEGP, Paris
Service d’Anesthésie-Réanimation
Hôpital Européen Georges Pompidou
Université Paris V Descartes, Sorbonne Paris Cité
Remerciements:
- Pr Didier Journois, Service d’Anesthésie-Réanimation, HEGP, Paris
- Pr Jean Luc Diehl, Service de Réanimation Médicale, HEGP, Paris
- Drs Gabrielle Pinot et Alix Lagrange, Service d’Anesthésie-Réanimation, HEGP,
Paris
- Equipe de Réanimation Chirurgicale, HEGP, Paris
- Etudiants hospitaliers de Paris V Descartes, Sorbonne Paris Cité
Résumé
Introduction
Le portfolio est un outil pédagogique de plus en plus utilisé dans le domaine de la formation
médicale ou paramédicale. Le bénéfice sur l’acquisition des connaissances chez les étudiants
hospitaliers reste encore sous évalué en France et sujet à discussion.
Cette étude a pour objectif d’évaluer l’impact de l’intégration d’une démarche pédagogique
de type « réalisation d’un portfolio » sur l’acquisition de connaissances pratiques et théoriques
au cours des stages hospitaliers en réanimation.
Matériel et Méthodes
Etude prospective, interventionnelle et ouverte se déroulant depuis le mois de janvier 2011
dans les services de réanimation médicale et chirurgicale de l’Hôpital Européen Georges
Pompidou.
Comparaison des acquis théoriques et pratiques évalués à l’aide de QCMs entre deux groupes
d’étudiants répartis de manière aléatoire entre un service utilisant le portfolio (réanimation
chirurgicale) et un service ne l’utilisant pas (réanimation médicale).
Résultats
36 (sur 138 nécessaires) étudiants en DCEM2 suivis sur les 2 premiers trimestres. Parmi les
13 EH ayant passé plus de 2 jours à la réalisation de leur document, 11 provenaient de la
réanimation médicale. En réanimation médicale, 17 EH sur 23 (74%) ont passé moins de 75%
de leur temps en stage, contre 5 sur 13 (38%) en réanimation chirurgicale.
A ce stade, le service d’affectation n’est pas associé à la note globale. Néanmoins 4 EH (11%)
n’ont pas atteint la note globale de 5/10 et 3 de ces 4 EH (75%) étaient en stage en
réanimation médicale (pas de portfolio). En analyse univariée, l’affectation en réanimation
médicale est associée à une meilleure note théorique bien que l’effet reste non significatif.
L’affectation en réanimation médicale semble par contre associée à une moins bonne note
pratique, bien que cet effet soit toujours non significatif. Cette opposition d’effet sur les notes
théorique et pratique disparaît néanmoins après ajustement.
Conclusion
La réalisation d’un portfolio pourrait faciliter l’acquisition de connaissances pratiques plutôt
que théoriques et être associé à une plus grande assiduité sur le terrain de stage. Le portfolio
ne semble pas associé à une augmentation de la charge de travail. Néanmoins, le faible
effectif inclus dans l’analyse ne nous permet pas de tirer de conclusion à ce stade.
Introduction
Au cours des études, en particulier médicales, la justification de l’investissement des étudiants
au sein de terrains de stage hospitaliers doit être d’apporter une valeur ajoutée pédagogique
supplémentaire à l’enseignement théorique académique et au travail personnel sur support
« statique ». Afin de tirer au mieux partie de cette potentielle valeur ajoutée pratique,
l’objectif pour les encadrants est de guider les étudiants vers des démarches visant à les inciter
à tirer partie de leur expérience dans le monde professionnel réel pour enrichir, compléter et
éventuellement rectifier les connaissances théoriques acquises par ailleurs.
Le portfolio est un dossier personnel compilant les acquis de formation et les acquis de
l'expérience d'une personne, le plus souvent en vue d'une reconnaissance par un employeur.
Du fait du lien direct qu’elle permet d’établir entre l’acquisition des connaissances et
l’évaluation des acquis, cette méthode a rapidement été translatée vers le domaine de la
pédagogie. Les bénéfices d’une telle approche dans le domaine de l’éducation ont déjà fait
l’objet d’évaluations dont les résultats se sont avérés encourageants : rapprochement de
l’enseignement et de l’étudiant, autoévaluation des acquis, évaluation des étudiants dans des
domaines peu accessibles aux évaluations usuelles 1
2
3
4. Plus récemment, sous l’impulsion
prépondérante du ministère de l’éducation du Québec, le portfolio a été translaté dans le
domaine de l’éducation, où il se veut un témoin et un instrument de développement des
compétences de l'élève 5 6.
Ainsi le portfolio permet-il d’apprendre à se fixer un objectif et à mesurer en continu de
quelle façon et à quel point on l’atteint 4. En outre il éclaire sur l’apport réel des sources
d’information et permet d’en hiérarchiser l’intérêt. Il permet donc ainsi de prendre conscience
des mécanismes de l’apprentissage sur le terrain, où les sources de connaissance sont à la fois
nombreuses et diverses, ce qui est typiquement le cas d’un stage hospitalier et justifie
l’apparition du portfolio dans le domaine des études médicales. Cette approche pédagogique,
bien que largement utilisée en Amérique du Nord et dans les études paramédicales, reste
encore peu diffusée au cours des études médicales en France.
Le portfolio est davantage qu’un inventaire ou qu’un simple carnet de bord. Il s’agit d’un
document de synthèse dans lequel doivent figurer 7:
a) une compilation de documents variés : récits de situations cliniques, description de
problématiques auxquelles l’étudiant a été confronté, notes d’analyse bibliographique critique,
description de projets en cours, vidéoclips d’entretiens avec des patients ou de tâches
procédurales, etc.;
b) une synthèse des apprentissages articulée autour des différentes informations compilées
dans le document.
Il n’y a pas de restriction a priori quant à la nature des documents archivés dans un portfolio.
Ceux mentionnés ci dessous ne sont que des exemples couramment rencontrés :
– des récits de situations cliniques auxquelles l’étudiant a été confronté, permettant d’aborder
différents aspects de l’action médicale (diagnostic, relation médecin-patient, éducation
thérapeutique, aspects déontologiques et éthiques, etc.);
– des comptes rendus de diverses activités auxquelles a participé l’étudiant dans le cadre de
son stage: réunions de service, confrontations anatomo-cliniques, séances de bibliographie,
exposés, conférences, etc.
– des comptes rendus de lecture de toute forme d’information médicale (articles, livres,
documentation électronique, documents d’information, etc.);
– des comptes rendus d’entretiens formels ou informels avec diverses personnes rencontrées
sur le terrain: pairs, maîtres de stage, tuteurs ou mentors, patients, familles de patients, etc.;
– des compte-rendus de tâches procédurales (gestes techniques);
– des journaux de bord: relevés plus ou moins systématisés d’activités accomplies sur le
terrain.
Ainsi le portfolio s’encre-t-il résolument dans le réel, proposant ainsi à l’étudiant une
démarche alternative de résolution d’une problématique, censée se nourrir autant du savoir
académique que de l’expérience du terrain. Si l’objectif du portfolio a été saisi et le travail de
stage mené à bien, la présentation du document finalisé doit être très différente de celle d’un
exposé académique. Néanmoins, si plusieurs travaux ont conclu en faveur d’un bénéfice
pédagogique sous la forme d’une promotion de l’apprentissage en association avec
l’utilisation du portfolio 8 9, un déficit d’évaluation de la méthode a été plusieurs fois souligné
10 7et leur véritable intérêt en médecine reste sujet à débat
11 12
.
Notre hypothèse de travail est que la réalisation d’un portfolio au décours du stage hospitalier,
permet d’ancrer l’étudiant dans la réalité de son terrain de stage et de lui apprendre à tirer
profit des informations du monde réel, afin d’enrichir son savoir académique. Plus qu’enrichir
la réflexion sur une thématique posée, la démarche pédagogique portée par le portfolio est de
susciter chez l’étudiant la démarche d’apprendre à apprendre. Fort de cette réflexion
pédagogique, les étudiants hospitaliers en stage dans le service de réanimation chirurgicale de
l’Hôpital Européen Georges Pompidou doivent, depuis plusieurs années, présenter en fin de
trimestre un portfolio portant sur un sujet choisi en début de stage. Pour autant, le bénéfice
pédagogique d’une telle approche n’a, à ce jour, fait l’objet d’aucune évaluation formelle.
L’objectif de cette étude est d’évaluer l’impact sur l’apprentissage de l’intégration d’une
démarche pédagogique de type « réalisation d’un portfolio » au cours des stages hospitaliers
en réanimation.
Matériel et Méthodes
Cette étude prospective, interventionnelle et ouverte se déroule depuis le mois de janvier 2011
dans les services de réanimation médicale et chirurgicale de l’Hôpital Européen Georges
Pompidou.
Population
Les étudiants hospitaliers en stage dans les deux services de réanimation participant à cette
étude sont dans la grande majorité en 4ème
année d’études médicales (DCEM2). La population
à l’étude est constituée de l’ensemble des étudiants hospitaliers en DECM2, en stage dans les
services de réanimation médicale et chirurgicale à partir du 2 janvier 2011. Sont exclus de
l’étude les étudiants n’étant pas en 4ème
DCEM2.
Protocole
Description des groupes
Les étudiants évalués dans cette étude sont répartis en deux groupes. Cette répartition
correspond aux deux terrains de stage que sont les réanimations médicale et chirurgicale. La
répartition dans l’un ou l’autre des groupes peut s’apparenter à un processus de randomisation
naturelle, dans la mesure où l’affectation dans l’un des deux services de réanimation est
déterminée par ordre alphabétique patronymique par la faculté.
Selon une pratique en vigueur depuis plusieurs années dans chacun des deux services, les
étudiants doivent réaliser en fin de stage (période de 3 mois) une présentation formalisée
devant leurs tuteurs.
L’intervention à l’étude concernera la modalité d’acquisition des connaissances sur le sujet de
leur présentation de fin de stage par les étudiants. Dans le service de réanimation médicale, la
pratique habituelle est de réaliser une présentation de type « exposé ». Dans le service de
réanimation chirurgicale, la méthodologie usuelle d’acquisition des connaissances en vue de
la présentation de fin de stage repose sur la réalisation d’un document de type portfolio, tel
que décrit dans le rationnel ci-dessus. En réanimation chirurgicale, le concept du portfolio fait
l’objet d’une réunion explicative après détermination des sujets. Dans les deux services, une
réunion de mise au point sur l’état d’avancement des projets est réalisée à mi-stage.
Pour cette étude, le groupe « exposé » (réanimation médicale) est considéré comme le groupe
contrôle, tandis que le groupe « portfolio » (réanimation chirurgicale) est considéré comme le
groupe interventionnel.
L’objectif de ce travail est d’évaluer l’impact sur l’acquisition des connaissances au décours
d’un stage hospitalier en réanimation, d’une approche pédagogique basée sur la réalisation par
les étudiants d’un portfolio au décours de leur stage en réanimation.
Déroulement de l’étude
Pour le déroulement de l’étude, la seule modification apportée aux pratiques usuelles consiste
en un tirage au sort séparément dans chaque service du sujet de la présentation de fin de stage,
à partir d’une banque de sujets commune aux deux réanimations, de telle sorte que les sujets
traités par les étudiants soient identiques dans les deux groupes. Afin de limiter le risque de
biais, les étudiants ne sont pas tenus informés durant leur stage de l’existence de cette étude.
A la suite de la présentation de fin de stage, un contrôle des connaissances est réalisé sans que
les étudiants n’aient été prévenus. Cette évaluation est réalisée sous la forme de 10 QCMs
portant pour la moitié sur des items théoriques, pour l’autre moitié sur des items pratiques en
rapport direct avec le sujet qu’ils auront eu à présenter. Dans cet objectif, un panel de 10
QCMs pour chacun des sujets a été réalisé par les médecins des deux services.
Critères de jugement
L’impact sur l’acquisition des connaissances de la stratégie pédagogique basée sur le portfolio
est évalué par l’analyse des réponses aux QCMs de fin de stage dans chacun des groupes, en
tentant de quantifiant l’apport théorique et pratique de chacune des deux approches
pédagogiques.
Le critère de jugement principal est la note sur 10 points obtenue aux QCMs. Les critères de
jugement secondaires sont les notes sur 5 points obtenus pour les sous sections théoriques et
pratiques des QCMs et la proportion d’étudiants ayant une note inférieure à 5/10 aux 10
QCMs.
Variables relevées
Les variables recueillies au cours de l’étude sont le thème de la présentation, le trimestre
d’inclusion dans l’étude, le temps passé à préparer la présentation ainsi que le temps passé sur
le terrain de stage.
Analyse statistique
Les variables continues sont exprimées en médianes (InterQuartile Ranges) ou moyenne ±
écart type en fonction des distributions. Les variables catégorielles ou binaires sont exprimés
en pourcentages.
Afin de mettre en évidence une différence moyenne de 1 point sur le critère de jugement
principal avec une puissance de 90%, en considérant une note moyenne dans le groupe
contrôle de 6 ± 2 (évaluée par sur la note obtenue dans le groupe contrôle au cours du premier
trimestre), un nombre de sujets nécessaires est de 69 par groupe, en acceptant une probabilité
d’erreur de 1ère espèce de 5%. Le nombre d’étudiants hospitaliers en stage sur les deux
réanimations variant autour de 70 par an, il est attendu que l’étude dure 2 ans.
Etant donné les faibles effectifs inclus pour cette analyse préliminaire, les variables ont été
comparaisons ont été réalisées au moyen de tests non paramétriques de Wilcoxon pour les
variables continues, de Fisher pour les variables catégorielles. Toujours du fait du faible
effectif, les analyses réalisées doivent être considérées plus comme exploratoires que comme
des résultats définitifs.
La note obtenue aux QCMs a ensuite été modélisée à l’aide d’un modèle linéaire à effet mixte
afin de prendre en compte la corrélation entre les données dans chaque cluster d’étudiants
hospitaliers (un cluster correspondant à un trimestre). Après une étape univariée, l’ensemble
des variables d’ajustement ont été introduites dans le modèle. Une procédure de sélection de
variables de type « backward » a ensuite été appliquée avec pour objectif l’optimisation du
critère d’information d’Akaike (AIC). La mesure d’association est le risque relatif associé à
son intervalle de confiance à 95%. Un seuil de significativité de 0,05 a été retenu.
L’ensemble des analyses a été réalisé sur le logiciel R (http://www.R-project.org).
Résultats
Le collectif
Les résultats présentés dans ce document sont préliminaires et correspondent à l’analyse de
deux trimestres de stages d’étudiants hospitaliers, entre le 2 janvier et le 30 juin 2011.
Au cours de ces 2 trimestres de stage, 36 étudiants hospitaliers (EH) ont participé à l’étude
(18 entre janvier et mars, 18 entre avril et juin). Parmi les 36 EH, 23 ont fait leur stage en
réanimation médicale (12 au cours du premier trimestre et 11 au cours du second) et 13 en
réanimation chirurgicale (6 au cours du premier trimestre et 7 au cours du second). Tous
étaient en DCEM2. Aucun n’a été exclu de l’analyse et aucune donnée ne manque.
La table 1 résume la répartition des EH dans les 2 services et au cours des 2 trimestres. Elle
rapporte également des informations quant aux temps, rapportés par les EH, dévolus au stage
sur le terrain et à la préparation du document de fin de stage. Globalement 13 EH (36%) ont
rapporté avoir passé plus de 2 jours à préparer ce document, alors qu’un seul (3%) a déclaré y
avoir passé seulement une demi journée. Parmi ces 13 EH ayant passé plus de 2 jours à la
réalisation de leur document, 11 provenaient de la réanimation médicale. Quatorze EH (39%)
ont rapporté avoir passé entre 75 et 100% de leur trimestre sur le terrain de stage tandis que 8
(22%) estiment y avoir passé moins de 50%. En réanimation médicale, 17 EH sur 23 (74%)
ont passé moins de 75% de leur temps en stage, contre 5 sur 13 (38%) en réanimation
chirurgicale.
La distribution des notes obtenues aux QCMs
La distribution des notes obtenues aux QCMs est représentée dans la figure 1. La note globale
sur les 2 réanimations était de 6 [6-7], subdivisée en 3[3-4] pour la note théorique et 3[3-4]
pour la note pratique. La note minimale globale observée sur notre échantillon était de 3,
tandis que la note globale maximale de 10. Concernant la note pratique, la minimale était de
0, la maximale de 5, alors que la note théorique minimale était de 1, la maximale de 5. Quatre
EH (11%) n’ont pas atteint la note globale de 5/10. Trois de ces 4 EH (75%) étaient en stage
en réanimation médicale (pas de portfolio).
Analyse descriptive des résultats obtenus par sujet
Les différents thèmes ayant été traités par les étudiants sont les suivants : prise en charge de la
douleur en réanimation, prise en charge du délirium tremens en réanimation, decubitus ventral
au cours du syndrome de détresse respiratoire aigue, pratique de l’échocardiographie en
réanimation, épuration extra rénale en réanimation, visites des familles, infections sur
cathéters, nutrition entérale chez les patients de réanimation, remplissage vasculaire,
syndrome de détresse respiratoire aigue, sédation, sevrage de la ventilation mécanique.
La figure 2 représente la différence de note obtenue en fonction du terrain de stage pour
chacun des thèmes.
Analyse des variables associées aux notes
De nouveau, du fait du faible effectif, les associations rapportées ci dessous doivent être
considérées plus comme exploratoires à défaut de constituer des résultats définitifs.
Les résultats concernant l’association entre les notes globales, théoriques et pratique et les
potentielles variables explicatives son résumés dans la table 2.
Note Globale
Un lien entre la note obtenue aux QCMs et les facteurs suivants a été recherché : temps passé
à préparer le document de fin de stage, temps passé sur le terrain de stage, sujet de la
présentation, période de stage et enfin le service d’affectation. La période (trimestre janvier-
mars ou avril-juin) n’était pas associée à la note globale (RR : 0.94, IC95% : 0.01-1.89,
p=0.06). Le temps consacré à la réalisation du document n’était pas associé à la note (RR : -
0.07, IC95% : -0.62-0.48, p=0.70), pas plus que le temps passé sur le terrain de stage (RR : -
0.19, IC95% : -0.68-0.30, p=0.45). En analyse univariée, le service d’affectation n’était pas
associé à la note globale (RR: 0.30, IC95% :-0.69-1.29, p=0.56). En analyse multivariée, les
résultats sont peu différents : terrain de stage (RR: 0.57, IC95% : -0.59-1.72), temps pour la
préparation du document (RR : -0.22, IC95% : -0.84 – 0.41), et temps passé sur le terrain
(RR : -0.24, IC95% : -0.75 – 0.27).
Notes Théorique & Pratique
De nouveau, eu égard au faible effectif, les résultats concernant les notes obtenues dans les
sous sections théorique et pratique restent dans l’ensemble non significatif (Table 2). A noter
cependant un effet significatif de la période d’étude sur la note théorique, suggérant une
inhomogénéité des étudiants entre le premier et le second trimestre 2011 : comparaison de la
période 2 (avril à juin) par rapport à la période 1 (janvier à mars) : RR : 0.78, IC95% : 0.13 –
1.43, p=0.02. En analyse univariée, les estimations des effets du terrain de stage semblent
opposées sur la note obtenue dans la sous section théorique et la sous section pratique. En
effet, l’affectation en réanimation médicale (exposé) est associée à une meilleure note
théorique que l’affectation en réanimation chirurgicale (portfolio), bien que l’effet reste non
significatif : RR : 0.37, I95% : -0.30 – 1.05. L’affectation en réanimation médicale semble par
contre associée à une moins bonne note pratique, bien que cet effet soit toujours non
significatif : RR : -0.08, IC95% : -0.86 – 0.70. Cette opposition d’effet sur les notes théorique
et pratique disparaît néanmoins après ajustement.
Discussion
Le portfolio est une approche pédagogique alternative censée inciter l’étudiant à tirer partie de
son expérience sur le terrain 5. Il s’agit d’une stratégie de résolution d’une problématique,
censée se nourrir autant du savoir académique que de l’expérience du terrain 5. L’hypothèse
testée dans ce travail est que la réalisation d’un portfolio au décours du stage hospitalier,
permet d’encrer l’étudiant dans la réalité de son terrain de stage et de lui apprendre à tirer
profit des informations du monde réel, afin d’enrichir son savoir académique. Ainsi, face à
une problématique donnée, cette approche doit-elle permettre l’acquisition de connaissances à
la fois théoriques pratiques, à la différence d’une approche résolutive académique usuelle de
type exposé. Pour autant, le bénéfice pédagogique de l’intégration d’une démarche
pédagogique de type « réalisation d’un portfolio » au cours des stages hospitaliers n’a, à ce
jour, fait l’objet d’aucune évaluation formelle. Les résultats préliminaires rapportés ici
concernent l’analyse comparative des résultats obtenus à des QCMs par les étudiants
hospitaliers en stage en réanimation médicale (réalisation au cours du stage d’un exposé
académique sur une question déterminée en début de stage) et en réanimation chirurgicale
(réalisation au cours du stage d’un portfolio sur une question déterminée en début de stage).
Pour les besoins de la comparaison, les problématiques abordées et les QCMs d’évaluation
étaient les mêmes dans les deux services. Sur les 36 étudiants analysés pour cette étape
préliminaire, la note globale (sur 10) sur les 2 réanimations était de 6 [6-7], subdivisée en 3[3-
4] pour la note théorique et 3[3-4] pour la note pratique. Ces notes n’étaient pas différentes
entre les deux terrains de stage. Néanmoins, 4 EH (11%) n’ont pas atteint la note globale de
5/10 et 3 de ces 4 EH (75%) étaient en stage en réanimation médicale (pas de portfolio).
Autant en analyse univariée, qu’en analyse multivariée, l’examen des données à ce stade
d’avancement de l’étude n’a pas permis de mettre en évidence de lien significatif entre un des
facteurs mesuré (terrain de stage, temps passé en stage, temps passé à la réalisation du
document) et la note obtenue. Les résultats intermédiaires restent non significatifs lorsque l’on
s’intéresse aux sous sections explorant les connaissances théoriques et pratiques des notes
obtenues aux QCMs.
L’implémentation du portfolio en tant qu’outil d’apprentissage et d’évaluation a fait l’objet de
plusieurs expériences et évaluations au cours des dernières années 13
. Cette implémentation du
portfolio dans le parcours des étudiants en médecine a été associée à de multiples bénéfices en
terme pédagogique 14
. On retrouve notamment dans la littérature des arguments en faveur : 1/
d’une amélioration de la compréhension en favorisant la construction de pont cognitifs entre
connaissances pratiques et théoriques 15
16
17
18
19
20
; 2/ d’un encouragement à
l’autonomisation dans l’apprentissage 21
11
22
23
24
25
26
27
; 3/ d’une préparation efficace à
l’apprentissage plus « professionnel » rencontré au cours des phases ultérieures de formation
28 ; 4/ d’un effet positif sur la qualité d’écoute et d’enseignement du tuteur
17
24
27. Nos
résultats sont malheureusement encore trop préliminaires pour espérer confirmer ces
bénéfices attendus. Néanmoins, il est intéressant de noter à titre exploratoire et provisoire que
les estimations des effets du terrain de stage semblent opposées sur la note obtenue dans la
sous section théorique et la sous section pratique. En effet, l’affectation en réanimation
médicale (approche pédagogique de type réalisation d’exposé) était associée à une meilleure
note théorique que l’affectation en réanimation chirurgicale (approche pédagogique de type
réalisation d’un portfolio). A l’inverse, l’affectation en réanimation médicale semble associée
à une moins bonne note pratique, bien que cet effet soit toujours non significatif : RR : -0.08,
IC95% : -0.86 – 0.70. Néanmoins ces effets restaient non significatifs à ce stade de l’analyse
et tendaient à disparaître après ajustement. Ceci pourrait être expliqué par une incitation à
une plus grande assiduité en stage grâce au portfolio, comme en témoigne le temps passé sur
le terrain par les EH : en réanimation médicale, 17 EH sur 23 (74%) ont passé mois de 75%
de leur temps en stage, contre 5 sur 13 (38%) en réanimation chirurgicale.
Certains auteurs se sont intéressés à la perception du portfolio par les étudiants. Dans notre
université (Paris V Descartes, Sorbonne Paris Cité), Amsellem-Ouazana et coll. 29
ont
rapporté en 2007 chez 36 étudiants ce type d’expérience dans un service de chirurgie
urologique. Ces auteurs avaient ensuite proposé aux EH d’évaluer l’intérêt du portfolio :
27/36 avaient exprimé le désir de réitérer l’expérience pour d’autres acquis, tandis que
l’ensemble considéraient qu’il s’agit d’un outil d’apprentissage personnel intéressant. Les EH
considéraient que le portfolio avait permis une amélioration de leurs connaissances théoriques
(30/36), et leur capacité à sélectionner les informations (34/36). En Ecosse, Davis et coll. ont
également évalué au travers d’un questionnaire la perception du portfolio par leurs étudiants
30. Dans ce travail, l’avis des étudiants a été collecté pendant 4 années consécutives (1999 à
2003) et il est intéressant de noter que l’introduction d’une telle méthode était initialement
mal perçue par les étudiants. L’opinion est néanmoins devenue positive au cours des années et
les étudiants soulignaient deux points essentiels dans ce travail : l’intérêt du portfolio pour les
améliorer à leur démarche d’apprentissage et d’évaluation, et le resserrement des liens entre
étudiants et enseignants au cours de la construction du portfolio. Un point négatif était
souligné de manière récurrente dans cette étude. Il s’agissait de l’interférence négative
potentielle entre la constitution du portfolio et le travail nécessaire pour la poursuite du cursus
académique. Même s’il est effectivement reconnu que le portfolio est à l’origine d’une
surcharge de travail pour l’étudiant et pour l’enseignant 31
, Davis et coll. avait amélioré la
perception du portfolio chez les étudiants au cours des années en diminuant progressivement
le volume du contenu. Dans notre travail, la perception des EH n’a pas fait l’objet d’un recueil
formalisé. Néanmoins, l’ensemble des enseignants de la réanimation chirurgicale avaient
l’occasion de sonder l’opinion des EH. La plupart des étudiants se disaient satisfaits et
prétendaient s’être approprié leur sujet grâce à la réalisation du portfolio. Ils soulignaient
également pour la plupart la surcharge de travail occasionnée par le portfolio. Néanmoins, 11
EH sur 13 affectés en réanimation chirurgicale prétendaient avoir passé au maximum 2
journées entières à la réalisation de leur portfolio au cours du trimestre, alors que 11 EH sur
23 affectés en réanimation médicale prétendaient avoir passé plus de 2 jours à l’élaboration de
leur exposé. La perception concernant le portfolio est donc possiblement liée à un manque
d’organisation dans le travail nécessaire à l’élaboration du portfolio, consistant à mobiliser
l’ensemble du temps nécessaire au cours d’une courte période en fin de stage. Cette
organisation pourrait être améliorée par un renforcement du tutorat 32
. Une autre difficulté
rapportée par nos EH concernait la disponibilité parfois faible des enseignants pour répondre à
des questions sur leur portfolio. Ce point pourrait être amélioré par l’instauration d’un tutorat
individuel pour chaque EH, ce qui per mettrait sans doute d’améliorer le suivi du portfolio, de
resserrer encore les liens entre EH et enseignants et peut être d’optimiser l’organisation du
travail de l’étudiant en l’incitant à constituer son document tout au long du stage. Une telle
organisation nécessite néanmoins un investissement important de la part des cliniciens 31
.
Austin et coll. 32
ont récemment évalué à l’aide de questionnaires la perception des tuteurs sur
la réalisation d’un portfolio par les étudiants hospitaliers à l’université de Manchester, UK.
Dans ce travail, les tuteurs exprimaient un avis globalement positif sur leur rôle
d’accompagnement dans la constitution du portfolio. Concernant le contenu du portfolio, les
tuteurs considéraient qu’un portfolio de contenu trop directif aboutissait à la constitution d’un
document trop « scolaire » et qu’il fallait préférer un document beaucoup plus ouvert
« tutorisé ». De manière intéressante, les tuteurs supportaient pour cela la tenue de réunions de
groupe plutôt que le travail en binôme étudiant/tuteur pour l’encadrement du portfolio. Le rôle
de tuteur tel qu’il était perçu par les membres de cette équipe ne se limitait pas à s’assurer de
l’avancée du portfolio mais surtout de stimuler la réflexion aux différents stades d’évolution
du projet. Deux différences principales sont à noter entre notre expérience et celle de
Manchester : 1/ les tuteurs de l’équipe de Manchester bénéficie d’une formation et
considèrent tous être suffisamment formés, 2/ la constitution du portfolio s’inscrit dans un
projet pédagogique de longue durée au décours de plusieurs années de stages hospitaliers.
Le présent travail présente des limites qu’il convient de souligner. La première est le manque
évident de puissance empêchant toute conclusion sur un plan statistique. Il s’agit néanmoins
d’un rapport préliminaire, le recueil de données étant toujours en cours et devant permettre
d’atteindre au bout de 2 ans la puissance nécessaire pour conclure sur notre critère de
jugement principal. La seconde limite tient à la nature de la comparaison, qui ne permet pas
d’exclure l’existence d’un biais. En effet, nous avons de décider de comparer 2 groupes issus
d’une randomisation, et chacun caractérisé par une approche pédagogique différente. De cette
comparaison, nous tirons des conclusions en termes d’effet causal des approches
pédagogiques sur les acquis. Néanmoins, nous ne pouvons pas exclure le fait que dans les 2
groupes, en l’occurrence les 2 services de réanimations, la prise en charge des EH puissent
différer sur d’autres points que la présence ou non d’un portfolio. De plus, malgré nos efforts
pour maintenir secret au sein des EH le déroulement de cette étude, nous ne pouvons pas
exclure que l’information ait été dévoilée après la première série d’étudiants, pouvant alors
modifier l’implication de l’EH dans son stage et biaiser la suite des résultats. Enfin, notre
travail n’a pas à ce jour intégré d’évaluation de la perception des tuteurs, mais une telle
évaluation est prévue en fin de recueil des données.
En conclusion, la présente étude comparant deux approches pédagogiques différentes pour la
prise en charge des étudiants hospitaliers en stage en réanimation ne permet pas à ce stade de
mettre en évidence de différence entre les deux méthodes. A titre provisoire, nous pouvons
néanmoins noter que la réalisation d’un portfolio ne semble pas associée à une augmentation
de la charge de travail, et par ailleurs que la réalisation d’un portfolio pourrait faciliter
l’acquisition de connaissances pratiques plutôt que théoriques et être associée à une plus
grande assiduité sur le terrain de stage. Néanmoins, le faible effectif inclus dans l’analyse ne
nous permet pas de tirer de conclusion à ce stade.
Figure 1. Distribution des notes obtenues aux QCMS. La partie haute correspond à
la distribution des notes sur l’ensemble des 2 groupes. La partie inférieure correspond à la
distribution des notes en fonction des groupes (réa med : « exposé », réa chir : « portfolio »).
Global
(n=36)
Réanimation Chirurgicale
(n=13)
Réanimation Médicale
(n=23)
Période :
- Janvier-mars
- Avril-Juin
18
18
6
7
12
11
Temps Document :
- ½ journée
- 1 journée
- 2 jours
- >2 jours
1
11
11
13
1
7
3
2
0
4
8
11
Temps Stage :
- 100%
- 75-100%
- 50-75%
- <50%
5
9
14
8
2
6
2
3
3
3
12
5
Note
- Globale
- Pratique
- Théorique
6 [6-7]
3 [3-4]
3 [3-4]
6 [6-7]
3 [3-4]
3 [3-4]
7 [6-8]
3 [2-4]
4 [3-5]
Table 1. Comparaison entre les deux réanimations. Le temps document est le temps passé
à préparer sa présentation de fin de stage, rapporté par l’étudiant. Le temps stage est le temps
que l’étudiant considère avoir passé sur le terrain de stage au cours du trimestre. Les notes
sont exprimées en médiane (IQR).
Figure 2. Représentation des différences de note globale obtenue par thème entre les
deux terrains de stage (réanimation médicale – réanimation chirurgicale). DV : décubitus
ventral, Echo : pratique de l’échocardiographie en réanimation, EER : épuration extra rénale
en réanimation, SDRA : syndrome de détresse respiratoire aigue, sevrage : sevrage de la
ventilation mécanique. A noter que le thème EER n’a pour le moment jamais été choisi par les
étudiants de réanimation chirurgicale, ce qui explique l’absence de représentation de la
différence de note.
Note Globale Note Théorique Note Pratique
Période de stage 0.94 [0.01 - 1.89] 0.78 [0.13 – 1.43]* 0.17 [-0.58 – 0.92]
Temps Document - 0.07 [-0.62 - 0.48] 0.07 [-0.31 – 0.45] -0.14 [-0.57 – 0.28]
Temps Stage - 0.19 [-0.68 - 0.30] -0.05 [-0.39 – 0.29] -0.14 [-0.52 – 0.25]
Service
d’affectation
0.30 [-0.69 - 1.29]
0.37 [-0.30 – 1.05]
-0.08 [-0.86 – 0.70]
Table 2. Analyses univariées du lien entre les notes et les potentiels facteurs de
confusion. Les associations sont exprimées en risques relatifs (IC95%). Le RR pour la
période correspond à la comparaison de la période 2 (avril à juin) par rapport à la période 1
(janvier à mars). Le RR pour le service d’affectation correspond à la comparaison de la
réanimation médicale par rapport à la réanimation chirurgicale. * : p<0.05.
Note Globale Note Théorique Note Pratique
Temps Document - 0.22 [-0.84 - 0.41] -0.04 [-0.47 – 0.39] -0.17 [-0.66 – 0.31]
Temps Stage - 0.24 [-0.75 - 0.27] -0.09 [-0.44 – 0.26] -0.15 [-0.55 – 0.25]
Service
d’affectation
0.57 [-0.59 - 1.72]
0.44 [-0.35 – 1.24]
0.12 [-0.79 – 1.04]
Table 2. Analyses multivariées du lien entre les notes et les potentiels facteurs de
confusion. Les associations sont exprimées en risques relatifs (IC95%). Le RR pour le service
d’affectation correspond à la comparaison de la réanimation médicale par rapport à la
réanimation chirurgicale.
BIBLIOGRAPHIE
1. Tasdemir M, Tasdemir A, Yildirim K. Influence of portfolio evaluation in cooperative
learning on student success. J Theory Pract Educ. 2009;5:53-66.
2. Barootchi N, Keshavarz M. Assessment of achievement through portfolios and teacher-
made tests. Educ Res. 2002;44:279-88.
3. Kubiszyn T, Borich G. Educational testing and measurement: classroom application and
practice. 7th ed. ed. Hoboken, NJ, 2003.
4. Kicken W, Brand-Gruwel S, Van Merrienboer J, Slot W. Design and evaluation of a
development portfolio: how to improve stu¬dents’ self-directed learning skills. Instr
Sci. 2009;37:453-73.
5. Parboosingh J. Learning portfolios: potential to assist health pro¬fessionals with self-
directed learning. J Contin Educ Health Prof 1996;16:75-81.
6. Davis MH, Friedman Ben-David M, Harden RM, Howie P, Ker J, McGhee C, et al.
Portfolio assessment in medical students' final examinations. Med Teach
2001;23(4):357-66.
7. Snadden D, Thomas ML. Portfolio learning in general practice vocational training--does it
work? Med Educ 1998;32(4):401-6.
8. Smith J, Brewer DM, Heffner T. Using portfolio assessments with young children who are
at risk for school failure. Prev School Fail. 2003;48:38-40.
9. Krause S. Portfolios in teacher education: effects of instruction on preservice teachers’
early comprehension of the portfolio pro¬cess. J Teach Educ. 1996;47:130-38.
10. Brown S. Assessment matters in higher education: the society for research in to higher
education. Buckingham, 1999.
11. Driessen E. Are learning portfolios worth the effort? Yes. BMJ 2008;337:a513.
12. Norman G. Are learning portfolios worth the effort? No. BMJ 2008;337.
13. Kariman N. Effect of portfolio assessment on student learning in prenatal training for
midwives. J Educ Eval Health Prof 2011;8:2-7.
14. Buckley S, Coleman J, Khan K. Best evidence on the educational effects of undergraduate
portfolios. Clin Teach 2010;7(3):187-91.
15. Grant A, Kinnersley P, Metcalf E, Pill R, Houston H. Students’ views of reflective
learning techniques: an efficacy study at a UK Medical School. ’ Med Educ
2006;40:379-98.
16. Rees C, Sheard C. Undergraduate medical students’ views about a reflective portfolio
assessment of their communication skills learning. Med Educ 2004;38:125-28.
17. Lonka K, Slotte V, Halttunen M, Kurki T, Tiitinen A, Vaara L, et al. Portfolios as a
learning tool in obstetrics and gynaecology undergraduate training. Med Educ
2001;35(1125-1130):1125.
18. Finlay IG, Maughan TS, Webster DJT. A randomized controlled study of portfolio
learning in undergraduate cancer education. Med Educ 1998;32:172-76.
19. Fakude LP, Bruce JC. Journaling: a quasi-experimental study of student nurses’ reflective
learning ability. Curationis 2003;26:49-55.
20. Tiwari A, Tang C. From process to outcome: the effect of portfolio assessment on student
learning. Nurse Education Today 2003;23:269-77.
21. Duque G, Finkelstein A, Roberts A, Tabatabai D, Gold SL, Winer LR. Learning while
evaluating: the use of an electronic evaluation portfolio in a geriatric medicine
clerkship. BMC Med Educ 2006;6:4.
22. Kok J, Chabeli MM. Reflective journal writing: How it promotes reflective thinking in
clinical nursing education: A students’ perspective. Curationis 2002;25:35-42.
23. Schaffer MA, Nelson P, Litt E. Using portfolios to evaluate achievement of population-
based public health nursing competencies in baccalaureate nursing students. Nurs
Educ Perspectives 2005;26:104-12.
24. Dahllof G, Tsilingaridis G, Hindbeck H. A logbook for continuous self-assessment during
1 year in paediatric dentistry. Eur J Paediatr Dent 2004;4(5):163-69.
25. Spence W, El-Ansari W. Portfolio assessment: Practice teachers’ early experience. Nurse
Educ Today 1995;24:388-401.
26. Richardson G, Maltby H. Reflection on practice: Enhancing student learning. J Adv Nurs
1995;22:235-42.
27. Tryssenaar J. Interactive journals: An educational strategy to promote reflection. Am J
Occup Ther 1995;49:695-702.
28. Rees C, Shepherd M, Chamberlain S. The utility of reflective portfolios as a method of
assessing first year medical students’ personal and professional development. Reflect
Pract 2005;6:3-14.
29. Amsellem-Ouazana D, Van Pee D, Godin V. [Use of a portfolio during the second cycle
of medical studies in a urology department]. Prog Urol 2007;17(5):978-82.
30. Davis MH, Ponnamperuma GG, Ker JS. Student perceptions of a portfolio assessment
process. Med Educ 2009;43(1):89-98.
31. Snadden D, Thomas ML, Griffin EM, Hudson H. Portfolio-based learning and general
practice vocational training. Med Educ 1996;30(2):148-52.
32. Austin C, Braidman I. Support for portfolio in the initial years of the undergraduate
medical school curriculum: what do the tutors think? Med Teach 2008;30(3):265-71.
