Évaluation des compétences en chirurgie pédiatrique · 2018. 1. 28. · CHUCP Plan de la présentation • Bases théoriques de l’évaluation – Fiabilité – Validité –

CHUCP

Évaluation des compétences en chirurgie

pédiatriqueCollège Hospitalier et Universitaire de

Chirurgie Pédiatrique

Joël LECHEVALLIER, Agnès LIARD-ZMUDA (Rouen)

CHUCP

Plan de la présentation• Bases théoriques de l’évaluation

– Fiabilité– Validité– Faisabilité

• Choix des outils– Test de concordance de script– QCM

• Démonstration– Chirurgie Viscérale et Urologique

• Vidéo-QCM• TCS

– Chirurgie Orthopédique et Traumatologique• Vidéo-QCM• TCS

CHUCP

• Bases théoriques de l’évaluation– Fiabilité– Validité– Faisabilité





Bases théoriques de l’évaluation

CHUCP

Domaine à évaluer

Échantillon�

Fiabilité : échantillonnage

Swanson, Educational Researcher 1995;24:5-11

CHUCP

Domaine à évaluer

Échantillon�



CHUCP

☺

Domaine à évaluer

Échantillon



CHUCP

☺

Domaine à évaluer

Échantillons



CHUCP







CHUCP

Validité : Effet « intermédiaire »

Marshall, 1977 ; Swanson, 1987 ;Mc Gaghie, 1993 ; Van der Vleuten, 1996.

Internes

Étudiants

Experts

CHUCP







CHUCP

FaisabilitéObservation par

expertÉpreuve

rédactionnelleÉpreuve à correction

automatisée

Disponibilité +++ + à +++ 0

Préparation ± ++ +++

Objectivité ± ++ +++

Reproductibilité + ++ +++

Groupe d’étudiants

Individuel Illimité Illimité

Connaissances fondamentales

+++ + QCM: +++

Habiletés professionnelles

+++ ± TCS: ++

CHUCP






Choix des outils

CHUCP

Test de Concordance de Script (TCS)

•Comparer l’organisation des connaissances des candidats à celle de médecins expérimentés

•Exploration des connaissances cliniques, de l’aptitude à demander des explorations complémentaires et de l’aptitude à poser des indications thérapeutiques

•Réponse sur une échelle de Likert (-2, -1, 0, +1, +2)

CHARLIN, B., BRAILOVSKY et al. Medical Teacher, 1998CHARLIN, B., TARDIF, J., BOSHUIZEN, H. Academic Medicine, 2000CHARLIN, B., ROY, L., BRAILOVSKY, C. A., & VAN DER VLEUTEN, C. P. M. Teaching andLearning in Medical Education, 2000SIBERT L., CHARLIN B., CORCOS J., GAGNON R., LECHEVALLIER J., P.GRISE P..European Urology 2002

CHUCP

Une vignette Clinique

Si vous pensez à…Une hypothèse diagnostique

Et que vous apprenez…

Une nouvelle information, clinique, biologique ou d’imagerie

L’effet sur votre hypothèse diagnostique sera

TCS Diagnostique

� -2� -1� 0� +1� +2

Mon hypothèse est pratiquement éliminéeMon hypothèse devient peu probableCette information n’a aucun effet sur mon hypothèse diagnostiqueL’hypothèse devient plus probableMon hypothèse devient pratiquement certaine

CHUCP

Test de Concordance de Script (TCS)

Si vous pensez à :

Hypothèsediagnostique

Et qu'alors vous observez

:

Nouvelleinformationclinique

L'effet sur l'hypothèse diagnostique est le

suivant :

-2 -1 0 +1 +2

Entourez la proposition qui vous semble adéquate :-2 : l'hypothèse est éliminée-1 : l'hypothèse est moins probable0 : l'information n'a aucun effet sur l'hypothèse

+1 : l'hypothèse est plus probable+2 : l’hypothèse est pratiquement certaine

CHUCP

CHUCP

TCS : construction

1) Sélection de situations cliniques représentatives

2) Identification, pour chaque situation :– Hypothèses pertinentes– Éléments clés (positifs, négatifs)

3) Rédaction des vignettes cliniques et des items

4) Validation du test par experts

CHUCP

Le candidat aura

0,7/0,7 = 1 pt

0,2/0,7 = 0,28 pt

0,1/0,7 = 0,14 pt

TCS : Système de notation• Toute réponse d’expert est le reflet de

l’expertise Norcini, 1990 ; Charlin et al., 2002.

• Les experts passent le test individuellement

• Le crédit pour chaque réponse est fonction du nombre d’experts qui ont fourni la même réponse

Valeur de la réponse

7/10 = 0,7

2/10 = 0,2

1/10 = 0,1

Exemple pour un panel de 10 experts

7 experts répondent: « + 2 »

2 experts répondent: « +1 »

1 expert répond : « 0 »

CHUCP

TCS : Scores selon le niveau, fiabilitéCharlin B. et al., Teaching and Learning In Medicine

2000;12:189-195.

Spécialités Participants Scores

moyens

Nb.

participants

Coefficient

de fiabilité

Gynécologie

- Externes

- Internes

- Seniors

67,1

75,9

78,1

76

12

15

0,79

Radiologie

- Externes

- Internes

- Seniors

62,6

69,3

86,7

14

10

6

0,80

Chirurgie

générale

- Externes

- Seniors

62,1

80,5

66

9 0,54

CHUCP

• Stabilité des capacités de discrimination dans des cultures différentes– Sibert et al., Medical Teacher 2002

• Validité prédictive– Brailovsky & Charlin, Medical Education 2001

• Formation Médicale Continue– Labelle et al., Pédagogie Médicale, 2003

CHUCP

Experts

Étudiants

Internes

Experts

Étudiants

Internes

Charlin B. et al., Teaching and Learning In Medicine 2000;12:189-195.

CHUCP

TCS : Avantages

• Faisabilité :– Facile à développer, administrer, corriger– Bonne fiabilité à partir de 60 items, durée

d’examen < 1h

• Examen standardisé, correction objective• Tâches de la réalité clinique, pas « une

seule réponse »• Adapté à l’évaluation dans le 3ème cycle

CHUCP

Différences entre TCS et QCM

Un jeune homme de 20 ans est poignardé dans le brasavec un couteau. La face dorsale de l’avant-bras estinsensible ainsi que la face dorsale de la main entre lepouce et l’index. Les extenseurs du poignet sontparalysés et il ne peut étendre le pouce entre lesarticulations métacarpo-phalangienne etinterphalangienne. Quel nerf a été atteint?

A - Le nerf médianB - Le nerf radialC - Le nerf cubitalD - Le nerf inter-osseux postérieurE - Le nerf brachial postérieur

CHUCP

Un jeune homme de 20 ans est poignardé dans le brasavec un couteau. La face dorsale de l’avant bras estinsensible

Si vous pensezà :

Une lésion dunerf médian

Et qu'alorsvous trouvez :

Une paralysiedes extenseursdu poignet

L'effet sur l'hypothèsediagnostique est :

-2 -1 0 +1 +2

Différences entre TCS et QCM

CHUCP

TCS : construction1) Sélection de situations cliniques

représentatives2) Identification, pour chaque situation :

– Hypothèses pertinentes– Éléments clés (positifs, négatifs) que cherchent les

experts pour vérifier les hypothèses

3) Rédactions des vignettes cliniques et des items

4) Validation du test par experts

CHUCP

Utilité d’un instrument de mesureVan Der Vleuten C. Advances in Health Sciences Education

1996;1:41-67.

• U = pr F x pv V x pv E– F = Fiabilité– V = Validité p = Poids– E = Impact éducatif

0%

PoidsEvaluation

formative

Selection

100%

CHUCP

CHUCP

CHUCP

CHUCP

CHUCP

Démonstration

Tronc commun

Orthopédie- Traumatologie Viscérale-Urologie

CHUCP






Choix des outils

CHUCP

QCM• Évaluation de la connaissance factuelle• Difficulté à trouver des leurres• Limites du champ des connaissances

explorées

•Vidéo QCM

Ortho-Trau Uro-Visc

CHUCP

QCM• Évaluation de la connaissance factuelle• Difficulté à trouver des leurres• Limites du champ des connaissances

explorées• Règles de construction

•QCM riches

•Vidéo QCM

Ortho-Trau Uro-Visc

CHUCP

Jean-François, 5 ans se présente en urgence pour une boiteriedroite. Cette boiterie est observé par les parents depuis 2 jours.La température est de 37°5. Il n’y a pas de notion de traumatisme.La boiterie est permanente et ne semble pas douloureuse. Il a ététraité pour rhinopharyngite une semaine plus tôt.

Lors de l’examen clinique vous observez que la rotation interne de lahanche droite est de 15°. L’abduction est de 15°. Aucunemobilisation n’est douloureuse.

La radiographie du bassin de face est normale.L’échographie de la hanche met en évidence un épanchement de

faible abondance dans la hanche droiteLa biologie rapporte les éléments suivants:

Leucocytes: 7500/mlVS: 10mm à la 1ère heureCRP: 9 mg/l

Quelles propositions vous paraissent acceptables?

CHUCP

A. Le diagnostic d’ostéochondrite primitive de hancheest le plus probable.

B. L’indication d’une ponction articulaire estobligatoire.

C. Une scintigraphie osseuse peut être indiquée pourvérifier la bonne perfusion de la tête fémorale

D. Une hospitalisation pour mise en déchargeprolongée doit être décidée immédiatement

E. La normalité de la radiographie sur l’incidence deface permet d’écarter l’hypothèse d’uneépiphysiolyse fémorale supérieure

CHUCP

0123456789101112131415161718192021222324252627282930

Jean-François présente un traumatisme du coudegauche.

Quel est votre diagnostic?

Secondes restantes:1

A. Luxation postéro latérale du coudeB. Fracture du condyle latéralC. Décollement de l’épicondyle médialD. Décollement de l’épicondyle latéralE. Luxation de la tête radiale

CHUCP

0123456789101112131415161718192021222324252627282930

Vous voyez en consultation unenfant de 10 mois avec cetteanomalie de la verge. Quel estvotre diagnostic ?

Secondes restantes:2

A. Hypospade balaniqueB. Hypospade pénien

antérieurC. Hypospade pénien moyenD. Hypospade pénoscrotalE. Hypospade vulviforme

CHUCP

Mon hypothèse est pratiquement éliminéeMon hypothèse devient peu probableCette information n’a aucun effet sur mon hypothèse diagnostiqueL’hypothèse devient plus probableMon hypothèse devient pratiquement certaine

� -2� -1� 0� +1� +2

L’effet de cette nouvelle donnée sur votre hypothèse diagnostique sera…

Test DiagnostiqueVignette:Rémi, 14 ans vous est présenté par ses parents en raison de lombalgieschroniques,évoluant depuis 6 mois.

Si vous pensez à…Un spondylolisthésis

Et que vous observez…

CHUCP

absolument contre-indiquépeu utile ou plutôt néfastenon pertinent ou inutile dans cette situationutile et souhaitableindispensable

� -2� -1� 0� +1� +2

L’effet de cette nouvelle donnée sur la nécessité de prescrire cet examen sera…

Choix d’exploration complémentaireVignette:Bruno, 15 ans vous est présenté en raison dedorsalgies chroniques, évoluant depuis 6mois. La distance mains-sol est égale à 0cm etl’examen neurologique est normal.

Si vous pensez demander…Une scintigraphie osseuse

Et que vous observez…

CHUCP

absolument contre-indiquépeu utile ou plutôt néfastenon pertinent ou inutile dans cette situationutile et souhaitableindispensable

� -2� -1� 0� +1� +2

L’effet de cette nouvelle donnée sur la nécessité de prescrire cet examen sera…

Choix d’exploration complémentaireVignette:Yves, 13 mois est hospitalisé pour une fièvre à 40° avec des douleursabdominales

Si vous pensez demander…Une cystographie rétrograde

Et que vous observez…une fièvre à 40°avec des douleurs lombaires gauches et un ECBU avec 250

leucocytes/mm3 et 107 E. Coli

CHUCP

absolument contre-indiquépeu utile ou plutôt néfastenon pertinent dans cette situationutile et souhaitableindispensable

� -2� -1� 0� +1� +2

Ce traitement sera:

Test ThérapeutiqueVignette:Michel, 3 ans est hospitalisé pour une fièvre à 40°avec des douleurs abdominales

Si vous pensez préconiser…Une antibiothérapie orale par Oroken® et un retour à

domicile

Et que vous observez…des pics fébriles à 40°avec des frissons et une altération de l’état général

CHUCP

En Pratique• Vendredi 7 octobre 2011

– 9h00– Faculté de Médecine de Bicètre

Tests de Concordance de Script QCM Powerpoint ®

Spécialité Tronc Commun Spécialité Tronc Commun

1ère partie(2h)

60 Tests(60mn)

60 Questions(60mn)

2ème partie(2h)

60 Tests(60mn)

60 Questions(60mn)

Documents

Évaluation des compétences en chirurgie pédiatrique · 2018. 1. 28. · CHUCP Plan de la présentation • Bases théoriques de l’évaluation – Fiabilité – Validité –