EVALUATION DE LOUTIL DE RECHERCHE DocCISMeF POUR LA DIFFUSION DES RECOMMANDATIONS PROFESSIONNELLES SUR LINTERNET: une étude quasi-randomisée auprès des

EVALUATION DE L’OUTIL DE RECHERCHE Doc’CISMeF

POUR LA DIFFUSION DES RECOMMANDATIONS

PROFESSIONNELLES SUR L’INTERNET:

une étude quasi-randomisée auprès des médecins généralistes

Lucie BAERT-QUIBEL

27 mai 2004

1) Les recommandations professionnelles

2) CISMeF et son outil de recherche Doc’CISMeF

3) Evaluation de Doc’CISMeF

RECOMMANDATIONS PROFESSIONNELLES (RP) : Définition (Institute of Medecine, 1990)

« Les RP sont des propositions développées selon une méthode explicite pour aider le professionnel de santé et le patient à rechercher les soins les

plus appropriés dans des circonstances cliniques données »

Améliorer coût/efficacité des services de santé

Pratiquer une médecine fondée sur les preuves

EBM

Faciliter l’accès aux résultats pertinents de la recherche médicale (flux continu des publications)

LES ENJEUX

Expérience clinique

Donnéesde la

recherche

Préférencesdu

patient

Décision

Améliorer l’état de santé des patients

RP : LES METHODES

Conférence de Consensus

(CC)

Si controverse sur un sujet pouvant se décliner en quelques questions

Recommandation pour la Pratique Clinique

(RPC)

Si thème complexe nécessitant un travail prolongé.

Conférence Formalisée

d’Experts (CFE)

Si peu ou pas de données scientifiques sur un thème.

RP : IMPACT

Critères de jugement :

• Audience : couverture médiatique, nombre de citations

• Connaissance : connaissance déclarée des RP, intentions de prescription

• Modification des pratiques : déclarations de pratiques, analyse du dossier patient, mesure de la variation des prescriptions ou de la consommation médicamenteuse

• Modification de l’état de santé

• Répercussion dans l’organisation des soins ou les programmes de recherche

Résultats :

• Etudes souvent contradictoires : difficultés méthodologiques (hétérogénéité des populations étudiées, des interventions ciblées, des critères de jugement)

• Grimshaw et Al (1993) : 55/59 études ont montré des « améliorations » du processus de soins, 9/11 études ont rapporté des « améliorations » sur les résultats de soins. Mais grande variation des effets

l’impact des RP reste limité

• Liées aux RP : manque de lisibilité, pas applicables en pratique, pas adaptées aux besoins réels…

• Liées aux praticiens : perte de liberté clinique, inertie des comportements, amalgame entre les RP et les RMO avec une connotation négative

• Liées à l’environnement : refus du patient, problèmes d’organisation.

RP : BARRIERES A LA MISE EN APPLICATION

STRATEGIES POUR AMELIORER L’IMPACT

STRATEGIES

D’élaboration (contenu et présentation)

De mise en oeuvre

• audits• mesures administratives • rappels ou reminders sur support papier• systèmes informatisés d’aide à la décision médicale (SIADM)

De diffusionLe support papierLe support « FMC »: • distribution de documents imprimés ou matériels audiovisuels• réunion débat interactif, conférence • élaboration de consensus locaux• intervention de leaders d’opinion • visites d’éducation au cabinet du médecinLe support électronique• CD-Rom• l’Internet = sujet de ce travail

Les interventions les plus efficaces : • les visites d’éducation• les rappels (seuls les SIADM permettraient d’envisager la mise en œuvre simultanée de nombreuses RP)• les réunions débats interactifs• les audits - retours d’information• l’association de plusieurs interventions +++

Pas de méthode définie pour garantir la mise en application des RP

L’INTERNET : UN OUTIL ADAPTE POUR LA DIFFUSION D’INFORMATIONS EN SANTE ?

• Utilité : source d’information majeure, grandes potentialités

• Rapidité : oui si connexion de qualité et compétence pour manipuler ces outils.

• Validité : information de tout type et de qualité hétérogène. Les

ressources pertinentes sont difficiles à localiser.

OU TROUVER DES RP SUR L’INTERNET?

Les agences gouvernementales : • ANAES : Agence Nationale d ’Accréditation et d ’Evaluation en Santé• SIGN : Scottish Intercollegiate Guideline Network• ...

Les sociétés savantes : • SOR : Standards, Options et Recommandations• NGC : National Guideline Clearinghouse• CISMeF : Catalogue et Index des Sites Médicaux Francophones, site Web du CHU de Rouen• ...

Quelques exemples




• OBJECTIF : faciliter l’accès à des documents médicaux de qualité en français et gratuits

CISMeF

Description, indexation et classification des ressources :

Recensement : (n 13500 ressources) 3 axes prioritaires : la médecine factuelle, l’enseignement, l’information des

patients

Filtrage et sélection : seulement les ressources de qualité

Deux outils standards : - des métadonnées

- le thésaurus MeSH

Deux nouveaux concepts :-les métatermes

- les types de ressources

COMMENT ?

DESCRIPTION, INDEXATION ET CLASSIFICATION DES RESSOURCES

LES METADONNEES - Dublin Core + 7 autres champs spécifiques à CISMeF (décrire et indexer les ressources) - HIDDLE (transparence, la confiance et la qualité de l’information) - métadonnées spécifiques à l’enseignement: (ex : « cycle », « l’année d ’étude »)

LE THESAURUS MeSH - Version française de l ’INSERM - Langage le plus connu par les professionnels de santé (Medline) - 22600 mots-clés (ex : « abdomen », « tumeur ») et 84 qualificatifs (ex : « diagnostic », « complication »)

LES METATERMES - Permettent un classement thématique - Correspondent à des spécialités biologiques ou médicales

LES TYPES DE RESSOURCES Décrivent la nature de la ressource (ex : « recommandation », « patient », « corrigé d ’annales »)

EXPLOITATION DE LA TERMINOLOGIE CISMeF

CISMeF est structuré en 4 niveaux hiérarchiques : métatermes, mots-clés, qualificatifs et type de

ressources

L’OUTIL DE RECHERCHE Doc ’CISMeF

4 modes de recherche :recherche simple (langage naturel) recherche avancée recherche booléenne (documentalistes) recherche pas à pas

• Garantit la validité des ressources

• Permet une présentation claire et organisée de l ’information médicale

• Offre des possibilités de recherche précise

• Est l’un des sites les plus fréquentés par les médecins

CISMeF et Doc’CISMeF

• Satisfaction des utilisateurs?

• Comment appréhendent-ils cet outil?

• Doc’CISMeF est-il efficace pour diffuser des RP?




OBJECTIFS DE L ’ETUDE

1) Déterminer si Doc’CISMeF est efficace pour diffuser des RP auprès des médecins généralistes.

2) Evaluer si une session de formation à l’utilisation de Doc’CISMeF améliore les performances de recherche des praticiens

3) Mesurer le différentiel entre l’accès aux RP et l’accès à une information précise dans ce document

• Partiellement financée par l ’ANAES dans le cadre du programme de recherche 2001-2002

• En mars et avril 2003 : une séance de formation et d’évaluation de Doc’CISMeF.

• En avril 2004 : une enquête téléphonique sur l’utilisation de Doc’CISMeF sur l’année écoulée.

MATERIELS ET METHODES (1)

Etude mars/avril 2003

• 55 médecins généralistes volontaires (recrutés à partir de la liste du CHNGE puis de l’annuaire)

• 2 groupes : (étude quasi-randomisée)– évaluation après formation (n = 28) – évaluation avant formation (n = 27)

• la session de formation (~ 1h) : terminologie CISMeF, recherche simple, recherche avancée, type de ressource « recommandation »

• la session d ’évaluation (~ 1h) : 5 questions sous forme de cas cliniques (max 12min/question)



Questions proposées aux médecins

1 – Diabète de type 2

Quel schéma thérapeutique proposer à une femme de 45 ans, dont l'Indice de Masse Corporelle (IMC) est à 31, sans stérilet et sans autre anomalie biologique ou clinique ?

2 – Asthme

A - Retrouver les 4 niveaux de gravité de l'asthme

B - Pour un adulte jeune, dont vous avez évalué qu'il était porteur d'un asthme persistant modéré, quelles sont les recommandations thérapeutiques ?

3 – Cancer du sein

A – Quel dépistage du cancer du sein proposer à une femme de 51 ans qui arrive dans votre clientèle sans antécédents familiaux ni personnels ?

4 – Lombalgie

A – Quelle est la place du scanner chez un patient porteur de lombalgie clinique depuis 3 semaines sans atteinte sciatique clinique ?


• Profil des participants : âge, habitudes d’utilisation de l’Internet et de CISMeF

• critères d’évaluation de Doc’CISMeF

– critères analysés pour chaque objectif distinct

• succès pour trouver un document pertinent (critère majeur)

• succès pour identifier un paragraphe pertinent (critère majeur)

• temps nécessaire à la recherche (critère majeur)

• nombre de clics

• mode de recherche

• satisfaction

• difficulté

– critères qualitatifs (évaluation globale) : design, clarté de la présentation, qualité de l’aide à la navigation, facilité de la navigation

– « l’utilisation régulière de ce site pourrait faciliter votre pratique clinique? »

RESULTATS (1)

Profil des participants : • 50 ans en moyenne• 87% CHNGE• 93% avaient déjà utilisé Internet (78% personnel, 82% professionnel)• 36% avaient déjà utilisé CISMeF

RESULTATS (2)

11%18%

71%

4% 4%

26%

55%

11%

0%

10%

20%

30%

40%

50%

60%

70%

80%

0 1 2 3 4 5Nombre de documents pertinents trouvés

Effe

ctifs

(%

)

avec formation

sans formation

Figure 1 : répartition du nombre de médecins généralistes par nombre de documents pertinents trouvés

p = 0,078 . Test exact de Cochran-Armitage

Pas de différence significative entre les deux groupes

RESULTATS (3)

4%7%

14%

39%36%

11%

26%

18%

41%

4%

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

0 1 2 3 4 5

Nombre de paragraphes pertinents identifiés

Effe

ctifs

(%

)

avec formation

sans formation

Figure 2 : Répartition du nombre de médecins généralistes par nombre de paragraphes pertinents identifiés

p = 0,714 . Test exact de Cochran-Armitage

Pas de différence significative entre les deux groupes

RESULTATS (4)

Nombre de succès pour trouver un document pertinent (Effectifs / %)

Nombre de succès pour identifier un paragraphe pertinent (Effectifs / %)

Temps en secondes pour identifier un paragraphe pertinent (médiane[min-max])

Nombre de clics pour trouver un document pertinent (médiane[min-max])

Asthme (diag) avec formation (/28) 28 (100%) 26 (93%) 330 [48-720] 5 [2-10]

sans formation (/27) 23 (85%) 20 (74%) 445 [67-720] 5 [2-21] p = 0,0515 * p = 0,0776 * p = 0,0513 **Asthme (thér) avec formation (/28) 27 (96%) 23 (82%) 272 [10-720] 3 [0-9]

sans formation (/27) 22 (81%) 21 (78%) 355 [15-720] 4 [0-25]p = 0,1012 * p = 0,7458 * p = 0,4322 **

Diabèteavec formation (/28) 22 (79%) 16 (57%) 562 [145-720] 5 [2-19]


Cancer du seinavec formation (/28) 24 (86%) 21 (75%) 314 [125-720] 4 [2-10]


Lombalgieavec formation (/28) 28 (100%) 24 (86%) 290 [60-720] 3 [2-12]


Tableau 3 : critères quantitatifs d'évaluation d'une recherche efficiente sur Doc'CISMeF

* test exact de Fisher avec correction de Bonferroni (différence significative pour une erreur de première espèce de 5% si p ≤ 0,01)** test du Logrank avec correction de Bonferroni (différence significative pour une erreur de première espèce de 5% si p ≤ 0,01)

Pas de différence significative entre les deux groupes quelque soit l’objectif ou le critère considéré

RESULTATS (5)

"Succès partiel" : Documents pertinents trouvés et échec pour identifier le ou les paragraphes pertinents

Succès pour identifier un paragraphe pertinent dans le groupe formé (groupe 1)

Succès pour identifier un paragraph pertinent dans le groupe non formé (groupe 2)

1: Diagnostic de l'asthme

93%74%

7%

11%

0%

20%

40%

60%

80%

100%

1 2

Effe

ctifs

100%

2: Thérapeutique de l'asthme

82% 78%

14% 3%

0%

20%

40%

60%

80%

100%

1 2E

ffect

ifs85% 96% 81%

3: Diabète

57% 52%

22% 11%

0%

20%

40%

60%

80%

100%

1 2

Effe

ctifs

79% 63%

4: Cancer du sein

75% 81%

11% 8%

0%

20%

40%

60%

80%

100%

1 2

Effe

ctifs 86% 89%

5: Lombalgie

86% 93%

14%0%

0%

20%

40%

60%

80%

100%

1 2

Effe

ctifs 100% 93%

Figure 3 : succès de la recherche par objectif et par groupe

RESULTATS (6)

Estimation de Kaplan-Meier de la survie cumuléepar question et par groupe

0.0

0.2

0.4

0.6

0.8

1.0

Su

rvie

cu

mu

lée

0 100 200 300 400 500 600 700 800Temps en secondes

AF (n = 28, qi = 26)

SF (n = 27, qi = 20)

Objectif n°1 :

Diagnostic de l'asthme

p=0.0513*

0.0

0.2

0.4

0.6

0.8

1.0

Su

rvie

cu

mu

lée


AF (n = 28, qi = 23)

SF (n = 27, qi = 21)

Objectif n°2 :

Thérapeutique de l'asthme

p=0.4322*

0.0

0.2

0.4

0.6

0.8

1.0

Su

rvie

cu

mu

lée


AF (n = 28, qi = 16)

SF (n = 27, qi = 14)

Objectif n°3 :

Diabète

p=0.4637*

0.0

0.2

0.4

0.6

0.8

1.0

Su

rvie

cu

mu

lée


AF (n = 28, qi = 21)

SF (n = 27, qi = 22)

Objectif n°4 :

Cancer du sein

p=0.8375*

0.0

0.2

0.4

0.6

0.8

1.0

Su

rvie

cu

mu

lée


AF (n = 28, qi = 24)

SF (n = 27, qi = 25)

Objectif n°5 :

Lombalgie

p=0.5250*

SF : groupe sans formationAF : groupe avec formationn : nombre total de médecinsqi : nombre total de paragraphes pertinents identifiés

La survie cumulée en un temps t est la probabilité que le tempsnécessaire pour identifier un paragraphe soit supérieure ou égale à t

* test du Logrank (différence significative pour une erreur de premièreespèce de 5% si p 0,01)

• 93 à 56% (selon les objectifs et les groupes) des médecins ont été satisfaits ou très satisfaits de leur recherche.

• 82 à 41% (selon les objectifs et les groupes) des médecins ont estimé leur recherche facile ou très facile

• mode de recherche :

– groupe formé : 4,9 RA et 0,6 RS en moyenne

– groupe non formé : 1,5 RA et 4,6 RS

RESULTATS (7)

RESULTATS (8)

nb % nb % nb % nb %Très mauvaisavec formation (/28) 0 0,0% 0 0,0% 0 0,0% 0 0,0%sans formation (/27) 0 0,0% 1 3,7% 0 0,0% 0 0,0%Global 0 0,0% 1 1,8% 0 0,0% 0 0,0%Mauvaisavec formation (/28) 1 3,6% 1 3,6% 0 0,0% 0 0,0%sans formation (/27) 1 3,7% 4 14,8% 7 25,9% 2 7,4%Global 2 3,6% 5 9,1% 7 12,7% 2 3,6%Bienavec formation (/28) 22 78,6% 16 57,1% 19 67,9% 22 78,6%sans formation (/27) 20 74,1% 17 63,0% 10 37,0% 21 77,8%Global 42 76,4% 33 60,0% 29 52,7% 43 78,2%Très bienavec formation (/28) 4 14,3% 10 35,7% 3 10,7% 6 21,4%sans formation (/27) 5 18,5% 4 14,8% 2 7,4% 2 7,4%Global 9 16,4% 14 25,5% 5 9,1% 8 14,5%Sans avisavec formation (/28) 1 3,6% 1 3,6% 6 21,4% 0 0,0%sans formation (/27) 1 3,7% 1 3,7% 8 29,6% 2 7,4%Global 2 3,6% 2 3,6% 14 25,5% 2 3,6%

Clarté de la présentation

* test du chi-deux (différence significative pour une erreur de première espèce de 5% si p = 0,05)

Qualité de l'aide

tableau 6 : Critères qualitatifs de Doc'CISMEF

p=0,9291 * p=0,2168 * p=0,0132 * p=0,0880 *

Facilité de la navigationdu site à la navigation

Design du site

RESULTATS (9)

nb %Pas du tout d'accordavec formation (/28) 0 0,0%sans formation (/27) 0 0,0%Global 0 0,0%Pas d'accordavec formation (/28) 0 0,0%sans formation (/27) 1 3,7%Global 1 1,8%D'accordavec formation (/28) 18 64,3%sans formation (/27) 15 55,6%Global 33 60,0%Tout à fait d'accordavec formation (/28) 10 35,7%sans formation (/27) 11 40,7%Global 21 38,2%

p=1,000 ; test exact de tendance de Cochran-Armitage Trend

Tableau 7L'utilisation régulière de D'C pourrait faciliter votre pratique quotidienne?

RESULTATS DE LA PHASE 1

1) Doc’CISMeF est performant.

2) Impact de la session de formation

• Uniquement sur le mode de recherche et la qualité de l’aide à la navigation.

• Le groupe des médecins formés n’a pas été plus performant ou plus rapide que le groupe des médecins non formés.

3) Différentiel non négligeable entre l’accès au document et l’accès à l’information.

L ’ENQUETE TELEPHONIQUE (1)

Utilisation de Doc’CISMeF depuis un an.

n = 53 (2 perdus de vue)

n = 34non initiés

CISMeF

n = 19initiés

CISMeF n = 80/mois

Manque de tempsComplexité du site

n = 271,5 fois/mois

n= 186 fois/mois

recherche plus efficace

n = 9

Mars 2003

Mars 2004

recherche plus rapiden = 8

N.B.: Utilisation de CISMeF pendant une consultation : n = 5


Mesure de l’intervention de Doc’CISMeF pour améliorer l’impact des RP

• 38% ont déclaré avoir découvert des RP avec Doc’CISMeF.

• 45% ont déclaré avoir modifié leur pratique après avoir consulté des RP sur CISMeF.


La session de formation

• 51% des médecins l’estiment insuffisante.

• Elle est :

– indispensable (32%)

– utile (64%)

– inutile (4%)


Tableau 8 : évolution en un anL'utilisation régulière de D'C pourrait faciliter votre pratique quotidienne?

D'C a-t-il facilité votre pratique clinique depuis un an?

(n = 55) (n = 53)

Pas du tout d'accord

Pas d'accord

D'accord

Tout à fait d'accord

0,0%

1,8%

60,0%

38,2%

7,5%

30,0%

42,0%

20,5%

CONCLUSION ET PERSPECTIVES

RP

Accès document

DIFFERENTIEL

Accès information

APPLICATION

• Amélioration de l ’état de santé des patients

•Diminution des coûts

Appréciation du médecin et préférences du patient

BFESCISMeF/ANAES

Doc ’CISMeF FORMATIONDIFFUSION

Performant pour diffuser des informations médicales

Pas encore intégré à la pratique quotidienne

Pas d’impact

Non négligeable Projet « e-FMC »lien (notice/paragraphe)

Améliorer la formation