Comment construire une échelle de risque ? Théorie et pratique Gilles Chatellier Faculté Paris Descartes Unité de Recherche Clinique, HEGP [email protected]

Comment construire une échelle de risque ?

Théorie et pratique

Gilles Chatellier

Faculté Paris Descartes Unité de Recherche Clinique, HEGP

[email protected]

URC HEGP, 2009, G Chatellier

Clinical Decision Making

It is simply unrealistic to think that individuals can synthesize in their heads scores of pieces of evidence, accurately estimate the outcomes of different options, and accurately judge the desirability of those outcomes for patients.

...All confirm what would be expected from common sense: The complexity of modern medicine exceeds the inherent limitations of the unaided human mind.

David M. Eddy. JAMA 1990; 263:1265-1275


Clinical Prediction Rules

Clinical prediction rules (CPR) are tools that clinicians can use to predict the most likely diagnosis, prognosis, or response to treatment in a patient based on individual characteristics.

CPRs attempt to standardize, simplify, and increase the accuracy of clinicians’ diagnostic and prognostic assessments.


Clinical Prediction Rules

Dérivées d’étude de type « Pronostic » répondant aux questions du type:Quel est le risque d’une intervention, d’une maladie ?Quels sont les prédicteurs du risque de maladie (Sexe,

Age, Cholestérol…) Clinical Prediction Rules.

Sachant les prédicteurs, quel est le risque ? Ceci nécessiteUne CohorteUn Modèle, et sa mise en œuvre (calculette,

table…)Une Validation


Méthodes possibles pour la prédiction d’un risque à partir de données

Méthodes statistiques :Régression multiple (Y:variable continue)Analyse discriminante (Y:variable continue)Régression logistique (Y: variable catégorielle)Modèle de Cox (Y: risque de survenue à un

temps donné)

Réseaux neuronaux Apprentissage symbolique


Hypothèses des méthodes statistiques

Le respect des hypothèses conditionne la validité Régression multiple et analyse discriminante :

Hypothèse de linéarité (le risque Y est représenté comme une combinaison linéaire des facteurs prédictifs Xi)

Normalité et égalité des variances (pour toute valeur fixée d’un Xi , Y suit une loi de distribution normale définie par sa moyenne et sa variance)

Indépendance des observations entre elles

Régression logistique (temps non pris en compte) Beaucoup moins d’hypothèses sont requises Nombre d’événements par variable du modèle (10)

Modèle de Cox (temps pris en compte) Risques proportionnels (


Modèles statistiques multivariés: les difficultés

Petit nombre d'événements (et non de sujets) risque d'association due au hasard imprécision dans l'estimation des événements

Trop nombreuses covariables - règles de sélection des variables

Modalités de prise en compte des interactions Non respect de la linéarité Codage des variables non précisé Colinéarité des variables Poids de certaines observations (« outliers »)


Un exemple simple

La plus étudiée des règles de prédiction clinique….

L’équation de Framingham

Prédit à 10 ans le risque de maladie cardio-vasculaire, en fonction de l’âge du sexe, de la PA, du cholesterol, du tabagisme…REMARQUE: de multiples papiers ont montré que la performance prédictive des médecins était très loin de celles des modèles de Framingham!


1er niveau: Précision

Reproductibilité

Échantillons d’apprentissage

et validation

Indicateurs de performance Discrimination (index C, Sensibilité, Spécificité)

Calibration (observés-prédits)

2e niveau: Transportabilité

Autres populations: différences historiques,

géographiques, cliniques

3e niveau: Évaluation sur

le terrain

Indicateurs de qualité des soins:

Processus de soins, événements cliniques

Règle de prédiction cliniqueRègle de prédiction clinique

Validité technique Impact

Échantillons différents


Discrimination et calibration

Discrimination: dans quelle mesure le modèle sépare bien les malades des non malades ?Index C (1 pour une discrimination parfaite, 0.5 pour une

discrimination aléatoire). Calibration: dans quelle mesure le risque prédit

est-il proche du risque réel (approché par l’observation) ?Confrontation, par tranches de risque, du nombre

d’événements prédits et du nombre d’événements observés

Test de Hosmer et Lemeshow (plus la valeur du test est élevée plus la différence (observés-prédits) est importante)


Discrimination

Signification de l’aire sous la courbe ROC

00

00 0.20.2 0.40.4 0.60.6 0.80.8 11

Se

ns

ibili

té

0.40.4

0.60.6

0.80.8

11

0.20.2

Discrimination: Parfaite: C index = 1 Bonne: C index = 0.8Absente: C index = 0.5

1- Spécificité (taux de faux positifs)


CalibrationDans quelle mesure le risque prédit est-il proche du

risque réel (virtuel) ?(nombre d’événements observés par décile de risque prédit)

Ob

serv

ed e

ven

t ra

teO

bse

rved

eve

nt

rate

Predicted event ratePredicted event rateEvents 1 3 5 7 9 11 13 15 17 19 Patients 20 20 20 20 20 20 20 20 20 20/décile

00

00 0.20.2 0.40.4 0.60.6 0.80.8 11

0.40.4

0.60.6

0.80.8

11

0.20.2

Bien calibrérelativement

8 9 14 6 17 10 12 8 8 8 13 22 27 19 25 22 24 20 17 11

00

00 0.20.2 0.40.4 0.60.6 0.80.8 11

0.40.4

0.60.6

0.80.8

11

0.20.2

Modèle sans valeur


Guide de lecture du groupe EBM : CPR JAMA, 2000









ML Brown et al. J Thorac Cardiovasc Surg 2008;136:566-571


ML. Brown et al. J Thorac Cardiovasc Surg 2008;136:566-571


Modele de risque (Mitral Valve Replacement) appliqué sur une autre population: C-index (95% confidence interval) 0.81 (0.76 to 0.86) Test de Hosmer- Lemeshow: 7.10 (p: 0.526)


AUC = 66.1% 0.2%

Discrimination : courbe ROC Équation de Framingham

Prédiction maladies cardio-vasculaires Essai Insight

1 - Sp

Se

1

1

Au niveau individuel, mauvaise valeur prédictive


Discrimination Equation de Framingham

Maladies Cardio-Vasculaires(MCV) Essai Insight

Application aux données d’un essai international (INSIGHT)Risk/ratio*: Italie Espagne France Scandin. Hollande UKMCV 4.0 3.4 3.0 2.9 3.3 2.7

*: quintile supérieur/quintile inférieurL’équation de Framingham permet de

différencier les groupes de patients à haut et à bas risque


Comparaison des % de maladies coronariennes prédits par l’équation de Framingham aux % observés

Essai Insight

Italie EspagneFrance Scandin. Holl. UKTous

Prédits Fram. 7% 6% 7% 8% 8% 8% 7%Observés 2% 2% 1% 3% 2% 4% 3%Fram./Observés 3.5 3.0 7.0 2.7 4.0 2.0 2.3

L’équation de Framingham surestime le risque de maladie cardio-vasculaire (principalement coronarienne) dans tous les pays (2 à 7)

(calibration inadéquate)


L’estimation est-elle précise ?

Il ne s’agit pas d’un risque individuel, mais d’une estimation à partir d’une population dont les caractéristiques « couvrent » celles du patient.

L’estimation obtenue est imprécise

Ex : Homme, 65 ans, non fumeur, non diabétique, PAS: 160 mmHg , CT:6.22 mmol/L, HDL-C:0.98 mmol/L, HVG : oui

Risque coronarien à 10 ans (Framingham)

47.1%

33.1% ------ 63.5%

(IC 95%)


Présentation graphiquePrésentation graphiqueNew Zealand risk prediction chartNew Zealand risk prediction chart

FemmesFemmes


Conclusion

Oui, il est possible d’employer des modèles de prédiction

MAIS:Validation nécessaireATTENTION: il s’agit d’une estimation sur un groupe

de patients dont les caractéristiques sont celles du patient

Il s’agit d’une AIDE à la décision, pas d’un chiffre « couperet »


Documents

Comment construire une échelle de risque ? Théorie et pratique Gilles Chatellier Faculté Paris Descartes Unité de Recherche Clinique, HEGP [email protected]