L’approche actuarielle dans la prise de décision

L’approche actuarielle dans la prise de décision

Vincent Berthet Maître de conférences – Université de Lorraine

Janvier 2013

1. La méthode actuarielle : généralités

Définition

• Dans son sens originel, la méthode actuarielle désigne une procédure utilisée par les compagnies d'assurance consistant à calculer différents indicateurs (taux, intérêt, rendement) sur la base de données statistiques prédictives (tables de mortalité, facteurs de risque, …)

ex: calculer un taux de remboursement d’un individu sur la base de son espérance de vie, son état de santé, son statut socio-économique, etc.

• Le métier d’actuaire :

“Le risque est intrinsèquement lié à la vie et aux activités humaines […]. De ce fait, les agents économiques s’efforcent d’identifier les risques auxquels ils sont soumis et de les mesurer.

L’actuaire est un spécialiste ou un ingénieur du risque, dont l'activité s’exerce principalement dans les domaines assurantiels et financiers.”

Site du Master actuariat de l’université Paris-Dauphine


Définition

• Au sens large, la méthode actuarielle désigne une méthode particulière de prédiction qui consiste à prédire des événements uniquement sur la base de formules objectives (ou mécaniques) (Grove, 2000)

• Toujours au sens large mais de façon plus précise, la méthode actuarielle désigne plus généralement un mode de prise de décision

décision portant sur un état existant : diagnostic

ex: décider si un patient est atteint ou non d’une maladie

décision portant sur un état futur : pronostic (prédiction)

ex: décider si un étudiant réussira ses études

• Remarque: le cas le plus fréquent est celui de la prédiction, c’est pour cette raison que l’on parle plus souvent de prédiction actuarielle que de méthode actuarielle (e.g. Meehl, 1954 ; Grove, 2000)

• Domaines concernés : santé, travail, éducation, justice, politique, …


Définition

• Schéma général du processus de prise de décision :


X1 X2 X3 Xn … P

prédicteurs critère

Définition



X1 X2 X3 Xn … P


.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

Définition



X1 X2 X3 Xn … P


.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

Définition

• Meehl (1954) identifie deux dimensions fondamentales (orthogonales) du processus de prise de décision :

la nature des prédicteurs : qualitatifs vs. quantitatifs

la méthode de combinaison prédicteurs/critère : clinique vs. actuarielle

“I should distinguish first, as regards data, between psychometric and nonpsychometric kinds of information. As a completely different dichotomy (or continuum) I should distinguish as regards method between mechanical (or formal) methods of combining data and nonmechanical (or informal) methods (so-called judgmental, clinical, impressionistic, or subjective).”(Meehl, 1954/1996, p. 15)


Meehl, P. E. (1954). Clinical vs. statistical prediction: A theoretical analysis and a review

of the evidence. Minneapolis: University of Minnesota Press.

Définition

• Meehl (1954) identifie deux dimensions fondamentales (orthogonales) du processus de prise de décision :

la nature des prédicteurs : qualitatifs vs. quantitatifs

la méthode de combinaison prédicteurs/critère : clinique vs. actuarielle


Nature des Prédicteurs

Méthode de combinaison

Clinique Actuarielle

Qualitatifs

Quantitatifs

Définition

• méthode clinique (experte) : utilisation du jugement subjectif (intuition, impression, expérience personnelle)

« étant donné ces informations, je pense que … »

ex: radiologiste posant un diagnostic sur la base de l’examen d’une série de radios


X1 X2 X3 Xn … C

prédicteurs/cues critère

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

jugement

valeurs prédites

Définition

• méthode actuarielle (mécanique) : utilisation d’une formule objective

formule statistique : analyse d’une base de données historiques qui contient pour chaque individu les informations relatives aux prédicteurs et au critère


X1 X2 X3 Xn …

prédicteurs/cues

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

O

valeurs observées

.

.

.

.

.

.

critère

Définition


régression linéaire : meilleure combinaison linéaire des prédicteurs qui minimise l’écart entre les valeurs prédites et observées du critère


X1 X2 X3 Xn … P

prédicteurs/cues

valeurs prédites

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

O

valeurs observées

.

.

.

.

.

.

critère

Définition


formule non statistique : pas d’analyse de base de données historiques ex: utilisation d’une combinaison linéaire des prédicteurs sans régression (choix arbitraire des pondérations)

• Caractéristique centrale : aucun jugement humain n’intervient dans la prise de décision

lorsqu’une décision est prise sur la base d’une formule, un novice (clerk) ou un ordinateur suffisent pour prendre la décision

• Remarque: la plupart du temps, les outils actuariels mettent en jeu une formule statistique. C’est pour cette raison que les expressions prédiction actuarielle et prédiction statistique sont souvent considérées comme synonymes (e.g. Meehl, 1954 ; Grove, 2000). On parle également de « règle de prédiction statistique » (statistical prediction rule)


Définition

• Dans son travail pionnier de 1954, Meehl souligne que c’est donc moins la nature des données (qualitatives vs. quantitatives) que la façon dont celles-ci sont traitées pour aboutir à la prédiction (clinique vs. mécanique) qui est déterminant pour la précision de la prédiction

des données exclusivement quantitatives peuvent être traitées de façon clinique

des données exclusivement qualitatives peuvent être traitées de façon actuarielle

une information issue d’une procédure actuarielle peut être utilisée d’une façon clinique

ex: l’échelle de névrosisme du NEO PI-R est un moyen actuariel pour diagnostiquer le degré de névrosisme d’un sujet (formule : addition des scores aux items). Le score d’un sujet à cette échelle peut être utilisé par un clinicien pour prédire de façon intuitive le risque de dépression du sujet


Approche contrastive

• La méthode actuarielle se présente comme une méthode de prise de décision alternative au jugement humain (méthode clinique)

Les études portant sur l’application de la méthode actuarielle dans divers domaines (ex : médical, judiciaire, psychologique) ont notamment suivi une approche contrastive qui consiste à comparer de façon systématique, pour une même décision/prédiction, la précision de la méthode clinique et celle de la méthode actuarielle

c’est une question empirique avant tout (pas théorique et encore moins idéologique) : approche data-driven

méthodologie générale :

– VI : méthode de décision/prédiction (clinique vs. actuarielle)

– VD : précision de la décision/prédiction

exemples de critères : récidive criminelle, réponse au traitement en psychothérapie, réussite professionnelle, satisfaction maritale


Approche contrastive

• Remarque: les véritables actuaires ignorent les travaux portant sur la méthode actuarielle prise au sens large

“You might be surprised to learn that actuarial methods have been in the middle of a heated debate on this topic for more than 60 years. Certainly few of us actuaries even know about this debate. Clinical psychologists have had a running debate about whether actuarial or clinical predictions are better. Paul Meehl first raised the issue in 1954, with the debate continuing into at least the 1990s […] Meehl’s primary contribution was the suggestion that there should be an experimental way to show the difference in efficacy between the two methods.

Crudely, you can characterize these three ways of thinking [heuristics, clinical, statistical] along a historical spectrum […]

Real actuaries, not the actuaries of the psychologists’ discussions, place our practice somewhere in the middle of these methods.” (Ingram, 2012, p.26-27)


Ingram, D. (2012). The Evolution of Thinking. The Actuary, 9, 25-28.

La philosophie actuarielle

• La méthode actuarielle est en fait la mise en œuvre dans un cas particulier (décision/prédiction) d’une approche plus générale : l’approche evidence-based/data-driven

“In God we trust; all others must bring data.” W. Edwards Deming

approche favorisant la production et l’analyse de données, de preuves

cette approche s’oppose à l’approche basée sur le jugement et l’intuition (gut-feeling) : problématique experts vs. équations


Pour en savoir plus :

http://vincentberthet.com/medecine-au-baseball-triomphe-lapproche-evidence-based/
















L’Evidence-Based Medicine

• Cette approche est officiellement apparue au début des années 1990 dans le domaine médical : Evidence-Based Medicine (EBM)

« médecine fondée sur des preuves » ou « médecine factuelle »

son principal initiateur est Gordon Guyatt, médecin et professeur d’épidémiologie et biostatistiques à l’université McMaster (Ontario)


Guyatt, G., et al. (1992). Evidence-based medicine. A new approach to teaching the

practice of medicine. The Journal of the American Medical Association, 268, 2420-2425.



• Logique de l’EBM : appuyer les décisions médicales sur des données probantes (preuves) de façon systématique

“the conscientious, explicit and judicious use of current best evidence in making decisions about the care of individual patients.” (Sackett et al., 1996)

• L’EBM pose la question du rôle et de l’utilisation des statistiques en médecine

“The debate over EBM is in large part a debate about whether statistics should impact real-world treatment decisions.” (Ayres, 2007)




Exemple 1

• En 1847, l’obstétricien hongrois Ignaz Semmelweis fait une observation particulière dans l’hôpital général de Vienne où il travaille : le taux de mortalité due à la fièvre puerpérale est largement plus élevé chez les femmes ayant accouché avec l’aide des médecins ou internes que chez celles dont l’accouchement a été pratiqué par des sages-femmes

Semmelweis constate que souvent, les médecins qui s’occupent d’un accouchement ont pratiqué des autopsies juste avant

il suppose que la fièvre puerpérale est une maladie contagieuse dont l’apparition est influencée par les substances provenant des autopsies

• Semmelweis fait instaurer une nouvelle pratique dans l’hôpital : les médecins doivent se laver les mains avec de l’eau de chaux chlorée avant d’examiner les femmes enceintes

le taux de mortalité des femmes ayant accouché passe de 18 % à 2.2 %




Exemple 1

• En dépit de l’efficacité de la pratique mise en œuvre (evidence), les travaux de Semmelweis ont fait l’objet de violentes attaques

les médecins pointaient du doigt l’absence d’explication scientifique reliant le fait de se laver les mains et la réduction de la mortalité

ils se plaignaient de la perte de temps que représentait le fait de se laver les mains plusieurs fois par jour

ils refusaient d’admettre l’idée qu’ils causer la mort de leurs patients

• Semmelweis a été mis à la porte de l’hôpital. Il a été placé dans un hôpital psychiatrique à la suite d’une dépression nerveuse. Il y est mort à 47 ans




Exemple 2

• Diagnostic du risque d’infarctus : dans le service des urgences de certains hôpitaux américains est affiché sur un mur un arbre décisionnel permettant de classer les patients admis en urgence pour des douleurs thoraciques quant à leur risque d’infarctus

Arbre décisionnel : outil actuariel d’aide à la décision médicale


d’après Green & Mehr (1997)


Experts vs. équations

• Un premier cas célèbre d’opposition entre l’approche evidence-based et l’approche experte renvoie aux travaux d’Orley Ashenfelter sur la prédiction de la valeur de millésimes de Bordeaux

économiste américain (Princeton) et amateur de vin

lorsqu’un amateur de vin achète une bouteille, il réalise un investissement. La question est moins « quelle est la valeur de cette bouteille aujourd’hui? » mais plutôt « quelle sera la valeur de cette bouteille dans X années? ». Cela peut être pour des raisons mercantiles ou pour son propre plaisir, auquel cas la question est : « combien de plaisir supplémentaire obtiendrai-je en reportant ma satisfaction immédiate? »




raisonnement d’Ashenfelter : ce sont les conditions météorologiques lors de la culture du raisin qui déterminent essentiellement la qualité d’un millésime de Bordeaux. Les étés chauds produisent un raisin mûr et un vin peu acide ; les années où la quantité de précipitation est faible donnent lieu à un raisin concentré et à un vin ayant du corps

modèle : analyse d’une base de données météorologiques de la région bordelaise entre 1952 et 1980 couplée aux prix de vente aux enchères de vins. Une analyse de régression dégage trois prédicteurs de la qualité d’un millésime de Bordeaux :

– la quantité de précipitation durant la saison hivernale

– la quantité de précipitation durant la récole

– la température moyenne durant la saison estivale


valeur vin = 12.145 + 0.00117*précipitation hivernale + 0.0614*température estivale – 0.00386*précipitation récolte



• Ces travaux d’Ashenfelter ont eu un certain retentissement (article dans le New York Times en 1990, “Wine Equation Puts Some Noses Out of Joint”) et a été très mal reçu de la part des experts du vin

revue britanique Wine : “the formula's self-evident silliness invites disrespect”, “somewhere between violent and hysterical”

Robert Parker, l’un des auteurs et spécialistes de vin les plus célèbres aux Etats-Unis : Ashenfelter est “an absolute total sham” son approche “is really a Neanderthal way of looking at wine. It's so absurd as to be laughable”, “is rather like a movie critic who never goes to see the movie but tells you how good it is based on the actors and the director” (voir le film, goûter le vin, voir et entendre le candidat)

Ashenfelter : “The livelihood of a lot of people depends on wine drinkers believing this equation won't work”, “They're annoyed because suddenly they're kind of obsolete”




• Un second cas célèbre d’opposition experts vs. équations renvoie aux récents travaux de Nate Silver sur la prédiction du résultat à l’élection présidentielle américaine de 2012

Silver : bloggeur (New York Times) et « statisticien » américain

il avait développé un algorithme qui agrège les données des différents sondages. Il prédisait que la victoire d’Obama sur Romney était très probable alors que la plupart des experts politiques (pundits) prédisaient une issue serrée





Joe Scarborough : "Too close to call."

Nate Silver : "It's numbers with their imperfections versus bullshit."







Nate Silver : "The Numbers Don't Lie ."


Le phénomène Moneyball

• Au début des années 2000, le manager général d’un club de baseball de la ligue professionnelle américaine (Major League Baseball) a appliqué une forme de management qui est devenue le « benchmark » de l’approche evidence-based/data-driven/actuarielle : Moneyball


Sport : Billy Beane Oakland Athletics

Livre : Michael Lewis Moneyball

Révolution Analytics "When Data Guys Triumph" (New York Times, 2011)

Film : Brad Pitt Moneyball



• Lors de la saison 2002, le club des Oakland Athletics dispose du troisième plus petit budget salarial parmi les 30 clubs de la ligue professionnelle


Source : Wikipédia



• Au début de la saison 2002, le club vient de perdre 3 de ses meilleurs joueurs partis dans des clubs plus riches (les New York Yankees, les Boston Red Sox, et les St. Louis Cardinals)

• Le manager du club, Billy Beane, conscient qu’il n’a pas les moyens financiers pour rivaliser avec les autres clubs dans le marché des joueurs, fait un choix managérial original : recruter des joueurs sur la base d’une analyse objective (statistique, evidence-based) de leurs performances plutôt que sur la base des opinions – subjectives – des professionnels du baseball (managers, coachs, joueurs, conseillers sportifs ou scouts)

• Le club termine la saison 2002 avec un excellent bilan :

premier de leur division (ouest) : 103 victoires, 59 défaites (63.6%) (le bilan des New York Yankees est 103 victoires, 58 défaites (64%)

record de la ligue de victoires consécutives : 20 (précédent record : 19)




• Beane a révolutionné le management sportif des clubs de baseball professionnels en introduisant deux innovations managériales :

1. dans le recrutement des joueurs, évaluer un joueur davantage sur la base d’informations objectives (statistiques individuelles) pertinentes que sur la base des opinions subjectives des professionnels (experts)

il y a des informations, des régularités sur les joueurs qui échappent à l’œil humain mais pas à l’analyse statistique

“One absolutely cannot tell, by watching, the difference between a .275 hitter and a .300 hitter. The difference between a good hitter and an average hitter is simply not visible—it’s a matter of record.” (James, Abstracts)




les experts du baseball ont tendance à incorporer des informations non pertinentes pour former leurs jugements

ex: apparence physique (Beane : “We're not selling jeans here”)

– Beane ne rencontrait pas les joueurs candidats à un poste

– Goldin et Rouse (2000) : dans un recrutement de musiciens pour un orchestre symphonique, les femmes ont plus de chances d’être recrutées lorsque les juges ne voient pas les candidats jouer que lorsque qu’ils les voient




Beane souligne en outre qu’il ne suffit pas d’évaluer les joueurs sur la base de leurs statistiques, il faut aussi et surtout prendre en compte des statistiques pertinentes

– pour cela, Beane s’est appuyé sur les travaux de Bill James

– James est un historien américain du baseball. A partir de 1977, il publie ses Baseball Abstracts dans lesquels il livre des analyses statistiques du jeu. Il utilise notamment les données statistiques de la Society for American Baseball Research (SABR), société créée en 1971 qui prend le baseball comme objet d’étude

– James a contribué à fonder la sabermétrie (terme qu’il a suggéré sur la base de l'acronyme SABR) qu’il définit comme « la recherche de la connaissance objective sur le baseball »




– ex: avant Beane, la principale statistique utilisée pour évaluer un batteur (hitter) était la moyenne au bâton (batting average). James avait montré qu’en fait, le pourcentage de présences sur les buts (On-Base Percentage : OBP) est une bien meilleure mesure de la valeur d’un batteur




évaluer les joueurs sur la base d’informations traduisant leur valeur réelle (statistiques) plutôt que sur des informations non pertinentes, permettait à Beane de repérer des joueurs sous-évalués et de les acquérir à un prix avantageux

– Beane avait ainsi identifié une inefficience dans le marché des joueurs et ses méthodes lui procuraient un avantage (edge) sur les autres équipes

“In short, Beane realized that the market for baseball players was inefficient because it was dominated by scouts making decisions based on intuition rather than objective, data-driven analyses. To borrow a phrase from the medical profession, you might say he took an “evidence-based” approach to player selection” (Guszcza & Lucker, 2009, p. 49)




2. utiliser des modèles prédictifs de la performance des joueurs basés sur leurs statistiques individuelles

c’est cette seconde innovation qui correspond à l’application de la méthode actuarielle

ex: James avait défini une formule qui prédit de runs (action gagnante) qu’un batteur produira en fonction de son OBP

cette pratique managériale traduit l’approche gestionnaire de Beane : l’objectif est d’acheter des victoires, pour cela, il faut acheter des runs acheter un joueur revient à acheter une certaine quantité de runs




• Remarque: l’originalité de la pratique managériale de Beane repose à la fois sur la nature des informations utilisées pour l’évaluation des joueurs et sur le traitement de ces informations pour prédire leur performance. Par conséquent, le phénomène Moneyball n’est pas un exemple d’application de la méthode actuarielle – considérée au sens large – à strictement parler




• Le type de management instauré par Beane reposant sur une utilisation massive des statistiques s’est imposé au cours des années dans la ligue professionnelle en particulier et dans d’autres sports en général

ex: dans la première moitié de la saison NBA 2009-2010, les 15 équipes employant au moins un statisticien à plein temps ont remporté 59 % de leurs matchs alors que les 15 équipes n’employant aucun statisticien ont gagné 41 % de leurs matchs (Biderman, 2010)

– mais variable confondue : budget du club

“Today, eight years after Moneyball roared […] all 30 clubs incorporate statistical analysis in their baseball operations, with 15 to 20 of them relying on it heavily.” (Verducci, 2011)

“Moneyball is dead; long live Moneyball.” (Silver, 2012)



Popularisation de l’approche evidence-based

• Deux best-sellers ont contribué à populariser l’approche evidence-based




• Dans Freakonomics (2005), Levitt et Dubner décrivent un ensemble de situations concrètes où une approche evidence-based/data-driven permet de révéler un pattern ou de mieux comprendre le phénomène

plus de 4 million de copies vendues à la fin de l’année 2009

Steven Levitt : économiste américain, professeur à l'Université de Chicago. Intéressé plus par les méthodes (quantitatives) que par leur domaine d’application (économie) : “There is nothing we love more than finding things in data that no one else can see” (brochure de Greatest Good)

ex: il y a une corrélation négative entre la disponibilité de l’avortement à un moment donné et le taux de criminalité subséquent (hypothèse Donohue-Levitt), l’une des raisons étant que les enfants non désirés ont plus de chances de devenir des criminels ou délinquants




• Dans Super Crunchers (2007), Ian Ayres (professeur d’économie à la Yale Law School) décrit également des exemples concrets d’application de l’approche evidence-based/data-driven

les deux méthodes dont Ayres donne des exemples d’application sont la régression (prédiction) et l’expérimentation (tester la causalité)

à l’origine, Ayres voulait intituler son livre The End of Intuition

le message du livre est que, à l’ère du Big Data, le rôle des analytics (outils statistiques) devient prépondérant (ex : Google)


Guszcza, J., & Lucker, J. (2009). Irrational Expectations. How statistical thinking can

lead us to better decisions. Deloitte Review, 4, 45-59.

Davenport, T.H., & Patil, D.J. (2012). Data Scientist: The Sexiest Job of the 21st

Century. Harvard Business Review, 90, 70-76.

2. Méthode clinique vs. méthode actuarielle en psychologie

Etudes majeures

• Littérature relativement importante, 5 méta-analyses entre 1954 et 2006

Meehl (1954)

Sawyer (1966)

Sines (1971)

Grove et al. (2000)

Ægisdóttir et al. (2006)


Etudes majeures

Lundberg (1926, 1941)


Lundberg, G.A. (1926). Case work and the statistical method. Social Forces, 5, 61-65.

Lundberg, G. A. (1941) Case-studies vs. statistical methods—An issue based on

misunderstanding. Sociometry, 4, 379-83.

Etudes majeures

Sarbin (1941, 1943, 1944)


Sarbin, T. R. (1941). Clinical psychology—Art or science? Psychometrika, 6, 391-400.

Sarbin, T. R. (1943). A contribution to the study of actuarial and individual methods

of prediction. American Journal of Sociology, 48, 593–602.

Sarbin, T. R. (1944). The logic of prediction in psychology. Psychological Review, 51,

210-28.

Etudes majeures

Sarbin (1941, 1943, 1944)

• Sarbin (1943) formule explicitement la question de savoir laquelle des méthodes clinique et actuarielle est la méthode de décision/prédiction la plus précise

“The problem may be posed in a brief and simple manner: In any given predictive situation, which method is better—i.e., more accurate and more informative in a scientific way—that of the clinician or that of the actuary?” (Sarbin, 1943, p. 600)

• Il insiste sur la nécessité d’aborder cette question empiriquement

“Those who hold that the clinical case study method can do more than the statistical method must submit evidence” (Sarbin, 1943, p. 600)


Etudes majeures

Sarbin (1941, 1943, 1944)

• L’hypothèse de Sarbin est que l’activité prédictive du clinicien est fondamentalement similaire à la logique d’un outil actuariel

lorsqu’il fait une prédiction, le clinicien s’appuie sur une base de données stockée en mémoire qui comporte des informations sur des prédicteurs et sur le critère. Cette base de données est construite et actualisée au cours de la vie du clinicien

mais l’activité prédictive du clinicien est sujette à des limites :

– limitation de la taille de la base de données (mémoire)

– biais cognitifs dans la récupération et l’utilisation des données pour formuler une prédiction

par conséquent, Sarbin en arrive à la conclusion que les prédictions du clinicien ne peuvent pas, en principe, être plus précises que les prédictions actuarielles car celles-ci sont parfaitement consistantes contrairement aux premières


Etudes majeures

Sarbin (1941, 1943, 1944)

• Expérience de Sarbin (1943) :

prédiction de la réussite académique des étudiants : résultat au premier trimestre (honor-point ratio) d’étudiants en première année à l’Université du Minnesota (162 étudiants, 73 garçons et 89 filles)

prédiction actuarielle : valeurs prédites par une équation de régression à deux prédicteurs (le modèle avait été estimé sur un autre échantillon)

– rang percentile des résultats au lycée

– score au test d’aptitude pour l’admission à l’université


Etudes majeures

Sarbin (1941, 1943, 1944)

• Expérience de Sarbin (1943) :

prédiction clinique : valeurs d’une échelle en 8 points issues du jugement d’un conseiller du bureau de conseil et d’orientation des étudiants de l’université (5 conseillers dont 4 possédaient un doctorat et une expérience « considérable » dans le conseil aux étudiants)

pour établir leur prédiction pour chaque étudiant, les conseillers avaient accès à :

– les deux variables prises en compte dans la régression, PLUS :

– les notes d’un interviewer relatives à un entretien antérieur, les scores à un inventaire d’intérêts professionnels, les scores à un inventaire de personnalité, les scores à d’autres tests d’aptitudes, un formulaire d'enregistrement individuel de 8 pages rempli par l’étudiant, et un entretien avec l’étudiant avant le début des cours du premier trimestre


Etudes majeures

Sarbin (1941, 1943, 1944)

• Résultats :

corrélation résultats prédits/résultats observés :

considérée séparément pour les filles et pour les garçons, la différence de précision entre les deux méthodes n’est pas significative

lorsque les données sont agrégées sur le sexe, la méthode actuarielle est significativement plus précise que la méthode clinique

lorsque la prédiction clinique est ajoutée comme troisième prédicteur dans la régression, l’incrément du R multiple n’est pas significatif (.01 pour les garçons et .05 pour les filles)


Type de prédiction

Sexe des étudiants

Garçons Filles

Clinique .35 .69

Actuarielle .45 .70

Etudes majeures

Sarbin (1941, 1943, 1944)

• Résultats :

lorsque le critère est dichotomisé (réussite vs. échec), la différence de précision entre les deux méthodes est quasiment significative pour les garçons, elle est significative pour les filles (prédiction actuarielle plus précise que prédiction clinique)

les prédictions cliniques surestiment la réussite des étudiants (« erreur de clémence »)

les deux prédicteurs du modèle actuariel corrèlent plus avec le jugement du conseiller (score à l’échelle en 8 points) qu’avec le critère : le conseiller surestime l’influence de ces deux variables sur la variance du critère


Etudes majeures

Burgess (1928)

• Prédiction de la récidive chez les délinquants : Burgess a construit une échelle comportant 21 prédicteurs sur la base de l’analyse d’un échantillon de 1000 sujets (détenus dans l’Illinois remis en liberté)

• Glaser (1954) a testé le modèle actuariel de Burgess (1928) sur un échantillon de 2600 détenus remis en liberté entre 1940 et 1949 : les scores à l’échelle de Burgess (méthode actuarielle) prédisent mieux la récidive que les résultats des expertises psychiatriques (méthode clinique)


Burgess, E. W. (1928). Factors determining success or failure on parole. In A. A.

Bruce. The workings of the indeterminate sentence law and the parole system in Illinois

(pp. 205-249). Springfield, IL: Illinois Committee on Indeterminate Law and Parole.

Glaser, D. (1954). A reconsideration of some parole prediction factors. American

Sociological Review, 19, 335-341.

Etudes majeures

Meehl (1954)

• C’est cette publication (livre) qui a réellement jeté un pavé dans la mare. Meehl y apporte 4 contributions majeures (Grove, 2005)

1. Meehl distingue les deux dimensions fondamentales de la prédiction

2. Meehl défend l’idée que la comparaison méthode clinique/méthode actuarielle définit une véritable problématique de recherche nécessitant une investigation scientifique – au moins dans le domaine psychologique

ce faisant, il jette les bases de la « controverse »

cette problématique/controverse n’est pas une lubie intellectuelle, elle est au contraire inévitable dans le domaine de la prise de décision. En effet, dans une part importante de leur activité professionnelle, les psychologues formulent – de façon plus ou moins explicite – des prédictions, ex: « quelles sont les chances de ce patient de sortir de la dépression ? », « quelles sont les chances que ce délinquant récidive ? »


Etudes majeures

Meehl (1954)

3. Meehl analyse la méthode clinique et la méthode actuarielle à un niveau conceptuel

analyse conceptuelle de la méthode clinique : analyse des processus mentaux qui sous-tendent les décisions/prédictions du clinicien (Meehl, 1960)

à ce niveau conceptuel, l’analyse de Meehl ne désavantage pas la méthode clinique, au contraire. Sur les 10 chapitres du livre, on trouve notamment deux chapitres intitulés “The Special Powers of the Clinician” et “Remarks on Clinical Intuition”


Meehl, P. E. (1960). The cognitive activity of the clinician. American Psychologist, 15, 19-

27.

Etudes majeures

Meehl (1954)

Deux apports notables de cette analyse conceptuelle :

a. Meehl critique l’hypothèse de Sarbin selon laquelle, au mieux, le clinicien imite un outil actuariel. Selon Meehl, cette hypothèse consiste à dire que “the clinician is a second-rate substitute for a Hollerith machine” (Meehl, 1954, p. 76)

pour Sarbin, le format des prédictions du clinicien est du type : « cet étudiant a 1 chance sur 6 de réussir ses études à l’université ». Cette description du clinicien laisse penser que celui-ci fonctionne effectivement comme un outil actuariel

mais pour Meehl, les prédictions du clinicien ont un format différent qui comporte deux éléments : i) la prédiction proprement dite (« cet étudiant ne réussira pas ses études à l’université »), ii) le degré de certitude subjective dans la prédiction (« la probabilité que cette prédiction est correcte est de 5/6 »)


Etudes majeures

Meehl (1954)

Meehl critique l’hypothèse implicite dans la position de Sarbin selon laquelle il est possible d’évaluer la probabilité d’un événement unique

enfin, il propose une analogie pour illustrer le fait que, sur le principe, l’activité prédictive du clinicien peut ne pas se limiter uniquement à l’analyse d’une base de données stockée en mémoire


Etudes majeures

Meehl (1954)

Deux apports notables de cette analyse conceptuelle :

b. Meehl analyse une limite fondamentale de la méthode actuarielle : « le cas de la jambe cassée » (broken-leg case)

Considérons une personne qui va dans un cinéma donné tous les mardis soirs. Une règle actuarielle simple consiste à prédire que chaque mardi soir, la probabilité que cette personne se rende dans le cinéma en question est très élevée. Un lundi, la personne se casse la jambe. Dans ce cas précis, un humain peut ajuster son jugement en revoyant la probabilité à la baisse alors que le modèle actuariel continuera à faire la même prédiction (qui sera absurde en l’occurrence)


Etudes majeures

Meehl (1954)

Meehl défend l’idée que le cas de la jambe cassée ne remet pas en cause la validité de la méthode actuarielle :

le taux de base des jambes cassées est faible, donc ce genre de cas ne diminuent pas vraiment la précision de la prédiction actuarielle

en raison de leur rareté, on ne connaît pas bien l’influence des cas de jambe cassée sur le comportement en question

– dans l’exemple de la jambe cassée, on peut raisonnablement penser que l’occurrence de l’événement rare impacte fortement la probabilité du comportement en question

– mais ce n’est pas le cas la plupart du temps, de par le fait même ce genre d’événement est rare

– donc lorsqu’un clinicien pense être confronté à un cas de jambe cassée, il lui est en fait difficile de déterminer dans quelle mesure il s’agit d’un véritable cas de jambe cassée ou non


Etudes majeures

Meehl (1954)

4. Meehl passe en revue de façon exhaustive les études empiriques sur la question disponibles à l’époque et aboutit à la mise en évidence de la supériorité de la méthode actuarielle sur la méthode clinique

chapitre 8 du livre

“The assertion sometimes heard from clinicians that "naturally", clinical prediction, being based on "real understanding", is superior, is simply not justified by the facts.” (Meehl, 1954, p. 119)


Etudes majeures

Meehl (1954)

• Conclusion sur Meehl (1954) :

1. Ce travail a souvent été mal compris et mal interprété. Meehl s’explique sur à ce sujet dans la préface de l’édition de 1996 (derniers écrits de sur cette problématique). En effet, beaucoup de personnes qui ont lu ou entendu parler du livre :

n’ont retenu que le chapitre 8 et ont ainsi contribué à véhiculer l’idée que Meehl était un fervent défenseur de la méthode actuarielle et un fervent opposant à la méthode clinique

croient que Meehl défendait l’idée que les tests psychométriques prédisent mieux que les entretiens cliniques (alors que la distinction clinique/actuariel porte sur le mode de traitement des données, pas sur la nature de celles-ci


Etudes majeures

Meehl (1954)

En effet, des études comme celles de Sarbin (1943) peuvent donner à lieu à cette erreur d’interprétation car elles confondent presque ces deux variables :

prédiction actuarielle : données quantitatives, traitement actuariel

prédiction clinique : données quantitatives et données qualitatives, traitement clinique

En fait, Meehl (1954) avait repéré ce danger et suggéré de contrôler la nature des données pour ne pas qu’il y ait d’ambiguïté :

“The ideal design is one in which the same basic set of facts is subjected on the one hand to the skilled analysis of a trained clinician, and on the other hand is subjected to mechanical operations (table entry, multiplication by weights, or the like). The predictions arrived at by these two methods are then compared with respect to their success.” (Meehl, 1954/1996, p. 89-90)


Etudes majeures

Meehl (1954)

“Despite my long-term identification with the Minnesota Multiphasic Personality Inventory (MMPI), if I were asked to diagnose a mental patient and told that I could either have an MMPI profile or conduct a mental status examination, I would prefer the latter.” (Meehl, 1996, Preface, p. iii)

2. Ce travail a été visionnaire

“Clearly, Paul’s views of major issues in the clinical versus statistical prediction controversy changed little over the years. No great theoretical breakthroughs, radically improved prediction methods, or momentously different empirical outcomes emerged after 1954. However, this did not have the effect of making Meehl’s ideas "old hat" or reducing his contribution to an historical footnote. Indeed, to this day, applied and cognitive psychologists find his writings fresh, insightful, unusually clear and careful, and engagingly presented.” (Grove, 2005, p. 1241)


Etudes majeures

Goldberg (1965, 1968, 1970)

• Goldberg (1965) a construit un outil actuariel permettant de poser le diagnostic de sortie (diagnostic posé au moment du congé d'hôpital) de patients psychopathologiques (psychose vs. névrose) sur la base du MMPI

analyses statistiques de données comportant pour chaque sujet le diagnostic de sortie et les scores à 11 échelles du MMPI

le modèle actuariel (ayant la meilleure précision) établit le diagnostic sur la base d’une règle simple :

calculer : (somme scores à 3 échelles – somme scores à 2 échelles)

– si résultat < 45 : diagnostic = névrose

– si résultat ≥ 45 : diagnostic = psychose

« règle de Goldberg »


Goldberg, L. R. (1965). Diagnosticians vs. diagnostic signs: The diagnosis of psychosis

vs. neurosis from the MMPI. Psychological Monographs: General and Applied, 79, 1-27.

Etudes majeures

Goldberg (1965, 1968, 1970)

• Goldberg (1965) a ensuite comparé la précision du diagnostic issu de la règle actuarielle à celle du diagnostic posé par 29 psychologues, 13 experts (praticiens PhD) et 16 novices (étudiants avancés en psychologie)

les psychologues devaient poser leur diagnostic sur la base des données MMPI des patients

la comparaison a été réalisée sur un nouvel échantillon de 861 sujets (les données provenant de 7 institutions différentes)

• Résultats :

précision moyenne de la règle actuarielle : 70% de diagnostics corrects

précision moyenne des psychologues : 62% de diagnostics corrects (moins bon psychologue : 50%, meilleur psychologue : 67%)


Etudes majeures

Goldberg (1965, 1968, 1970)

• Goldberg (1968) a testé l’effet d’un entraînement des psychologues sur la précision de leur diagnostic

les données pour l’entraînement consistaient en 300 profils MMPI avec pour chacun le diagnostic de sortie (valeur réelle du critère)

ces données permettaient aux psychologues d’avoir un feedback sur la précision de leur diagnostic

dans une condition, Goldberg a même fournit aux psychologues le résultat de la règle actuarielle pour chaque sujet (ils étaient informés de la précision de cette règle et étaient libres de l’utiliser à leur gré)

• Résultats : le diagnostic issu de la règle actuarielle reste plus précis que celui posé par les psychologues


Goldberg, L.R. (1968). Simple Models of Simple Process? Some Research on Clinical

Judgments. American Psychologist, 23, 483-96.

Etudes majeures

Goldberg (1965, 1968, 1970)

• Goldberg (1970) a enfin montré que même un modèle du psychologue est plus précis que le psychologue lui-même dans les cas où le diagnostic issu du modèle du psychologue et celui issu du psychologue divergent

modèle du psychologue : régression des prédictions du psychologue sur les prédicteurs dont il dispose (judgmental bootstrapping)

résultat déjà observé dans d’autres domaines (ex : prédiction du volume des récoltes de maïs aux États-Unis au début du 20ème siècle)

• Ce résultat suggère que la consistance du fonctionnement des modèles est l’un des facteurs majeurs expliquant leur supériorité sur les experts


Goldberg, L. R. (1970). Man versus model of man: A rationale, plus some evidence,

for a method of improving clinical inferences. Psychological Bulletin, 73, 422-432.

Etudes majeures

Dawes (1979)

• Lorsqu’on cherche à prédire un critère continu à partir de prédicteurs continus, les modèles linéaires statistiques (ou propres : les prédicteurs sont pondérés de façon à optimiser la relation entre les valeurs prédites et les valeurs observées) sont plus précis que le jugement clinique

• Dawes (1979) montre que dans ce cas précis, le jugement clinique est également inférieur à des modèles linéaires impropres dans lesquels la pondération des prédicteurs ne résulte pas d’une procédure d’optimisation (ex : les pondérations sont choisies de façon intuitive ou au hasard)


Dawes, R.M. (1979). The Robust Beauty of Improper Linear Models in Decision

Making. American Psychologist, 34, 571-82.

Etudes majeures

Dawes (1979)

Exemple 1

• On cherche à prédire l’évaluation globale finale des étudiants diplômés par les enseignants (échelle en 5 points : 5 : exceptionnel, 4 : au-dessus de la moyenne, 3 : dans la moyenne, etc.)

prédiction clinique :

– prédicteur : évaluation des étudiants par le comité d’admission

– corrélation prédictions/observations : .19

modèle linéaire propre : régression multiple

– prédicteurs : GRE, GPA, niveau de sélectivité de l’établissement de premier cycle


modèle linéaire impropre : les prédicteurs sont équipondérés



Etudes majeures

Dawes (1979)

Exemple 2

• Au cours d’une discussion informelle, un ami de Dawes lui fait remarquer que son article sur la prédiction de la réussite académique des étudiants en psychologie intéressera certainement ses collègues universitaires mais peu le grand public. Il lui demande si, par exemple, il pourrait prédire le niveau de bonheur conjugal de son couple

à cette époque, le département de psychologie de l’université de Dawes mène des recherches sur comportement sexuel des personnes

ces recherches sont largement comportementales (ex : mesure de la fréquence des rapports sexuels) mais elles comportent aussi des mesures auto-rapportées (ex : mesure de la satisfaction maritale)


Etudes majeures

Dawes (1979)

Exemple 2

• Dawes à l’idée de tester un modèle linéaire impropre pour prédire le bonheur conjugal :

bonheur conjugal = fréquence des rapports sexuels – fréquence des disputes

• Etude sur 27 couples

l’un des deux membres du couples codes les observations relatives aux rapports sexuels et aux disputes, évaluation du bonheur conjugal sur une échelle en 7 points

corrélation entre la différence (rapports sexuels – disputes) et le bonheur conjugal : .40 (p < .05)


Etudes majeures

Dawes (1979)

Exemple 2

résultat répliqué par Edwards et Edwards (1977) et Thornton (1977)

Thornton (1977) obtient une corrélation de .81 mais le caractère élevé de cette corrélation est dû à une contamination du critère : les couples évaluaient leur bonheur conjugal après la période d’enregistrement de leurs rapports sexuels et disputes

(Thornton rapporte même qu’un participant de l’étude a décidé de divorcer après avoir réalisé que les relations avec son partenaire étaient davantage conflictuelles qu’amoureuses…)

• Dawes, Faust, et Meehl (1989) publient un article sur le sujet dans la revue Science


Dawes, R.M., Faust, D., & Meehl, P.E. (1989). Clinical versus actuarial judgment.

Science, 243, 1668-1774.

Etudes majeures

Meehl (1986)

• Article écrit pour un symposium organisé à l’occasion du 40ème anniversaire de la publication du livre de 1954

• Meehl dresse le bilan des études sur la comparaison clinique/actuariel dans divers domaines et la conclusion qu’il tire est devenue célèbre :

“There is no controversy in social science which shows such a large body of quantitatively diverse studies coming out so uniformly in the same direction as this one. When you are pushing over 100 investigations, predicting everything from the outcome of football games to the diagnosis of liver disease, and when you can hardly come up with half a dozen studies showing even a weak tendency in favor of the clinician, it is time to draw a practical conclusion.” (Meehl, 1986, p. 372-373)


Meehl, P.E. (1986). Causes and effects of my disturbing little book. Journal of

Personality Assessment, 50, 370–375.

Etudes majeures

Grove et al. (2000)

• Méta-analyse de 136 études

• Principales caractéristiques de la méta-analyse :

pour chaque étude, prise en compte des caractéristiques méthodologiques susceptibles d’influencer le résultat de la comparaison (ex : taille de l’échantillon, type de critère, nature des prédicteurs, cross-validation ou non de l’outil actuariel)

calcul systématique de la taille d’effet (ES : différence de précision entre la prédiction actuarielle et la prédiction clinique)

soit les deux méthodes devaient porter sur les mêmes participants (VI intra), soit l’assignement des participants dans les deux conditions devait être aléatoire (VI inter)


Grove, W.M., Zald, D.H., Lebow, B.S., Snitz, B.E., & Nelson, C. (2000). Clinical versus

mechanical prediction: A meta-analysis. Psychological Assessment, 12, 19-30.

Etudes majeures

Grove et al. (2000)

• Principales caractéristiques de la méta-analyse :

critères pour l’inclusion d’une étude :

– relever des domaines de la psychologie ou de la médecine

– comparer la performance prédictive d’au moins un humain (expert, juge, clinicien, etc.) à celle d’au moins un outil actuariel (formule, algorithme, arbre décisionnel, etc.)

– le clinicien et l’outil actuariel devaient prédire un même critère, soit sur la base des mêmes prédicteurs, soit les prédicteurs utilisés par l’une des deux méthodes devaient être un sous-ensemble des prédicteurs utilisés par l’autre méthode

Remarque: dans les études retenues, la prédiction clinique s’appuyait sur au moins autant d’informations que la prédiction actuarielle


Etudes majeures

Grove et al. (2000)

• 136 études remplissant ces critères sur 163 études présélectionnées

dans la plupart des études :

– les méthodes clinique et actuarielle étaient comparées sur plusieurs critères

– pour un même critère, plusieurs types de cliniciens (expérimentés vs. novices) et/ou plusieurs types d’outils actuariels (régression vs. combinaison linéaire sans pondération) étaient comparés

– pour chaque étude, Grove et al. (2000) ont analysé toutes les comparaisons clinique/actuarielle possibles (ex : l’étude de Goldberg (1965) donne lieu a 124 comparaisons)


Etudes majeures

Grove et al. (2000)

• 136 études remplissant ces critères sur 163 études présélectionnées

chacune des études a donné lieu à un codage détaillé (ex : source de la publication, nature du critère, domaine du prédicteur, nature du prédicteur, niveau d’expérience professionnelle du clinicien, etc.) (un manuel de 25 pages décrit ce codage). Degré d’accord inter-juges élevé (.97) sur 14 études

la mesure de la précision des prédictions varie entre les études (corrélation, taux de vrais positifs, AUC) donc les ES bruts ne sont pas comparables

– transformation des ES bruts dans une métrique commune

– un ES positif traduit une supériorité de la prédiction actuarielle

ex: dans l’échelle des ES transformés, un ES de 0.1 représente une différence de 9%-10% dans le taux de vrais positifs, pour des prédictions dont la précision est intermédiaire (50%-75%)


Etudes majeures

Grove et al. (2000)

• Résultats :

les ES échelonnés vont de -0.30 à 0.74 (la moitié des ES se situent entre 0 et 0.2)

sur les 136 études :

– 63 (46%) comportent des ES > 0.1 : avantage net de la méthode actuarielle

– 65 (48%) comportent des ES entre 0 et 0.1 : égalité entre les deux méthodes

– 8 (6%) comportent des ES < -0.1 : avantage net de la méthode clinique


Etudes majeures

Grove et al. (2000)

• Résultats :

la supériorité de méthode actuarielle tend à être plus importante lorsque le critère relève des domaines médical ou judiciaire

le fait que l’outil actuariel ait été cross-validé ou non n’influence pas la différence de précision entre les deux méthodes

le niveau de pratique et d’expérience du clinicien n’influence pas la différence de précision entre les deux méthodes

le fait que le clinicien dispose de plus d’informations (prédicteurs) que l’outil actuariel n’influence pas la différence de précision entre les deux méthodes

le fait que le clinicien dispose de données issues d’un entretien augmente la supériorité de la méthode actuarielle

l’utilisation de données issues de tests, questionnaires, ou observation n’influence pas la différence de précision entre les deux méthodes


Etudes majeures

Grove et al. (2000)

• Résultats :

Remarque: les deux derniers résultats ne signifient pas que les outils psychométriques produisent des prédictions plus précises que les entretiens cliniques


Etudes majeures

Grove et al. (2000)

• Conclusions :

“The trend in our data is so strong that we conjecture the following: There is no selection of studies, based on anything except study outcome itself, that will yield a conclusion directly contrary to ours.” (Grove et al., 2000, p.26)

les auteurs ne trouvent aucun élément méthodologique ou prédicteur favorisant la précision de la méthode clinique : au contraire, ils en trouvent un qui la dégrade : l’entretien

la méthode actuarielle est globalement plus précise que la méthode clinique, mais cet avantage n’est pas massif : dans approximativement la moitié des études (48%), les deux méthodes ont des précisions égales


Une troisième voie : combiner les deux méthodes ?

• Cette alternative consiste à fournir au clinicien l’information issue de l’outil actuariel

• Meehl et ses collaborateurs défendent l’idée que la méthode clinique et la méthode actuarielle sont mutuellement exclusives : on doit utiliser soit l’une soit l’autre mais pas les deux à la fois

dans le cas où l’on fournit au clinicien l’information issue de l’outil actuariel pour que celle-ci complémente son jugement, la méthode de décision reste clinique au final

comme le suggèrent Dawes et al. (1989) :

– si les deux méthodes concordent, il n’y a pas besoin de les combiner

– si les deux méthodes divergent, il faut choisir l’un ou l’autre



• Certains chercheurs considèrent qu’il est évident que la meilleure solution est de combiner les deux méthodes. Du coup, opposer méthode actuarielle/méthode clinique est une fausse controverse

Zubin (1956) : “The distinction between actuarial and clinical prediction is heuristic rather than basic.” (p. 627)

mais Grove (2005) : “The point of view of which Zubin speaks is the advancement of our knowledge about the prediction of human behavior. But this is not the problem Meehl tried to solve; his problem was to pick the right tool for the practical task at hand.” (p. 1240)



• Certains chercheurs considèrent qu’il est évident que la meilleure solution est de combiner les deux méthodes. Du coup, opposer méthode actuarielle/méthode clinique est une fausse controverse

Zubin (1956) : “the question of whether the actuarial approach is superior to the clinical is tantamount to asking whether the sperm is more important than the ovum” (Zubin, 1956, p. 627)

mais Grove (2005) : “When presented with a current need to make predictions for a series of cases, clinical and statistical prediction methods do not cooperate like a ratchet wrench and its socket set, let alone an ovum and a sperm. Instead, they compete like screwdriver and pry bar, as ways to open a can of paint.” (p. 1241)


Les raisons de la supériorité de la méthode actuarielle

• On identifie 3 facteurs principaux sous-jacents à la supériorité de la méthode actuarielle sur la méthode clinique

1. la connaissance des valeurs observées (réelles) du critère

souvent, le clinicien n’a pas connaissance de ces valeurs

– dans ce cas, celui-ci n’obtient pas de feedback sur la précision de ses prédictions/décisions (écart entre les valeurs prédites et les valeurs réelles du critère). Si la précision de ses prédictions est faible, il ne peut pas en être conscient et donc s’améliorer

ex: radiologistes vs. anesthésistes

(c’est probablement l’une des raisons pour lesquelles la précision des prédictions de psychologues expérimentés n’est pas beaucoup meilleure que celle des prédictions d’étudiants en psychologie)

– d’un autre point de vue, le clinicien ne peut pas dans ce cas apprendre la régularité reliant les prédicteurs au critère




X1 X2 X3 Xn …

prédicteurs/cues

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

O

valeurs observées

.

.

.

.

.

.

critère

régularité

• Une régularité relie un ensemble de prédicteurs et un critère :



X1 X2 X3 Xn … P

prédicteurs/cues

valeurs prédites

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

O

valeurs observées

.

.

.

.

.

.

critère

régularité

• Processus d’apprentissage de la régularité :



Test (prédicteur)

Maladie

Malade

Test négatif 15 15%

Test positif 85 85%



dans certains cas, le clinicien n’a connaissance que d’une partie de ces valeurs (échantillon asymétrique)

ex:

– un médecin côtoie plus de malades que de non malades : ici, il pourrait conclure qu’un test positif est un signe de la maladie

– mais pour pouvoir tirer une telle conclusion, il faut : a) les données relatives aux personnes non malade (= condition contrôle), b) les taux de base





ex:


Test (prédicteur)

Maladie

Malade Non malade

Test négatif 15 15% 765 85%

Test positif 85 85% 135 15%





ex:


Test (prédicteur)

Maladie

Malade Non malade







ex:


Test (prédicteur)

Maladie

Malade Non malade







ex:


Test (prédicteur)

Maladie

Malade Non malade



100 10% 900 90%





ex:


Test (prédicteur)

Maladie

Malade Non malade



100 10% 900 90% N = 1000



Test (prédicteur)

Maladie

Malade Non malade



100 10% 900 90% N = 1000




ex:

– en raison des taux de base, un patient qui présente un test positif a plus de chances de ne pas être malade (61.4 %) que d’être malade (38.6 %) : le test a une valeur prédictive positive faible




2. la combinaison des informations

en général, les experts sont bons pour sélectionner les prédicteurs (choisir quoi regarder) mais pas pour les combiner afin d’établir une décision/prédiction

ex: étude de Einhorn (1972) :

– 3 médecins (dont un expert international) devaient coder les biopsies de 193 patients (maladie de Hodgkin) sur plusieurs dimensions et établir un jugement global sur l’état de la maladie

– ce jugement global ne prédit pas du tout le temps de survie du patient (corrélation pratiquement nulle)

– mais lorsqu’elles sont prises comme prédicteurs dans une régression multiple, les dimensions des biopsies choisies et codées par les médecins prédisent significativement le temps de survie




2. la combinaison des informations

en particulier, lorsqu’ils prennent en compte des prédicteurs pertinents, les experts pondèrent mal ces variables

“Human judges are not merely worse than optimal regression equations; they are worse than almost any regression equation.” (Nisbett & Ross, 1980, p. 141)




3. les biais cognitifs dans le jugement et le raisonnement

les prédictions/décisions des experts sont faillibles car les processus mentaux qui les sous-tendent peuvent être sujets à des biais cognitifs

travaux de Daniel Kahneman et Amos Tversky notamment





biais de confiance subjective : « j’y crois donc c’est vrai »

– on dérive une prédiction sur la base d’un scénario dont on pense qu’il est vrai parce qu’il fait sens

– surgénéralisation de ses propres expériences personnelles (les gens ont tendance à penser que celles-ci sont typiques)

biais rétrospectif : croire que parce qu’on est capable d’expliquer le passé, on est capable de prédire le futur

biais de disponibilité : privilégier les informations les plus disponibles en mémoire





“The problem is not that baseball professionals are stupid; it is that they are human. Like most people, including experts, they tend to rely on simple rules of thumb, on traditions, on habits, on what other experts seem to believe. Even when the stakes are high, rational behavior does not always emerge. It takes time and effort to switch from simple intuitions to careful assessments of evidence.” (Sunstein & Thaler, 2003)

L’évaluation actuarielle du risque de violence


• Sujet d’actualité et polémique

• Exemples récents :

affaire Laetitia Perrais (janvier 2011) : jeune fille de 18 ans violée et tuée par un récidiviste

– celui-ci avait été libéré en février 2010. Il possédait alors un casier judiciaire chargé de 13 condamnations dont le viol d’un co-détenu alors qu’il était mineur

– cette affaire a généré une vive opposition entre le Président de la République de l’époque (N. Sarkozy) et les magistrats

“Quand on laisse sortir de prison un individu comme le présumé coupable sans s'assurer qu'il sera suivi par un conseiller d'insertion, c'est une faute. Ceux qui ont couvert ou laissé faire cette faute seront sanctionnés, c'est la règle.”



• Un sujet d’actualité et polémique

• Exemples récents :

affaire Agnès Marin (novembre 2011) : collégienne de 13 ans violée puis tuée par un de ses camarades (récidiviste)

– celui-ci avait déjà effectué quatre mois de détention préventive dans le cadre d’une autre affaire de viol sur mineure



• Ces deux affaires récentes relance la question de l’évaluation du risque de récidive chez les criminels. Plusieurs professionnels (psychiatres, juristes) évoquent alors les outils actuariels d’évaluation de ce risque, largement utilisé au Canada et aux Etats-Unis



• LOI n° 2012-409 du 27 mars 2012 de programmation relative à l'exécution des peines (1) (JORF n°0075 du 28 mars 2012 page 5592) :

“Pour que l'évaluation de la dangerosité criminologique puisse progresser, il convient également d'engager une réflexion sur les outils et les méthodes à la disposition des praticiens. Si la méthode clinique, qui repose sur des entretiens avec la personne et son observation dans le cadre d'expertises psychiatriques, est aujourd'hui bien établie dans le cadre de l'évaluation de la dangerosité psychiatrique, la méthode actuarielle fondée sur des échelles de risques est, pour sa part, insuffisamment utilisée par l'institution judiciaire dans son ensemble. Très répandue dans les pays anglo-saxons, et en particulier, au Canada, cette méthode repose sur des tables actuarielles mettant en évidence les différents facteurs de récidive à partir d'études statistiques comparant des groupes de criminels récidivistes et de criminels d'occasion. Parce que la dangerosité criminologique ne se réduit pas à la seule dangerosité psychiatrique, il convient d'intégrer ces méthodes actuarielles dans les outils et méthodes permettant aux praticiens d'émettre des avis circonstanciés, fondés sur des critères précis.”



• Exemple d’outil actuariel évaluant le risque de violence : le Violence Risk Appraisal Guide (VRAG)

outil développé par Harris et al. (1993), Quinsey et al. (1998), Rice et Harris (1995)

échantillon d’origine : 618 hommes ayant séjourné dans une unité de soins aux détenus à la suite d’une infraction avec violence grave

critère : présence/absence de récidive (nouvelle inculpation pour actes violents) dans les 7 ans suivant la remise en liberté

prédicteurs : 12 variables sélectionnées sur 50 variables codées à partir des dossiers institutionnels des sujets (variables objectives et variables psychologiques, ex : diagnostic de schizophrénie)

calcul d’un score dichotomisé en faible vs. élevé



• Exemple d’outil actuariel évaluant le risque de violence : le Violence Risk Appraisal Guide (VRAG)

résultats :

– valeur prédictive positive du score : 55% (115/209)

– valeur prédictive négative du score : 81.4% (333/409)

Score (prédicteur)

Récidive (critère)

Oui Non

Faible 76 333 409

Elevé 115 94 209

191 427 N = 618

La révolution actuarielle est-elle en cours ?

Conclusion

• Meehl est décédé en 2003, année de la publication de Moneyball

le livre a été reviewé en 2003 dans The New Republic par deux proches collaborateurs de Khaneman Thaler et Sunstein (“Who's on First”)

Le 7 décembre 2011, Michael Lewis a écrit un article dans Vanity Fair sur Kahneman et le rôle décisif de ses travaux dans l’avènement du phénomène Moneyball (“The King of Human Error”)

• Explosion de l’approche evidence-based/data-driven/statistique

Quand la méthode actuarielle est-elle appliquée ?

Conclusion

• La méthode actuarielle est appliquée lorsqu’il y a une recherche explicite de « performance » (chiffrée) dominée par un critère pragmatique

mettre en œuvre des solutions objectivement efficaces

ex:

– assurance (domaine d’origine de la méthode actuarielle)

– compétition sportive professionnelle (Moneyball)

– évaluation du risque de récidive chez les délinquants (Sarkozy en 2005 : réduction de la délinquance, diagnostic précoce du trouble de la conduite)

• La méthode actuarielle est moins appliquée lorsque la recherche de performance est modérée par un critère idéologique

on préfèrera une certaine solution à une autre solution pourtant plus efficace objectivement mais moins acceptable idéologiquement

Les limites de la méthode actuarielle

Conclusion

• Validité générale : un outil actuariel peut être valide sur un certain groupe mais pas sur un autre

• Caractère statique de la prédiction (broken leg case)

les modèles actuariels sont valables lorsque l’environnement est stable (les relations prédicteurs/critère ne bougent pas)

c’est l’une des principales raison pour militer en faveur de la complémentarité entre méthode actuarielle et méthode clinique

• Les bénéfices relatifs à l’utilisation des outils actuariels sont peut être compensés par les coûts liés à leur construction et leur actualisation

• Une base de données historiques n’est pas toujours disponible pour permettre la construction d’un modèle statistique prédictif


Conclusion

• Globalement, la précision des outils actuariels (taille d’effet) reste relativement faible

“This resistance is best expressed by a dean considering the graduate admissions who wrote, "The correlation of the linear composite with future faculty ratings is only .4, whereas that of the admissions committee's judgment correlates .2. Twice nothing is nothing".” (Dawes, 1979, p.580)


Conclusion

• Globalement, la précision des outils actuariels (taille d’effet) reste relativement faible

“Intellectually, I find it somewhat remarkable that we are able to predict even 16% of the variance. But I believe that my own emotional response is indicative of those of my colleagues who simply assume that the future is more predictable. I want it to be predictable, especially when the aspect of it that I want to predict is important to me. This desire, I suggest, translates itself into an implicit assumption that the future is in fact highly predictable, and it would then logically follow that if something is not a very good predictor, something else might do better (although it is never correct to argue that it necessarily will). Statistical prediction, because it includes the specification (usually a low correlation coefficient) of exactly how poorly we can predict, bluntly strikes us with the fact that life is not all that predictable. Unsystematic clinical prediction (or "postdiction"), in contrast, allows us the comforting illusion that life is in fact predictable and that we can predict it.” (Dawes, 1979, p.580)

Les obstacles à la méthode actuarielle

Conclusion

• Obstacles psychologiques

• Grove et Meehl (1996) ont listé 17 raisons invoquées par les cliniciens à l’encontre de l’utilisation d’outils actuariels dans le domaine psychiatrique

ex: croire qu’un contre-exemple invalide une régularité statistique (« je connais un fumeur qui a vécu jusqu’à 90 ans sans cancer »)

• Un moyen de sensibiliser les experts à l’approche actuarielle : leur demander de garder une trace de leurs décisions/prédictions et leur fournir systématiquement les valeurs observées du critère pour les confronter à la précision réelle de leurs décisions/prédictions

“A good prophylactic for clinical psychologists basing resistance to actuarial prediction on such instances would be to keep careful records of their own predictions about their own patients—prospective records not subject to hindsight. Such records could make all instances of successful and unsuccessful prediction equally available for impact […].” (Dawes, 1979, p. 579)


Conclusion

• Obstacles idéologiques/culturels

l’approche actuarielle n’est pas dans la culture française

Interview de Kahneman à France Inter le 27/10/2012 par Alexandra Bensaid : « C’est un ouvrage décidemment dérangeant sur la vacuité de nos expertises quand il ne s’agit pas de la dangerosité de nos décisions. Vous en arrivez à une conclusion, Daniel Kahneman, vous écrivez : "chaque fois qu’il est possible de remplacer le jugement humain par une formule, nous devrions au moins l’envisager". Mais c’est ça, c’est terrifiant ! »


Conclusion

• Obstacles idéologiques/culturels

acceptabilité de la méthode, sentiment de déshumanisation

“When I was at the Los Angeles Renaissance Fair last summer, I overhead a young woman complain that it was "horribly unfair" that she had been rejected by the Psychology Department at the University of California, Santa Barbara, on the basis of mere numbers, without even an interview. "How can they possibly tell what I'm like?" The answer is that they can't. Nor could they with an interview (Kelly, 1954). Nevertheless, many people maintain that making a crucial social choice without an interview is dehumanizing.” (Dawes, 1979, p.580)

Data & Analytics

L’approche actuarielle dans la prise de décision