75
Les pièges de l’intuition Cours ‘Interprétation de la preuve’ (8)

Les pièges de lintuition Cours Interprétation de la preuve (8)

Embed Size (px)

Citation preview

Page 1: Les pièges de lintuition Cours Interprétation de la preuve (8)

Les pièges de l’intuition

Cours ‘Interprétation de la preuve’

(8)

Page 2: Les pièges de lintuition Cours Interprétation de la preuve (8)

Littérature

D. Kahneman, P. Slovic, A. Tversky, Judgment under uncertainty : heuristics and biases. Cambridge University Press, Cambridge (1982)

M. Piattelli-Palmarini, Inevitable illusions. John Wiley and Sons, New York (1994).

W.C. Thompson, Are juries competent to evaluate statistical evidence? Law and Contemporary Problems 52 (1989) 9-41.

D.H. Kaye, J.J. Koehler, Can jurors understand probabilistic evidence ? Journal of the Royal Statistical Association 154 (1991) 75-81.

D.H. Kaye, DNA evidence: probability, population genetics and the courts. Harvard Journal of Law and Technology 7 (1993) 101-172.

F. Taroni, J. Lambert, L. Fereday, D. Werrett, The evaluation and the presentation of forensic DNA evidence in European laboratories. Technical Report ENFSI - DNA Working Group (1999).

F. Taroni, C.G.G. Aitken, The likelihood ratio approach to compare populations : a study on DNA evidence and pitfalls of intuition. Science & Justice 39 (1999) 213-222.

Page 3: Les pièges de lintuition Cours Interprétation de la preuve (8)

Littérature

• W.C. Thompson, E.L. Schumann, Interpretation of statistical evidence in criminal trials. The prosecutor’s fallacy and the defence attorney’s fallacy. Law and Human Behaviour 11 (1987) 167-187.

• J.J. Koehler, Error and exaggeration in the presentation of DNA evidence at trial. Jurimetrics Journal 34 (1993) 21-39.

• D.J. Balding, P. Donnelly, The Prosecutor’s fallacy and DNA evidence. Criminal Law Review (1994) 711-721.

• M. Redmayne, Doubts and burdens: DNA evidence, probability and the courts. Criminal Law Review 6 (1995) 464-482.

• I.W. Evett, Avoiding the transposed conditional. Science and Justice 35 (1995) 127-131.

• F. Taroni, C. Aitken, Probabilistic reasoning in the law, part I: assessment of probabilities and explanation of the statistical DNA evidence. Science and Justice 38 (1998) 165-177.

Page 4: Les pièges de lintuition Cours Interprétation de la preuve (8)

Exemple

• L’entreprise pour laquelle travaille Mr Jones organise un dîner pour ceux de ses employés ayant au moins un fils.

• Chacun de ces employés est invité à se présenter avec son aîné.

• On sait que Mr Jones a deux enfants et il est invité au dîner.

• Quelle est alors la probabilité que ses enfants soient tous deux des garçons ?

Page 5: Les pièges de lintuition Cours Interprétation de la preuve (8)

Solution

On suppose que l’ensemble fondamental est :

S = {(g,g),(g,f),(f,g),(f,f)}

et que tous ces événements sont équiprobables.

Le fait de savoir que Mr Jones a été invité au dîner est équivalent à savoir qu ’il a au moins un fils.

Ainsi, en désignant par E l’événement ‘les deux enfants sont des garçons’ et par F l’événement ‘au moins l’un des deux enfants est un garçon’, la probabilité P(E|F) cherchée est :

L’enfant le plus âgé estun garçon et que l’autre est

une fille

Page 6: Les pièges de lintuition Cours Interprétation de la preuve (8)

Solution : P(E|F)

La probabilité recherchée est :

3

1

43

41

,,,,,

,|

|

gffgggP

ggPFEP

FP

FEPFEP

Page 7: Les pièges de lintuition Cours Interprétation de la preuve (8)

Solution : P(E|F) = 1/3

Bien de gens se trompent en évaluant cette probabilité à 1/2.

Ils admettent dans leur raisonnement que l’enfant non présent au dîner a autant de chance d’être un garçon qu’une fille.

L’hypothèse que ces deux probabilités soient identiques est fausse : initialement en effet, il y avait 4 événements d’égale probabilité.

Dès l’information ‘au moins l’un des enfants est un garçon’ connue, on sait que l’événement final n’est pas (f,f).

Il nous reste ainsi trois événements équiprobables : (g,g), (g,f), (f,g).

Ceci montre que l’événement est deux fois plus probable que son contraire.

Page 8: Les pièges de lintuition Cours Interprétation de la preuve (8)

How many girls

Une famille a deux enfants.

Vous savez qu’au moins un des deux enfants est une fille (appelons cet événement F) .

Quelle est la probabilité que l’autre enfant soit une fille (appelons E l’événement ‘les deux enfants sont des filles’) ?

Page 9: Les pièges de lintuition Cours Interprétation de la preuve (8)

How many girls ?

G1

B1

G2

B2

G2

B2

Ier enfant IIème enfant no filles

2

1

1

0

Probabilité

1/4

1/4

1/4

1/4

1/2

1/2

1/2

1/2

Page 10: Les pièges de lintuition Cours Interprétation de la preuve (8)

Solution

Pour trouver la probabilité de F, il faudra additionner les probabilités des trous cheminements donnant F :

Nous sommes intéressés à la probabilité conditionnelle P(E|F), qui - par définition - est :

4

3

4

1

4

1

4

1FP

3

1

43

41 |

FP

fillesdeuxP

FP

FEPFEP

Page 11: Les pièges de lintuition Cours Interprétation de la preuve (8)

Problème

Il est facile de se tromper ! La confusion arrive car on confond l’événement F (‘au moins une fille’) avec ‘un enfant donné est une fille.Par exemple, en conditionnant sur G1 au lieu que sur F on aura :

Dire ‘au moins une fille’ est facilement compris comme ‘le premier enfant est une fille’.

2

1

21

41

1

1

11|

GP

fillesdeuxP

GP

GEPGEP

Page 12: Les pièges de lintuition Cours Interprétation de la preuve (8)

Deux indices : ‘ conjunction ’

Imaginons deux indices E1 et E2 : de façon indépendante ils

permettent d’établir la culpabilité du suspect. Si on multiplie leur valeurs respective - en posant

l’hypothèse de l’indépendance - alors on obtiendra : (0.7)2 = 0.49 < 0.5

Deux indices qui séparément permettent de condamner un suspect, si elles sont exploitées ensemble ne le permettent pas ! Comment est-il possible ?

49.0,|

7.0||

211

1111

EEHP

EHPEHP

Page 13: Les pièges de lintuition Cours Interprétation de la preuve (8)

Deux indices : ‘ conjunction ’

Qu’est-ce que signifie ‘ indépendance ’ entre deux indices, E1 et E2 ?

Les probabilités conjointes de deux indices - sachant H1 et H2 - sont égales au produit des probabilités individuelles :

2221221

1211121

|||,

|||,

HEPHEPHEEP

et

HEPHEPHEEP

2

1

221

121

212

211

|,

|,

,|

,|

HP

HP

HEEP

HEEP

EEHP

EEHP

Page 14: Les pièges de lintuition Cours Interprétation de la preuve (8)

Deux indices : ‘ conjunction ’

Ceci ne signifie pas - par exemple - que

alors,

2111211 ||,| EHPEHPEEHP

09.0

49.0

3.0

7.0

3.0

7.0

|

|

|

|

|

|

|

|

:

||

||

|,

|,

22

21

12

11

222

112

221

111

21

22221

11211

2221

1121

EHP

EHP

EHP

EHP

HPHEP

HPHEP

HPHEP

HPHEP

HPHPSi

HPHEPHEP

HPHEPHEP

HPHEEP

HPHEEP

Page 15: Les pièges de lintuition Cours Interprétation de la preuve (8)

Deux indices : ‘ conjunction ’

Donc :

7.084.058.0

49.0

09.049.01

09.049.0

,| 211

EEHP

J.E. Cohen, The probable and the provable. Clarendon Press, Oxford (1977)

J.E. Cohen, The difficulty about conjunction in forensic proof. The Statistician 37 (1988) 415-416

A.P. Dawid, The difficulty about conjunction. The Statistician 36 (1987) 91-97

Page 16: Les pièges de lintuition Cours Interprétation de la preuve (8)

Interprétation des chiffres : un exemple concret

Imaginons la présence de concordances entre les profils génétiques de la trace de sang et de Monsieur X.Même en obtenant des chiffres qui nous permettent de rendre compte de la rareté des caractéristiques concordantes dans la population générale (et ainsi estimer le rapport de vraisemblance), il faut être très attentif à la signification et aux limites de ces chiffres.

Page 17: Les pièges de lintuition Cours Interprétation de la preuve (8)

Interprétation de l’argument probabiliste

Nous admettons que cette statistique (objective ou subjective, souvent appelée ‘random match probability’ RMP) utilisée par l’expert est fiable.

Elle représente : RPM = P(E|H2)

Nous allons nous intéresser au bien-fondé des interprétation de cette statistique.

Page 18: Les pièges de lintuition Cours Interprétation de la preuve (8)

Constat

« It is also the responsability of the court to try to prevent juror confusion caused by lawyers and experts who sometimes seems unable to explain scientific evidence in language the jury understands. »« [avoid] the battle of experts [...] especially in the confusing area of the statistical meaning of a match. »

R.S. Reinstein, Commentary, In E. Connors/T. Lundregan/N. Miller/T. McEwen, Convicted by juries, exonerated by science: case studies in the use of DNA evidence to establish innocence after trial, U.S. Department of Justice - National Institute of Justice, Washington, 1996.

Page 19: Les pièges de lintuition Cours Interprétation de la preuve (8)

Les probabilités conditionnelles

Un viol a été commis dans une ville.Il y a 10’000 hommes qui peuvent avoir commis le crime

dont 200 travaillent dans une mine.Un indice a été retrouvé sur la scène du crime. A partir de

cet indice il est possible d’en déduire que le criminel est un homme parmi les 200 mineurs (par ex. des traces de minéraux).

Un suspect est arrêté et des traces de minéraux - compatibles avec ceux retrouvés sur les lieux - se trouvent sur ses habits. Comment peut-on exploiter cet indice ? Comment doit-on l’évaluer ?

Page 20: Les pièges de lintuition Cours Interprétation de la preuve (8)

Les probabilités conditionnelles

Définitions : E, l’indice qui lie le suspect au lieu du crime ; H1, l’hypothèse que le suspect est coupable ; H2, l’hypothèse que le suspect n’est pas coupable.

Prémisse : Toutes les personnes travaillant dans la mine présentent des

traces de minéraux sur les habits.

Page 21: Les pièges de lintuition Cours Interprétation de la preuve (8)

Les probabilités conditionnelles

Evaluation La probabilité de retrouver des traces de minéraux sur les habits d’une personne innocente peut être déterminé de la façon suivante :Il y a 9’999 hommes innocents en ville parmi lesquels 199 travaillent dans la mine.Ces 199 ont - suite au travail - des traces de minéraux sur les habits (même s’ils sont innocents).Par conséquent, P(E|H2) = 199/9’999=0.02Cette probabilité si faible signifie-t-elle qu’un homme qui serait retrouvé avec des traces de minéraux sur les habits aurait une probabilité de 0.02 d’être innocent ?

Page 22: Les pièges de lintuition Cours Interprétation de la preuve (8)

Les probabilités conditionnelles

Il y a 200 hommes en ville avec l’indice sur les habits (E). Parmi eux il y en a 199 qui sont innocents (H2). Par conséquent, P(H2|E) = 199/200=0.995

L’équation P(E|H2) = P(H2|E) est connue sous l’appellation de prosecutor’s fallacy (‘piège du procureur’).

Page 23: Les pièges de lintuition Cours Interprétation de la preuve (8)

Les pièges de l’intuition dans la pratique

« Il n’y a pas de différence entre les caractéristiques génétiques observées sur la trace [...] et celles observées sur Monsieur X. »

« Une telle constellation de caractéristiques se trouve chez environ 0.0001% de la population. »

Page 24: Les pièges de lintuition Cours Interprétation de la preuve (8)

Interprétation des chiffres :l’argument de l’Accusation

La fréquence d’apparition de cette trace de sang, concordante avec le profil du suspect est

de 1 sur 1 million.Donc, la probabilité de trouver cette trace là si quelqu’un d’autre que le suspect l’a laissée est

de 1 sur 1 million.Donc, la probabilité que quelqu’un d’autre

laisse cette trace est de 1 sur 1 million.Par conséquent, on peut être sûr à 99.9999%

que le suspect ait laissé cette trace !

Page 25: Les pièges de lintuition Cours Interprétation de la preuve (8)

Interprétation des chiffres :l’argument de la Défense

La fréquence d’apparition de cette trace de sang, concordante avec le profil du suspect est de 1

sur 1 million.Un tel profil génétique se trouve chez environ 1

individu sur 1 million de la population. En considérant une population d’intérêt de

2’000’000 personnes en Suisse qui peuvent avoir laissé la trace, il y a un deuxième individu

présentant ce même profil génétique.Dès lors, la probabilité que la trace ait été laissée

par le suspect est de 1 sur 2.Nous avons donc 50% de chance de nous

tromper !

Page 26: Les pièges de lintuition Cours Interprétation de la preuve (8)

Accusation et Défense

La probabilité que la traceait été laissée par Monsieur X

est de 1 sur 2.

La probabilité que la traceprovienne de Monsieur Xest supérieure à 99.99%.

Page 27: Les pièges de lintuition Cours Interprétation de la preuve (8)

Le juge ou le membre du jury

Page 28: Les pièges de lintuition Cours Interprétation de la preuve (8)

Prosecutor’s fallacy

« There is 10% chance that the defendant would have the crime blood type if he were innocent. Thus, there is a 90% chance that he is guilty. »

« The blood test is highly relevant. The suspect has the same blood type as the attacker. This blood type is found in only 1% of the population so there is only a 1% chance that the blood found at the scene of crime came from someone other than the suspect. Since there is a 1% chance that someone else committed the crime there is a 99% chance that the suspect is guilty. »

Page 29: Les pièges de lintuition Cours Interprétation de la preuve (8)

Prosecutor’s fallacy

Concordancereportée

RMP Source dela trace

P(E|H2) P(H1|E) = 1

Page 30: Les pièges de lintuition Cours Interprétation de la preuve (8)

E. Ross vs. State of Indiana(Indiana Court of Appeal, May 13, 1996)

La fréquence des caractéristiques génétiques concordances RPM = 1/80’000 « After conducting DNA testing on the vaginal swab

samples taken from the victim and Ross’ [the suspect] blood samples, the DNA expert stated that Ross was the source of the seminal fluid. »

Page 31: Les pièges de lintuition Cours Interprétation de la preuve (8)

People of the State of California vs. Orenthal James Simpson, aka O.J. Simpson, Case N. BA 097211 (1995)

« It is 270 million times more likely that we would see the evidence if Mr Simpson were the source of the blood stain than if Mr Simpson were not the source »

« Given the evidence, it is 270 million times more likely that Mr Simpson is the source of the blood stain than that Mr Simpson is not the source »

P(E|H2)

P(H1|E)

Expert

Juge

Page 32: Les pièges de lintuition Cours Interprétation de la preuve (8)

The transposed conditional

Il y a deux cas particulier du ‘piège du procureur’ où P(E|H2) est confondu avec :

la probabilité que le suspect ne soit pas la source de la trace (source probability error)

la probabilité que le suspect ne soit pas coupable (ultimate issue error).

Page 33: Les pièges de lintuition Cours Interprétation de la preuve (8)

Les fausses équations

La fréquence d’apparition des caractéristiques génétiques concordances entre le suspect et la trace est RPM = 1/1’000’000

Donc, la probabilité d’innocence du suspect est de 1/1’000’000.

Le piège consiste à confondre P(H2|E) avec P(E|H2).

En réalité, P(H1|E) = 1-P(H2|E) et non 1-P(E|H2).

222

21

||1|

|1|

HEPHEPEHP

HEPEHP

Page 34: Les pièges de lintuition Cours Interprétation de la preuve (8)

Le schéma d’inférence

Concordancereportée

RMP Innocence

P(E|H2) P(H2|E) = P(E|H2)

Page 35: Les pièges de lintuition Cours Interprétation de la preuve (8)

Ce piège de l’intuition

Je suis un éléphantJe suis un éléphant

doncdonc

je suis un animalje suis un animalà quatre pattesà quatre pattes

Page 36: Les pièges de lintuition Cours Interprétation de la preuve (8)

Ce piège de l’intuition

Je suis un animalJe suis un animalà quatre pattesà quatre pattes

doncdonc

je suis un éléphantje suis un éléphant

Page 37: Les pièges de lintuition Cours Interprétation de la preuve (8)

Ce piège de l’intuition

La probabilité d’être un La probabilité d’être un éléphant sachant que je éléphant sachant que je

suis un animalsuis un animalà quatre pattesà quatre pattes

P E A|

La probabilité d’être La probabilité d’être un animal à quatre pattes un animal à quatre pattes

sachant que je suis un sachant que je suis un éléphant éléphant

P A E|

Page 38: Les pièges de lintuition Cours Interprétation de la preuve (8)

Ce piège de l’intuition

La probabilité d’avoir laissé la trace sachant que

mon profil génétique concorde avec celui de la

trace

P H E1 |

La probabilité que mon profil génétique concorde

avec celui de la trace sachant que j’ai laissé la

trace

P E H| 1

Nous sommes interéssés

à cette probabilité ....... mais les données sur la raretéedes caractéristiques nous permettentd’estimer le complément de cette probabilité

Page 39: Les pièges de lintuition Cours Interprétation de la preuve (8)

La transition

Comment peut-on passer du

rapport de vraisemblance

à

? P H E1|

Page 40: Les pièges de lintuition Cours Interprétation de la preuve (8)

La théorie de Bayes

ance vraisembldeRapport

2

1

priori a ésProbabilit

2

1

posteriori a ésProbabilit

2

1

|

|

|

|

,|

,|

HEP

HEP

IHP

IHP

IEHP

IEHP

Page 41: Les pièges de lintuition Cours Interprétation de la preuve (8)

Exemple du test de dépistage HIV

Considérons un taux de faux positif et de faux négatif de 1%, respectivement.

Un homme est choisi au hasard et testé. Il est HIV positif.

Quelle est la probabilité que le test soit positif sachant que l’homme n’est en réalité pas infecté ?

Quelle est la probabilité que l’homme ne soit pas infecté sachant que le test est positif ?

Quelle est la question la plus pertinente ?

Page 42: Les pièges de lintuition Cours Interprétation de la preuve (8)

Exemple du test de dépistage HIV

Quelle est la probabilité que le test soit positif sachant que l’homme n’est en réalité pas infecté ?

La réponse à cette question est 1%. Quelle est la probabilité que l’homme ne soit pas infecté

sachant que le test est positif ? La réponse à cette question nécessite d’informations

supplémentaires, notamment : la probabilité que l’homme soit infecté avant que le test soit effectué

(type de comportement, type de population) sans informations spécifiques, nous pouvons admettre que la

fréquence des hommes contaminés dans la population est de 1 sur 1’000.

Page 43: Les pièges de lintuition Cours Interprétation de la preuve (8)

Le développement mathématique

91.0999.001.0001.099.0

999.001.0|

||

||

||

EHIVP

HIVPHIVEPHIVPHIVEP

HIVPHIVEPEHIVP

EP

HIVPHIVEPEHIVP

Page 44: Les pièges de lintuition Cours Interprétation de la preuve (8)

L’argument du défenseur

« The evidence for blood types has very little relevance for this case. Only 1% of the population has the rare blood type found at the scene of crime and in the suspect. However, in a city, like this one in which the crime occurred, with a population of 200’000 people who may have committed the crime this blood type would be found in approximately 2’000 people. The evidence merely shows that the suspect is one of 2’000 people in the city who might have committed the crime.The blood test evidence has provided a probability of guilt of 1 in 2’000. Such a small probability has little relevance for proving the suspect is guilty. »

Page 45: Les pièges de lintuition Cours Interprétation de la preuve (8)

L’argument du défenseur

Le calcul probabiliste du défenseur est correct. Avant le test génétique, le suspect avait un probabilité de 1

sur 200’000 d’être coupable. L’effet de la preuve génétique a été d’augmenter cette

probabilité d’un facteur 100. Par conséquent, la preuve était pertinente dans cette affaire.

Face à une telle argumentation de la defénse, on parle de ‘defence attorney’s fallacy’

Page 46: Les pièges de lintuition Cours Interprétation de la preuve (8)

En conclusion

La probabilité RMP n’est pas : la probabilité que le suspect - ayant la caractéristique

concordante - ait commis le crime. la probabilité que quelqu’un d’autre que le suspect ait

commis le crime. la probabilité que le suspect soit - ou ne soit pas - la source

de la trace. la probabilité que quelqu’un d’autre que le suspect soit à

l’origine de la trace.

Page 47: Les pièges de lintuition Cours Interprétation de la preuve (8)

People v. Collins, 68 Cal. 2d 319, 438 P. 2d 33, 66 Cal. Rptr. 497 (1968)

A Los Angeles, une femme âgée, victime d’une agression, décrivit son agresseur comme une jeune femme blonde. Un deuxième témoin oculaire rapporta qu’il avait vu la femme, de race blanche, les cheveux blonds attachés en queue de cheval, s’enfuir dans une voiture jaune conduite par un homme de race noire, portant barbe et moustaches. A l’aide de ces témoignages les enquêteurs arrêtèrent, quelques jours plus tard, un couple correspondant aux descriptions des témoins. Le couple fut accusé du crime.

Page 48: Les pièges de lintuition Cours Interprétation de la preuve (8)

People v. Collins : l’argument probabiliste

Lors du premier procès en 1964, le procureur présenta les probabilités d’apparition suivantes pour chacun des éléments de la description concordante au couple suspect:

Caractéristiques Probabilité

une voiture jaune 1/10un homme portant des moustaches 1/4un homme de race noire avec une barbe 1/10une femme aux cheveux blonds 1/3une femme coiffée en queue de cheval 1/10un couple interacial 1/1000

Page 49: Les pièges de lintuition Cours Interprétation de la preuve (8)

People v. Collins : conclusion

Le Procureur confia la tâche de combiner ces éléments à un professeur de mathématiques. L’expert, en appliquant la règle de la multiplication des probabilités indépendantes, parvint à une probabilité de 1 chance sur 12 millions pour l’occurrence conjointe des caractéristiques différentes.Sur ce témoignage, le Procureur conclut :

• qu’il y avait une probabilité de 1 sur 12 millions de retrouver par hasard dans la population un couple correspondant à cette description.

• il demanda au Jury d’en déduire qu’il y avait logiquement une chance sur 12 millions pour que les deux accusés soient innocents. Le couple fut condamné sur cet argument.

Page 50: Les pièges de lintuition Cours Interprétation de la preuve (8)

People v. Collins : la révision

En 1968, la Cour Suprême de l’État de Californie révisa les arguments mathématiques employés dans l’affaire People v. Collins en soulignant que :• les probabilités initiales avaient été suggérées par le Procureur sans

référence aucune à une quelconque étude de population pouvant justifier les chiffres avancées. Si l’on désire déterminer ces probabilités initiales, la question fondamentale est la détermination de la population pour le comptage de ces caractères. S’agit-il de la population du quartier où le crime a été commis, celle de la ville, de l’État ou même de la nation?

• Même dans l’hypothèse où les probabilités de base seraient correctement déterminées, il est erroné de procéder à la multiplication des probabilités pour obtenir leurs chances d’occurrence simultanée. La multiplication est admise uniquement s’il est établi que les caractères différents sont

indépendants.

Page 51: Les pièges de lintuition Cours Interprétation de la preuve (8)

People v. Collins : la révision

Si on admet que 1/12’000’000 est un estimateur fiable de la fréquence dans la population d’un couple avec ces caractéristiques, l’interprétation souffrait de 3 erreurs :• il était non-fondé d’utiliser un tel argument statistique puisque celui-ci

faisait référence à des caractéristiques qui sont justement celles qui ont permis la sélection du couple suspect (‘effet de sélection’). En effet, puisqu’on avait recherché notamment un homme noir portant barbe et moustaches, il était logique que la personne sélectionnée possédât ces critères ;

• la probabilité obtenue a été présentée en dehors du contexte de l’affaire, au mépris des hypothèses plausibles, par exemple, celle d’un témoignage entaché d’erreur ou celle d’un déguisement possible des assaillants ;

• interprétation erronée de cette probabilité en affirmant qu’elle correspondait également à la probabilité de l’innocence du couple suspect.

Page 52: Les pièges de lintuition Cours Interprétation de la preuve (8)

People v. Collins : références bibliographiques

• C.R. Kingston, Probability and legal proceedings. The Journal of Criminal Law, Criminology and Police Science 57 (1966) 1, 93-98

• C.R. Kingston, Applications of probability theory in criminalistics. American Statistical Association Journal March (1965) 70-80

• C.R. Kingston, Applications of probability theory in criminalistics - II. American Statistical Association Journal December (1965) 1028-1034

• M.O. Finkelstein, W.B. Fairley, A Bayesian approach to identification evidence. Harvard Law Review 83 (1970) 3, 489-517

• L.H. Tribe, Trials by mathematics: precision and ritual in the legal process. Harvard Law Review 84 (1971) 6, 1329-1393

• C.G.G. Aitken, Populations and samples. In C.G.G. Aitken, D.A. Stoney (Eds), The use of statistics in forensic science, New York, 1991, 51-82

• W.B. Fairley, F. Mosteller, A conversation about Collins. The University of Chicago Law Review 41 (1974) 242-253

• J.J. Koehler, One in millions, billions, and trillions: lessons from People v. Collins (1968) for People v. Simpson (1995). Journal of Legal Education 47 (1997) 214-223.

Page 53: Les pièges de lintuition Cours Interprétation de la preuve (8)

State of Vermont vs. T. Streich (658 A. 2d 38, 1995)

« [...] 1 in 1’000 represents the probability that an individual randomly selected from the general population has the same DNA profile as the defendant. »

[...] the expert offered probability statistics [1 in 1’000] on whether the DNA sample found on the victim came from someone other than defendant. »

« [...] the odds that another individual share defendant’s DNA profile is 1 in 1’000. »

Page 54: Les pièges de lintuition Cours Interprétation de la preuve (8)

La compréhension du canevas Bayesien suffit-il pour détecter les pièges de l’intuition ?

Les affirmations suivantes sont-elles correctes ? la probabilité RMP est égale à la probabilité qu’il existe

une autre personne dans la population possédant la même caractéristique génétique.

une fréquence d’apparition de 1 sur 1’000 signifie qu’il faut analyser 1000 personnes avant d’en observer une qui présente les mêmes caractéristiques.

Page 55: Les pièges de lintuition Cours Interprétation de la preuve (8)

Probabilité d’une autre concordance

Imaginons qu’un crime a été commis :

E représente la preuve retrouvée qui lie le criminel au crime.

un suspect est ensuite arrêté par la police. H2 est l’hypothèse que la trace n’a pas été laissée par le

suspect. RPM de la trace est décrite par la lettre p. P(E| H2) = p

Page 56: Les pièges de lintuition Cours Interprétation de la preuve (8)

Probabilité d’une autre concordance

P(une autre concordance) = p

Probabilité de sélectionner une personne au hasard dans la population (et qui ne soit pas apparenté au suspect) possédant les mêmes caractéristique que la trace (et le suspect)

Page 57: Les pièges de lintuition Cours Interprétation de la preuve (8)

Probabilité d’une autre concordance

P(une autre concordance) = (1 - p)

Probabilité de sélectionner une personne au hasard dans la population (et qui ne soit pas apparenté au suspect) possédant les mêmes caractéristique que la trace (et le suspect)

Probabilité qu’une personne sélectionnée au hasard dans la population ne possède pas les mêmes caractéristique que la trace (et le suspect)

Page 58: Les pièges de lintuition Cours Interprétation de la preuve (8)

Probabilité d’une autre concordance

P(une autre concordance) = (1 - p) N

Probabilité de sélectionner une personne au hasard dans la population (et qui ne soit pas apparenté au suspect) possédant les mêmes caractéristique que la trace (et le suspect)

Probabilité qu’une personne sélectionnée au hasard dans la population ne possède pas les mêmes caractéristique que la trace (et le suspect)

N représente la taillede la population d’intérêt

Page 59: Les pièges de lintuition Cours Interprétation de la preuve (8)

Probabilité d’une autre concordance

P(une autre concordance) = (1 - p) N

Probabilité de sélectionner une personne au hasard dans la population (et qui ne soit pas apparenté au suspect) possédant les mêmes caractéristique que la trace (et le suspect)

Probabilité qu’une personne sélectionnée au hasard dans la population ne possède pas les mêmes caractéristique que la trace (et le suspect)

N représente la taillede la population d’intérêt

La probabilité qu’aucune concordance avec les caractéristiques de la trace ne soit trouvée parmi les N membres de la population

Page 60: Les pièges de lintuition Cours Interprétation de la preuve (8)

Probabilité d’une autre concordance

P(une autre concordance) = 1 - (1 - p) N

Probabilité de sélectionner une personne au hasard dans la population (et qui ne soit pas apparenté au suspect) possédant les mêmes caractéristique que la trace (et le suspect)

Probabilité qu’une personne sélectionnée au hasard dans la population ne possède pas les mêmes caractéristique que la trace (et le suspect)

N représente la taillede la population d’intérêt

La probabilité qu’aucune concordance avec les caractéristiques de la trace ne soit trouvée parmi les N membres de la population

Le complément de l’événement ‘aucune concordance’ est ‘au moins ue concordance’ . voici cette probabilité

Page 61: Les pièges de lintuition Cours Interprétation de la preuve (8)

Exemple numérique

p 1/1'000’000 1/10'000’000 0.632 0.095

Probabilité qu’il y ait au moins une concordance sachant que l’élément de preuve possède une RMP p dans une population de 1 million.

Le piège arrive quand l’expert affirme que p = Si p = 1’000’000 et N = 10’000’000, alors = 0.999.

Page 62: Les pièges de lintuition Cours Interprétation de la preuve (8)

Erreur de la conversion numérique

Imaginons qu’un crime a été commis :

E représente la preuve retrouvée qui lie le criminel au crime.

RPM de la trace est décrite par la lettre p. n représente le numéro de personnes qui doivent être

testées avant de trouver une concordance. On peut faussement croire que la valeur de la preuve

réside dans l’équation 1/p = n et qu’une petite valeur de p implique une valeur large

de n.

Page 63: Les pièges de lintuition Cours Interprétation de la preuve (8)

Erreur de la conversion numérique

Nous pouvons calculer n, sachant p et posant une valeur P(M) pour la probabilité de trouver autre concordance.

Pour que la probabilité de rencontrer une autre correspondance soit supérieure à la probabilité de ne pas en avoir, il faut que la probabilité (au moins une autre correspondance) soit supérieure à 0.5 et donc que :

1 - (1 - p) N > 0.5ou

(1 - p) N < 0.5

Page 64: Les pièges de lintuition Cours Interprétation de la preuve (8)

Erreur de la conversion numérique

(1 - p) N < 0.5

N log (1 - p) < log 0.5

N > log 0.5 / log (1 - p) = 5

Page 65: Les pièges de lintuition Cours Interprétation de la preuve (8)

Exemple numérique

Fréquence d’apparition de la caractéristique : p est le plus petit nombre de personnes/objets à tester pour

que la probabilité de correspondance, P(M) = 0.5 n est le plus petit nombre de personnes/objets à tester pour

que la probabilité de correspondance, P(M) = 0.5

p 5 n5

0.1 6.6 70.01 69.0 690.001 692.8 693

Page 66: Les pièges de lintuition Cours Interprétation de la preuve (8)

Exemple numérique

Fréquence d’apparition de la caractéristique : p est le plus petit nombre de personnes/objets à tester pour

que la probabilité de correspondance, P(M) = 0.9 n est le plus petit nombre de personnes/objets à tester pour

que la probabilité de correspondance, P(M) = 0.9

p 9 n9

0.1 21.9 220.01 229.1 2300.001 2301.4 2302

Page 67: Les pièges de lintuition Cours Interprétation de la preuve (8)

Exemple numérique

Probabilité qu’il y ait au moins une correspondance avec l’élément de preuve sachant p et n’ (nombre de personnes/objets) testés = 1/p

Le fait de tester n’=1/p personnes ne permet pas d’aboutir à une certitude quand à la probabilité de trouver une correspondance.

p n’ ’0.1 10 0.651

0.01 100 0.6340.001 1’000 0.632

Page 68: Les pièges de lintuition Cours Interprétation de la preuve (8)

Erreur de la conversion numérique

L’expert qui commet l’erreur de la conversion numérique exagère le nombre de personnes/objets qui doivent être analysés avant de rencontrer un match.

Cette exagération amplifie la valeur probatoire de la trace et favorise la thèse du procureur.

Page 69: Les pièges de lintuition Cours Interprétation de la preuve (8)

Trois sources majeures de préjudices

la crainte que les faibles valeurs de probabilité présentées par les experts puissent être surestimées par les jurés et que d’autres éléments de preuve soient ainsi retenus (à tort) secondaires par rapport à la preuve génétique. Des recherches menées avec la collaboration de jurés potentiels et d’étudiants ont montré que le fait de présenter des fréquences alléliques faibles augmente les chances d’être retenu coupables d’un crime par rapport aux mêmes scénarios ne présentant pas de chiffres pour qualifier la preuve génétique ou présentant d’autres méthodes d’évaluation (rapport de vraisemblance).

J. Goodman, Jurors’ comprehension and assessment of probabilistic evidence. American Journal of Trial Advocacy 16 (1992) 361

F. Taroni, C. Aitken, Probabilistic reasoning in the law. Part I : assessment of probabilities and explanation of the value of DNA evidence. Science & Justice 38 (1998) 165-177.

Page 70: Les pièges de lintuition Cours Interprétation de la preuve (8)

Trois sources majeures de préjudices

l’absence dans tout rapport d’expertise de la probabilité qu’une erreur de laboratoire soit commis. Toute estimation de la probabilité de coïncidence fortuite sous-entend l’absence de ‘faux positifs’, c’est-à-dire, de la probabilité qu’un individu soit faussement incriminé par l’analyse génétique.

« [l]es prélèvements [...] ont révélé la présence des caractéristiques PCR suivantes : [...] DQ 1.2, 2 et une fois la caractéristique 4 (faible) et une fois les caractéristiques 1.1 et 4 (faible). Comme pour le prélèvement n.[...] la présence de plusieurs allèles pour ce système évoque une contamination. »

Donc, quelles sont les caractéristiques de la contamination ? L’allèle 1.1, 1.2, 2 ou 4 ?

Page 71: Les pièges de lintuition Cours Interprétation de la preuve (8)

Erreur de laboratoire

Cette crainte a été exposée dans des affaires américaines et dans la littérature spécialisée :

People vs. Barney, 10 Cal. Rptr. 2d 731 (Cal. App., 1992) ; People vs. Simpson, N. BA097211 (Los Angeles Cty. Super. Ct., Oct. 4,

1994) (Defendant’s motion to exclude DNA evidence) ;

J.J. Koehler, A. Chia, J.S. Lindsey, The random match probability in DNA evidence : irrelevant and prejudicial. Jurimetrics Journal 35 (1995) 201-219 ;

W.C. Thompson, Accepting lower standards : the National Research Council’s second report on forensic DNA evidence. Jurimetrics Journal 37 (1997) 405-424 ;

J.J. Koehler, Why DNA likelihood ratios should account for error (even when a National Research Council report says they should not). Jurimetrics Journal 37 (1997) 425-437.

Page 72: Les pièges de lintuition Cours Interprétation de la preuve (8)

Trois sources majeures de préjudices

la possibilité que la probabilité de sélectionner une personne au hasard dans la population possédant le même profil génétique que le suspect puisse être faussement interprétée comme étant la probabilité que le suspect ne soit pas à l’origine de la trace.

La confusion entre la première probabilité et la deuxième est connue sous l’appellation du ‘piège du procureur’ (en anglais, Prosecutor’s

fallacy ou Invertion fallacy).

Page 73: Les pièges de lintuition Cours Interprétation de la preuve (8)

Schéma d’inférence

Concordancereportée

Concordanceréelle

Culpabilitédu suspect

Source dela trace

Présence surles lieux

Partie analytique Partie interprétative

I

II

III

Page 74: Les pièges de lintuition Cours Interprétation de la preuve (8)

Exemple : Monty Hall

Lors d’un jeu télévisé américain, un joueur se trouve face à trois rideaux [A, B et C], derrière l’un desquels se trouve un prix qu’il peut gagner s’il fait les bons choix. Le présentateur connaît le rideau gagnant et invite le joueur à faire un premier choix, sans toutefois lui permettre de voir s’il a immédiatement gagné. A ce stade du jeu, le joueur a une chance sur trois de gagner.

Admettons que le joueur choisisse le rideau A, le présentateur montre alors que l’un des deux rideaux restant [C par ex.] ne cache pas le prix. A ce moment, le joueur est amené à faire un deuxième choix; rester sur son premier choix [rideau A], ou changer de rideau [en faveur du rideau B].

La question est de savoir si le joueur a intérêt ou non à changer de rideau. Le fait de changer de rideau influence-t-il ses chances de gagner ?

Page 75: Les pièges de lintuition Cours Interprétation de la preuve (8)

Exemple : Monty Hall

Voir Internet : http://stat.sc.edu/~west/javahtml/LetsMakeaDeal.html

E. Engel, A. Venetoulias, Monty Hall’s probability puzzle. Chance 4 (1991) 6-9.

J.P. Morgan, N.R. Chaganty, R.C. Dahiya, M.J. Doviak, Let’s make a deal : the player’s dilemma. The American Statistician 45 (1991) 284-28.

Exercice : pièges de l’intuition.