78
Anticiper les Risques Juridiques des Algorithmes d’IA Exemple de la Santé : l’IA au risque de la (loi de) Bioéthique Philippe Besse Université de Toulouse – INSA, IMT– UMR CNRS 5219, ObvIA – Université Laval 1/100

Anticiper les Risques Juridiques des Algorithmes d’IA

  • Upload
    others

  • View
    9

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Anticiper les Risques Juridiques des Algorithmes d’IA

Anticiper les Risques Juridiques des Algorithmes drsquoIAExemple de la Santeacute lrsquoIA au risque de la (loi de) Bioeacutethique

Philippe Besse

Universiteacute de Toulouse ndash INSA IMTndash UMR CNRS 5219 ObvIA ndash Universiteacute Laval

1100

Introduction

Le buzz de lrsquoIA

Battage meacutediatique sur lrsquoIntelligence Artificielle (IA)

bull Convergence entre puissance de calculstockage accegraves agrave des masses de donneacuteesamp algorithmes drsquoapprentissage automatique

bull Apregraves le buzz grosses data celui sur lrsquoIAbull Succegraves meacutediatiseacutes drsquoalgorithmes eg

apprentissage profond ou deep learningReconnaissance drsquoimages veacutehicules autonomesjeu de go

bull lrsquoIA consomme beaucoup de donneacuteesbull Donneacutees confidentielles agrave fort impact personnel

notamment en Santeacute

2100

Historique de la Statistique agrave lrsquoIA hybride par la Science des Donneacutees

Statistique Informatique AlgosndashTechnos1930-60s HO Statistique Infeacuterentielle Deacutebut de lrsquoIA (1955) Reacutegression Perceptron

1970s KO Exploratory Data Analysis Systegravemes experts Composantes Principales

1980s MO Statistique fonctionnelle Reacuteseaux de neurones CARTrees

1990s GO Data mining donneacutees preacute-acquises Boosting SVM

2000s TO p gtgt n Machine Learning Lasso random forest

2008 Data Scientist2010s PO p et n tregraves grands Big Data Hadoop

2012 Deep Learning ConvNet TensorFlow

2016 Intelligence Artificielle AlphaGo Zero XGBoost GAN

2020 IA hybride federated learning

3100

Introduction

IA eacutethique ou soft law

Amazon Apple Facebook GoogleIBM Microsoft (2015)

4100

Introduction

Eacutethique Confiance amp Acceptabiliteacute

Eacutethique Confiance Acceptabiliteacute Loi

bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes

Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique

bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi

5100

Plan de lrsquoexposeacute

1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute

bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA

6100

1 Quelle IA

IA du quotidien amp apprentissage statistique

Intelligence Artificielle au quotidien

bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA

bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)

bull NMF MLG Arbres binaires SVM random forest boosting deep learning

7100

Statistique Infeacuterentielle vs Apprentissage Statistique

bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique

bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision

bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene

8100

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 2: Anticiper les Risques Juridiques des Algorithmes d’IA

Introduction

Le buzz de lrsquoIA

Battage meacutediatique sur lrsquoIntelligence Artificielle (IA)

bull Convergence entre puissance de calculstockage accegraves agrave des masses de donneacuteesamp algorithmes drsquoapprentissage automatique

bull Apregraves le buzz grosses data celui sur lrsquoIAbull Succegraves meacutediatiseacutes drsquoalgorithmes eg

apprentissage profond ou deep learningReconnaissance drsquoimages veacutehicules autonomesjeu de go

bull lrsquoIA consomme beaucoup de donneacuteesbull Donneacutees confidentielles agrave fort impact personnel

notamment en Santeacute

2100

Historique de la Statistique agrave lrsquoIA hybride par la Science des Donneacutees

Statistique Informatique AlgosndashTechnos1930-60s HO Statistique Infeacuterentielle Deacutebut de lrsquoIA (1955) Reacutegression Perceptron

1970s KO Exploratory Data Analysis Systegravemes experts Composantes Principales

1980s MO Statistique fonctionnelle Reacuteseaux de neurones CARTrees

1990s GO Data mining donneacutees preacute-acquises Boosting SVM

2000s TO p gtgt n Machine Learning Lasso random forest

2008 Data Scientist2010s PO p et n tregraves grands Big Data Hadoop

2012 Deep Learning ConvNet TensorFlow

2016 Intelligence Artificielle AlphaGo Zero XGBoost GAN

2020 IA hybride federated learning

3100

Introduction

IA eacutethique ou soft law

Amazon Apple Facebook GoogleIBM Microsoft (2015)

4100

Introduction

Eacutethique Confiance amp Acceptabiliteacute

Eacutethique Confiance Acceptabiliteacute Loi

bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes

Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique

bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi

5100

Plan de lrsquoexposeacute

1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute

bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA

6100

1 Quelle IA

IA du quotidien amp apprentissage statistique

Intelligence Artificielle au quotidien

bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA

bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)

bull NMF MLG Arbres binaires SVM random forest boosting deep learning

7100

Statistique Infeacuterentielle vs Apprentissage Statistique

bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique

bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision

bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene

8100

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 3: Anticiper les Risques Juridiques des Algorithmes d’IA

Battage meacutediatique sur lrsquoIntelligence Artificielle (IA)

bull Convergence entre puissance de calculstockage accegraves agrave des masses de donneacuteesamp algorithmes drsquoapprentissage automatique

bull Apregraves le buzz grosses data celui sur lrsquoIAbull Succegraves meacutediatiseacutes drsquoalgorithmes eg

apprentissage profond ou deep learningReconnaissance drsquoimages veacutehicules autonomesjeu de go

bull lrsquoIA consomme beaucoup de donneacuteesbull Donneacutees confidentielles agrave fort impact personnel

notamment en Santeacute

2100

Historique de la Statistique agrave lrsquoIA hybride par la Science des Donneacutees

Statistique Informatique AlgosndashTechnos1930-60s HO Statistique Infeacuterentielle Deacutebut de lrsquoIA (1955) Reacutegression Perceptron

1970s KO Exploratory Data Analysis Systegravemes experts Composantes Principales

1980s MO Statistique fonctionnelle Reacuteseaux de neurones CARTrees

1990s GO Data mining donneacutees preacute-acquises Boosting SVM

2000s TO p gtgt n Machine Learning Lasso random forest

2008 Data Scientist2010s PO p et n tregraves grands Big Data Hadoop

2012 Deep Learning ConvNet TensorFlow

2016 Intelligence Artificielle AlphaGo Zero XGBoost GAN

2020 IA hybride federated learning

3100

Introduction

IA eacutethique ou soft law

Amazon Apple Facebook GoogleIBM Microsoft (2015)

4100

Introduction

Eacutethique Confiance amp Acceptabiliteacute

Eacutethique Confiance Acceptabiliteacute Loi

bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes

Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique

bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi

5100

Plan de lrsquoexposeacute

1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute

bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA

6100

1 Quelle IA

IA du quotidien amp apprentissage statistique

Intelligence Artificielle au quotidien

bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA

bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)

bull NMF MLG Arbres binaires SVM random forest boosting deep learning

7100

Statistique Infeacuterentielle vs Apprentissage Statistique

bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique

bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision

bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene

8100

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 4: Anticiper les Risques Juridiques des Algorithmes d’IA

Historique de la Statistique agrave lrsquoIA hybride par la Science des Donneacutees

Statistique Informatique AlgosndashTechnos1930-60s HO Statistique Infeacuterentielle Deacutebut de lrsquoIA (1955) Reacutegression Perceptron

1970s KO Exploratory Data Analysis Systegravemes experts Composantes Principales

1980s MO Statistique fonctionnelle Reacuteseaux de neurones CARTrees

1990s GO Data mining donneacutees preacute-acquises Boosting SVM

2000s TO p gtgt n Machine Learning Lasso random forest

2008 Data Scientist2010s PO p et n tregraves grands Big Data Hadoop

2012 Deep Learning ConvNet TensorFlow

2016 Intelligence Artificielle AlphaGo Zero XGBoost GAN

2020 IA hybride federated learning

3100

Introduction

IA eacutethique ou soft law

Amazon Apple Facebook GoogleIBM Microsoft (2015)

4100

Introduction

Eacutethique Confiance amp Acceptabiliteacute

Eacutethique Confiance Acceptabiliteacute Loi

bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes

Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique

bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi

5100

Plan de lrsquoexposeacute

1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute

bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA

6100

1 Quelle IA

IA du quotidien amp apprentissage statistique

Intelligence Artificielle au quotidien

bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA

bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)

bull NMF MLG Arbres binaires SVM random forest boosting deep learning

7100

Statistique Infeacuterentielle vs Apprentissage Statistique

bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique

bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision

bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene

8100

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 5: Anticiper les Risques Juridiques des Algorithmes d’IA

Introduction

IA eacutethique ou soft law

Amazon Apple Facebook GoogleIBM Microsoft (2015)

4100

Introduction

Eacutethique Confiance amp Acceptabiliteacute

Eacutethique Confiance Acceptabiliteacute Loi

bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes

Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique

bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi

5100

Plan de lrsquoexposeacute

1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute

bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA

6100

1 Quelle IA

IA du quotidien amp apprentissage statistique

Intelligence Artificielle au quotidien

bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA

bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)

bull NMF MLG Arbres binaires SVM random forest boosting deep learning

7100

Statistique Infeacuterentielle vs Apprentissage Statistique

bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique

bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision

bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene

8100

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 6: Anticiper les Risques Juridiques des Algorithmes d’IA

Amazon Apple Facebook GoogleIBM Microsoft (2015)

4100

Introduction

Eacutethique Confiance amp Acceptabiliteacute

Eacutethique Confiance Acceptabiliteacute Loi

bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes

Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique

bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi

5100

Plan de lrsquoexposeacute

1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute

bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA

6100

1 Quelle IA

IA du quotidien amp apprentissage statistique

Intelligence Artificielle au quotidien

bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA

bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)

bull NMF MLG Arbres binaires SVM random forest boosting deep learning

7100

Statistique Infeacuterentielle vs Apprentissage Statistique

bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique

bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision

bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene

8100

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 7: Anticiper les Risques Juridiques des Algorithmes d’IA

Introduction

Eacutethique Confiance amp Acceptabiliteacute

Eacutethique Confiance Acceptabiliteacute Loi

bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes

Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique

bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi

5100

Plan de lrsquoexposeacute

1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute

bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA

6100

1 Quelle IA

IA du quotidien amp apprentissage statistique

Intelligence Artificielle au quotidien

bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA

bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)

bull NMF MLG Arbres binaires SVM random forest boosting deep learning

7100

Statistique Infeacuterentielle vs Apprentissage Statistique

bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique

bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision

bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene

8100

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 8: Anticiper les Risques Juridiques des Algorithmes d’IA

Eacutethique Confiance Acceptabiliteacute Loi

bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes

Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique

bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi

5100

Plan de lrsquoexposeacute

1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute

bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA

6100

1 Quelle IA

IA du quotidien amp apprentissage statistique

Intelligence Artificielle au quotidien

bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA

bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)

bull NMF MLG Arbres binaires SVM random forest boosting deep learning

7100

Statistique Infeacuterentielle vs Apprentissage Statistique

bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique

bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision

bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene

8100

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 9: Anticiper les Risques Juridiques des Algorithmes d’IA

Plan de lrsquoexposeacute

1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute

bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA

6100

1 Quelle IA

IA du quotidien amp apprentissage statistique

Intelligence Artificielle au quotidien

bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA

bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)

bull NMF MLG Arbres binaires SVM random forest boosting deep learning

7100

Statistique Infeacuterentielle vs Apprentissage Statistique

bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique

bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision

bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene

8100

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 10: Anticiper les Risques Juridiques des Algorithmes d’IA

1 Quelle IA

IA du quotidien amp apprentissage statistique

Intelligence Artificielle au quotidien

bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA

bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)

bull NMF MLG Arbres binaires SVM random forest boosting deep learning

7100

Statistique Infeacuterentielle vs Apprentissage Statistique

bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique

bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision

bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene

8100

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 11: Anticiper les Risques Juridiques des Algorithmes d’IA

Intelligence Artificielle au quotidien

bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA

bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)

bull NMF MLG Arbres binaires SVM random forest boosting deep learning

7100

Statistique Infeacuterentielle vs Apprentissage Statistique

bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique

bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision

bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene

8100

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 12: Anticiper les Risques Juridiques des Algorithmes d’IA

Statistique Infeacuterentielle vs Apprentissage Statistique

bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique

bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision

bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene

8100

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 13: Anticiper les Risques Juridiques des Algorithmes d’IA

Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus

Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon

Y = f(

X1 X2 middot middot middot X j middot middot middot Xp)

y1yi

yn

= f

x11 x2

1 middot middot middot x j1 middot middot middot xp

1

x1i x2

i middot middot middot x ji middot middot middot xp

i

x1n x2

n middot middot middot x jn middot middot middot xp

n

+

ε1εiεn

y0 = f

(x1

0 x20 middot middot middot x j

0 middot middot middot xp0

)y0 preacutevision de Y apregraves observation de [x1

0 x20 middot middot middot x

p0 ]

9100

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 14: Anticiper les Risques Juridiques des Algorithmes d’IA

1 Quelle IA

Qualiteacute et limites de lrsquoapprentissage

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 15: Anticiper les Risques Juridiques des Algorithmes d’IA

Facteurs de qualiteacute drsquoune preacutevision

bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies

bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit

10100

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 16: Anticiper les Risques Juridiques des Algorithmes d’IA

Limites de lrsquoapprentissage statistique

bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais

bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle

bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme

bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant

11100

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 17: Anticiper les Risques Juridiques des Algorithmes d’IA

1 Quelle IA

Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 18: Anticiper les Risques Juridiques des Algorithmes d’IA

Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)

Cinq questions Juridiques et ou Eacutethiques

1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique

Situation complexe les risques sont interdeacutependants

12100

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 19: Anticiper les Risques Juridiques des Algorithmes d’IA

IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)

1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA

2 Quels sont les risques dediscrimination

3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees

Source Le Monde du 8 deacutecembre 2015

13100

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 20: Anticiper les Risques Juridiques des Algorithmes d’IA

2 Textes juridiques

Mille-feuille de textes

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 21: Anticiper les Risques Juridiques des Algorithmes d’IA

Mille-feuille de textes juridiques

bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull

14100

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 22: Anticiper les Risques Juridiques des Algorithmes d’IA

2 Textes juridiques

RGPD

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 23: Anticiper les Risques Juridiques des Algorithmes d’IA

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques

15100

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 24: Anticiper les Risques Juridiques des Algorithmes d’IA

Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []

bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee

16100

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 25: Anticiper les Risques Juridiques des Algorithmes d’IA

Article 22 Deacutecision individuelle automatiseacutee y compris le profilage

1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire

2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un

responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du

traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou

c est fondeacutee sur le consentement explicite de la personne concerneacutee

3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision

4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 26: Anticiper les Risques Juridiques des Algorithmes d’IA

2 Textes juridiques

Explicabiliteacute

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 27: Anticiper les Risques Juridiques des Algorithmes d’IA

Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)

bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles

bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de

connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave

renforcer les obligations de clarteacute de transparence et de loyauteacute

18100

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 28: Anticiper les Risques Juridiques des Algorithmes d’IA

Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes

1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision

2 Les donneacutees traiteacutees et leurs sources

3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute

4 Les opeacuterations effectueacutees par le traitement

19100

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 29: Anticiper les Risques Juridiques des Algorithmes d’IA

2 Textes juridiques

Risque de discrimination

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 30: Anticiper les Risques Juridiques des Algorithmes d’IA

Article 225-1 du code peacutenal

bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de

leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la

particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de

leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur

handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur

identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave

srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie

ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee

bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence

mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage

particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere

ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but

ne soient neacutecessaires et approprieacutes

20100

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 31: Anticiper les Risques Juridiques des Algorithmes d’IA

Loi claire et explicite sur la non-discrimination

bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal

La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave

1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne

Faire appliquer la loi

bull Comment deacutetecter une discrimination algorithmique

21100

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 32: Anticiper les Risques Juridiques des Algorithmes d’IA

2 Textes juridiques

Textes speacutecifiques en Santeacute

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 33: Anticiper les Risques Juridiques des Algorithmes d’IA

Redevabiliteacute vs Opaciteacute

bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment

bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur

Non-discrimination

bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012

bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins

22100

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 34: Anticiper les Risques Juridiques des Algorithmes d’IA

Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique

bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public

bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les

conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute

ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise

en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des

deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation

des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave

la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave

lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale

23100

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 35: Anticiper les Risques Juridiques des Algorithmes d’IA

2 Textes juridiques

Reacutesumeacute

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 36: Anticiper les Risques Juridiques des Algorithmes d’IA

Cadre juridique reacutesumeacute

bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition

bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure

24100

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 37: Anticiper les Risques Juridiques des Algorithmes d’IA

3 Reacuteglementation agrave venir

Annonces europeacuteennes

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 38: Anticiper les Risques Juridiques des Algorithmes d’IA

Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)

bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute

bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees

bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs

bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte

bull (106) (107) besoin de normalisation25100

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 39: Anticiper les Risques Juridiques des Algorithmes d’IA

IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020

bull IA qui combine donneacutees algorithmes et puissance de calcul

bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination

bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance

bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee

bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire

bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation

bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes

26100

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 40: Anticiper les Risques Juridiques des Algorithmes d’IA

Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance

1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)

Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 41: Anticiper les Risques Juridiques des Algorithmes d’IA

3 Reacuteglementation agrave venir

Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 42: Anticiper les Risques Juridiques des Algorithmes d’IA

Qualiteacute des deacutecisions amp vide juridique

bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)

et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification

28100

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 43: Anticiper les Risques Juridiques des Algorithmes d’IA

Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)

bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute

bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees

soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires

sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 44: Anticiper les Risques Juridiques des Algorithmes d’IA

Preacutecision amp choix drsquoune meacutetrique

bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)

bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie

bull MulticlasseTaux drsquoerreur moyen Fβ moyen

Robustesse

bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation

Reacutesilience

bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 45: Anticiper les Risques Juridiques des Algorithmes d’IA

3 Reacuteglementation agrave venir

Explicabiliteacute drsquoune deacutecision

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 46: Anticiper les Risques Juridiques des Algorithmes d’IA

Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)

bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris

bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication

31100

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 47: Anticiper les Risques Juridiques des Algorithmes d’IA

Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences

1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM

bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)

2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable

bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur

Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom

32100

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 48: Anticiper les Risques Juridiques des Algorithmes d’IA

3 Reacuteglementation agrave venir

Risques de discrimination

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 49: Anticiper les Risques Juridiques des Algorithmes d’IA

Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute

bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA

bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme

bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute

33100

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 50: Anticiper les Risques Juridiques des Algorithmes d’IA

Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques

bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet

bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)

Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)

Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)

2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)

Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)

P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)

Justice preacutedictive Propublica vs equivant (Compas)

34100

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 51: Anticiper les Risques Juridiques des Algorithmes d’IA

Cas drsquoUsage illustratif Adult Census Dataset

bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun

sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation

occupation statut familial nombre drsquoheurestravailleacutees par semaine

bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees

selon lrsquoorigine

DI = P(Y=1|S=0)P(Y=1|S=1) = 037

P (DI isin [035 038]) = 095

35100

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 52: Anticiper les Risques Juridiques des Algorithmes d’IA

Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)

) de diffeacuterents algorithmes

Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 53: Anticiper les Risques Juridiques des Algorithmes d’IA

3 Reacuteglementation agrave venir

Conclusion

Reacuteglementation agrave venir conclusion

bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD

(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)

(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante

37100

4 LrsquoIA en Santeacute

Domaines concerneacutes

Domaines de Santeacute concerneacutes par LrsquoIA

bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)

abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes

Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA

1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018

38100

Bases de Donneacutees

bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure

bull Assurance maladie (base SNIIRAM)

bull Hocircpitaux (base PMSI)

bull Causes meacutedicales de deacutecegraves

bull Donneacutees relatives au handicap

bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)

Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL

39100

Meacutedecine geacutenomique

bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la

preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie

cibleacutee pour une personne

bull Donc geacutenomiquebull Meacutedecine translationnelle

bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute

donneacutees ouvertes

Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France

2017

40100

Donneacutees de meacutedecine Geacutenomique

bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)

bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques

bull Single Nucleotide Polymorphism(SNP)

Manhattan Plot (Lindstroumlm et al 2017)

Eacutetudes pangeacutenomiques

bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique

41100

IA et robotisation de la meacutedecine

bull Robots de micro-chirurgiebull Aide au diagnostic

bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning

bull Identification de biomarqueurs preacuteventifs eacutetudes omiques

bull Aide aux choix theacuterapeutiques eg IBM Watson

bull Surveillance effets secondaires amp base SNIIRAM

(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes

constances (Zins et al 2010)

Source Life Science Daily News Desk on January 31 2017

42100

4 LrsquoIA en Santeacute

Risques des impacts de lrsquoIA en Santeacute

Biais et discrimination en Santeacute

bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)

bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques

bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)

bull Acircge et environnement bases transversales etpas longitudinales

bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton

(2016)

43100

Reacuteduire les biais en santeacute

bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes

(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM

(Schwarzinger et al 2018)bull Reacuteglementation

bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes

bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device

Source INRIA Bordeaux

44100

Consentement eacuteclaireacute vs Opaciteacute des algorithmes

bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute

bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient

45100

Risques de confidentialiteacute vs Inteacuterecirct public

bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute

publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code

postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)

bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)

bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique

bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)

46100

Inteacuterecirct public reacutesultats substantiels

bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques

bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette

bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)

Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)

bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles

47100

Inteacuterecirct public reacutesultats inconsistants

Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques

bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats

bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)

48100

Conclusion

Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque

1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination

bull Biais systeacutemique des erreurs de leur asymeacutetrie

En chantier

bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI

49100

Recommandations

1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)

bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves

bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA

2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des

erreurs reproductibiliteacutebull Publication des codes

3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD

bull Certification biais amp adaptationbull Protocole drsquoinformation du patient

Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection

Source CNBC Tuesday May 21th 2019

Source Wired Monday July 3rd 201750100

Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability

arXiv preprint 181007924

bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671

bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115

bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis

bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis

bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL

bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31

bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre

bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)

bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees

bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance

bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance

bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100

Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science

vol 9 n 3-4 211-407

bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118

bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device

bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise

bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938

bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8

bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019

bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6

bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine

bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777

bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3

bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297

bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report

january-February 2019 pp 15-21

52100

Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity

using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8

bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003

bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy

bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475

bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164

bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk

bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p

bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)

bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275

bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387

bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics

bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069

bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series

Working Paper No 15-36

53100

Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol

use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health

bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56

bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520

bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness

bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public

bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340

bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857

bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878

bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala

bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1

bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1

bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328

bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100

Annexes

Liste eacutevaluation HAS

Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute

bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs

meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du

dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)

bull Grille descriptive de 42 questionsbull Accegraves au document

55100

Annexes

Liste eacutevaluation experts europeacuteens

Liste eacutevaluation provisoire de la Commission Europeacuteenne

bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version

pilote)bull Accegraves au document

56100

Page 54: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 55: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 56: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 57: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 58: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 59: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 60: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 61: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 62: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 63: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 64: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 65: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 66: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 67: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 68: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 69: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 70: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 71: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 72: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 73: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 74: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 75: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 76: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 77: Anticiper les Risques Juridiques des Algorithmes d’IA
Page 78: Anticiper les Risques Juridiques des Algorithmes d’IA