IA et big data: quelle protection, quelle éthique des données ?

Sophie Vulliet-Tavernier, directeur des relations avec les publics et la rechercheCNIL

05/03/2019 1

La Commission nationale de l’Informatique et des Libertés (CNIL)

• Une autorité indépendante créée par la loi en 1978

– 18 membres + Défenseur des droits

– Services : 200 personnes– Budget 2019 : 18 millions

d’euros• Une triple mission

– Conseil et accompagnement: conseils pratiques, avis référentiels certification...

– Contrôle et sanction : contrôles sur place et en ligne, autorisations, amendes/sanctions administratives

– Réflexion éthique et veille prospective linc.cnil.fr/

2

Le RGPD: un nouveau cadre de régulationDes principes inchangés mais…

Des droits renforcés (information, droit à l’oubli, consentement), des droits nouveaux (droit à la portabilité, consentement des mineurs…), des voies de recours collectifs

Un droit européen applicable aux entreprises étrangères ciblant les citoyens européens

Une nouvelle démarche de conformité: + de responsabilités pour les entreprises et les administrations, + d’outils d’accompagnement ( DPO, PIA…)

Des pouvoirs de sanction accrus des autorités de contrôle (20 millions d’euros, 4% CA). Coopération et gouvernance européenne (EDPB).

3

4

1

1

Carina Chatain05/03/2019 5

1. Big data, IA, éthique et protection des données: enjeux

Big data, IA, Ethique et protection des données: une approche commune

Un débat public animé par la CNILUn rapport en décembre 2017Une résolution de la conférence mondiale des

autorités de protection des données (ICDPPC) en octobre 2018Une consultation publiqueUn groupe de travail

Le big Data à l’épreuve de la protection des données personnelles

Critères• Quelles sources de données?

• Collecte directe auprès des personnes• Réutilisation de données personnelles• Données externes publiques(open

data)• Mise en commun de sources

• Quelles utilisations? Les finalités• Détection de tendances, connaissance

des populations, de phénomènes, • Ciblage, profilage de personnes, aide à

la décision, voire prise de décision

7

ExemplesEnquêtes par questionnaires, itws ( recensement, épidémiologie, transports, consommation…)Accès à des fichiers de gestion ( fiscale, dossiers médicaux, scolaires, fichiers RH, clients…), données du web social, objets connectés…Jeux de données mis à disposition par l’administration ( statistiques, données anonymes, …)

Accroitre l’efficacité des services publics et des politiques publiques, détecter les signaux faiblesLogiciels d’affectation, learning analytics, médecine préventive et personnalisée, outils de matchingoffres/demandes d’emploi, Justice prédictive, lutte contre la fraude/blanchiment…

Big data et donnée personnelle« toute information se rapportant à une personne physique identifiée ou identifiable; est réputée être une «personne physique identifiable» une personne physique qui peut être identifiée, directement ou indirectement, notamment par référence à un identifiant, tel qu'un nom, un numéro d'identification, des données de localisation, un identifiant en ligne, ou à un ou plusieurs éléments spécifiques propres à son identité physique, physiologique, génétique, psychique, économique, culturelle ou sociale ». (art 4 RGPD)

• Des données toutes potentiellement personnelles et sensibles par recoupement et corrélation?

• Des données prédictives des comportements= de nouvelles données sensibles?

05/03/2019 8

9

Source : http://www.serdalab.com

La donnée personnelle

Garantir la confidentialité, la disponibilité et l’intégrité desdonnées

Proportionnalité et pertinence

Durée de conservation

Les informations doivent être adéquates, pertinentes et limitées à ce qui est nécessaire ( minimisation)

Protection particulière pour certaines catégories de données ( données dites sensibles, données d’infractions, n°s identifiants…)

Une durée de conservation des données définie en fonction de la finalitépuis archivage, effacement, anonymisation sauf réutilisation ultérieure

Les données sont recueillies et traitées pour un usage déterminé, licite et légitime, préalablement défini

Sécurité et confidentialité

Finalité

Les personnes concernées doivent être informées et ont un droit d’accès, de rectification, de suppression et d’opposition/consentement sur leurs données, droit à la portabilité,

Respect des droits des personnes

La grille d’analyse de la protection des données personnelles

11

IA et enjeux ethiques

Big data et développement de l’IA: quel équilibre?Qualité, quantité, pertinence: comment exercer un contrôle sur les données utilisées par l’IA?

Biais, discrimination et risques d’exclusionComment les repérer?

Profilage algorithmique: la personnalisation contre les logiques collectives

Enfermement algorithmique et perte de pluralisme culturel and politique? Responsabilité humaine/ autonomie des machines:

Modèles prédictifs, aide à la decision, desresponsabilisation?

Carina Chatain05/03/2019 13

2. Big data, IA et protection des données: éléments de réponse

Règles RGPDPrincipes éthiques Scenarios d’accès aux données

IA, Big Data et RGPD

• Déterminer des finalités compatibles, des familles de finalités, les exceptions recherche, statistiques

• Appliquer les principes de proportionnalité et de pertinence des données; définir le juste niveau de granularité

• Le contrôle du profilage et de la prise de décision automatique ( art 22 RGPD)

• Assurer une collecte loyale des données et garantir les droits de chacun; droit d’accès, consentement, droit de connaitre les raisonnements utilisés

• Sécuriser les données; hébergement (la question du cloud), sous traitance, anonymisation ( cf. lignes directrices CEPD)

L’étude d’impact vie privée

14

https://www.cnil.fr/sites/default/files/atoms/files/wp216_fr_0.pdf

15

Accountability

L’analyse d’impact vie privée

•Risques élevés = 9 critères à considérer

Évaluation/scoring Décision automatique avec effet légal Surveillance systématique Données sensibles Large échelle Croisement de données Personnes vulnérables Usage innovant Exclusion d’un droit/contrat

• Listes publiées par l’autorité de protection des données

Obligatoire

IA et principes ethiques

Le principe de loyauté Les systèmes d’IA doivent:

Dire ce qu’ils font et faire ce qu’ils disentFaire prévaloir les interêts des utilisateursÊtre loyaux vis-à-vis des utilisateurs, des citoyens , de la collectivité

Le principe de vigilance Nous devons:

Lutter contre une confiance excessive / IA Organiser un questionnement régulier et méthodique de la part de tous les acteurs de la “chaine algorithmique”( du concepteur à l’utilisateur)Préserver l’intervention humaine dans les systems d’IA

1) Former à l’ethique2) Rendre les systèmes algorithmiques compréhensibles3) Améliorer le design des systèmes algorithmiques4) Créer une plateforme nationale d’audit des algorithmes 4) Développer la recherche sur l’IA éthique5) Renforcer la fonction éthique dans les entreprises

6 recommandations

4 scenarios de partage de donnéessource: CNIL- cahier IP n° 5- la plateforme d’une ville

18

Slide Number 1Slide Number 2Le RGPD: un nouveau cadre de régulationSlide Number 4Slide Number 5Big data, IA, Ethique et protection des données: une approche communeLe big Data à l’épreuve de la protection des données personnellesBig data et donnée personnelleLa donnée personnelleSlide Number 10Slide Number 11IA et enjeux ethiquesSlide Number 13IA, Big Data et RGPD�L’analyse d’impact vie privée IA et principes ethiques6 recommandations4 scenarios de partage de données�source: CNIL- cahier IP n° 5- la plateforme d’une ville