Upload
others
View
3
Download
0
Embed Size (px)
Citation preview
Ethics by Design 2018(Saint-Denis, 2 Octobre 2018)
Marc-Antoine PencoléProfesseur agrégé de philosophie, doctorant
(Sophiapol – Université Paris-Nanterre)
De quoi les algorithmes nous dépossèdent-ils ?
(Et comment s’en ressaisir?)
Introduction
« Algorithmes »…
De quoi parle-t-on ?
Introduction
« Algorithmes »…
● Un procédé technique
formalisable
Phil
! G
old
- B
Y-S
A
Lit
tle
Che
rub
- B
Y-S
A
Introduction
« Algorithmes »…
● Un procédé technique
formalisable
● Une procédure de traitement de données automatisée
(codée sous forme de programme, mise en oeuvre par une machine computationnelle).
Phil
! G
old
- B
Y-S
A
Introduction
« Algorithmes »…
● Un procédé technique
formalisable
● Une procédure de traitement de
données automatisée
● Un dispositif informatique de
régulation de la vie sociale
Phil
! G
old
- B
Y-S
A
Introduction
Un dispositif informatique de
régulation de la vie sociale
Lois et décrets
Introduction
Un dispositif informatique de
régulation de la vie sociale
Lois et décrets
Normativité immanente
Introduction
Un dispositif informatique de
régulation de la vie sociale
Lois et décrets
Normativité immanente Dispositifs techniques
(architecture, urbanisme, infrastructures)
Introduction
Un dispositif informatique de
régulation de la vie sociale
Lois et décrets
Normativité immanente
Dispositifs techniques(traitement de données
automatisé)
De quoi les algorithmes nous dépossèdent-ils ?
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
● La question politique :l’activité rendue étrangère à elle-même
● La question éthique :perte de l’autonomie morale
être à l’origine des décisions morales, relatives à la vie
bonne ou à la justice
● La question éthique :perte de l’autonomie morale
être à l’origine des décisions morales, relatives à la vie
bonne ou à la justice
Nous déresponsabilise moralement...
… au profit d’une machine amorale ?
→ délégation à des algorithmes
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
Apparence d’objectivité et opacité = force le jugement humain
Sujets à de nombreux biais
Insensibilité aux « cas singuliers »
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
Apparence d’objectivité
et opacité = force le
jugement humain
Exemple : de l’arbre décisionnel simple au réseau de neurones à plusieurs couches → perte d’interprétabilité
gbhr
ea –
CC
BY
-SA
Exemple : de l’arbre décisionnel simple au réseau de neurones à plusieurs couches → perte d’interprétabilité
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
Apparence d’objectivité et opacité = force le jugement humain
Sujets à de nombreux biais
● Biais en amont, dans le cahier des charges
● Biais technique dans le choix de l’échantillon d’entraînement (apprentissage automatique)
● Biais social réel reproduit et confirmé, malgré la neutralité des concepteurs
Exemple : COMPAS (algorithme judiciaire de prédiction de la récidive)
???
→ Enquête de ProPublica : l’algorithme est biaisé contre les Noirs.
→ Réponse des concepteurs : non ! Il prédit la récidive avec la même précision (61%) pour les Blancs et les Noirs.
Deux conceptions de
l’équité très différentes
→ Enquête de ProPublica : l’algorithme est biaisé contre les Noirs.
→ Réponse des concepteurs : non ! Il prédit la récidive avec la même précision (61%) pour les Blancs et les Noirs.
Fonction de coût mal définie en amont
Prédiction du risque égale selon la race
Risque d’être incarcéré à tort égal selon la race≠
Exemple : étiquetage injurieux de personnes noires (Google Image)
Echantillon d’entraînement biaisé en faveur des Blancs
Exemple : GloVe
Exemple : GloVe
Caliskan Aylin, Joanna J. Bryson et Arvind Narayanan, « Semantics derived automatically from language corpora contain human-like biases », Science, vol. 356, no 6334, 14 avril 2017, p. 183-186.
prénom afro-am / prénom euro→
plaisant/déplaisant
homme /femme→
plaisant/déplaisant
Exemple : GloVe prénom afro-am / prénom euro→
plaisant/déplaisant
homme /femme→
plaisant/déplaisant
Biais des rapports sociaux eux-mêmes
→ reproduits et renforcés, même par des dispositifs
neutres et bien conçus
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
Apparence d’objectivité et opacité = force le jugement humain
Sujets à de nombreux biais
Insensibilité aux « cas singuliers »
Exemple : automatisation de la FSSA dans l’Indiana en 2006
AVANT
- Suivi de chaque cas par un travailleur social
- Pouvoir discrétionnaire des travailleurs sociaux, passe-droits
APRES
- Traitement automatique et impersonnel des cas
→ insensibilité, rigidité, pas d’empathie
→ aucun passe-droit pour les demandeurs atypiques, qui méritent une seconde chance, etc…
→ incompétence morale
Eubanks Virginia, Automating inequality: how high-tech tools profile, police and punish the poor, First Edition, New York, NY, St. Martin’s Press, 2018.
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
● La question politique :l’activité rendue étrangère à elle-même
● La question politique :l’activité rendue étrangère à elle-même
Changer de focale...
● La question politique :l’activité rendue étrangère à elle-même
structures
matter
● La question politique :l’activité rendue étrangère à elle-même
?
● La question politique :l’activité rendue étrangère à elle-même
Surveillance
Exploitation du travail
Société de marché
??
?
1) La société de surveillance
Traitement de données → capture de données
= inscription dans un système de surveillance
numérique(ou « dataveillance »)
1) La société de surveillance
Un nouveau Panoptique ?
1) La société de surveillance
Panopticisme :
● Transparence,
● Pouvoir qui se cache,
→ Intériorisation du regard,
→ Automatisation du pouvoir
1) La société de surveillance
De la prison… … à la société entière.
→ Automatisation du pouvoir
Digitale Gesellschaft, “Yes we scan - Demo am Checkpoint Charlie “ – CC BY-SA
2) L’exploitation du travail
Nos activités numériques = produisent des données = génèrent de la valeur
Nos activités numériques = produisent des données = génèrent de la valeur
→ Travail gratuit ?“ Digital labour ”
● fragmenté
● subtilement contraint
● hors du lieu/temps de travail
● non-rémunéré
→ Exercice d’un pouvoir économique sur l’activité (sollicitée, canalisée, formatée pour produire plus de
données)
Travail gratuit “ Digital labour ”
2) L’exploitation du travail
→ Exercice d’un pouvoir économique sur l’activité (sollicitée, canalisée, formatée pour produire plus de
données)
Travail gratuit “ Digital labour ”
3) La forme marchandise
= K1 x
3) La forme marchandise
= K1 x
= K2 x
3) La forme marchandise
→ mise sur le marché = mise en commensurabilité
→ réduction de la chose concrète à une abstraction
quantitative, sa valeur
= K1 x
= K2 x
→ mise sur le marché = mise en commensurabilité
→ réduction de la chose concrète à une abstraction
quantitative, sa valeur
= K1 x
= K2 x
Quantité A Quantité B
Quantité C
Données = quantités abstraites de leurs
référents réels
= forme analogue à celle de la
marchandise ?
Rapport à soi mesuré en nombre d’amis, de followers, de likes,
de vues, en nombre de pas ou de kilomètres parcourus, scores
divers, etc...
→ propice à un rapport réifié et instrumental à soi et aux autres
→ rationalité économique qui pénètre aussi loin que les dispositifs numériques
De quoi les algorithmes nous dépossèdent-ils ?
● La question éthique :perte de l’autonomie morale
● La question politique :l’activité rendue étrangère à elle-même • surveillée
• exploitée
• réifiée
Comment s’en ressaisir ?
Comment s’en ressaisir ?
Pim
van
ten
d -
CC
BY
-SA
… ou bien l’appropriation communautaire :
● moralité, autonomie = propriété des sujets… mais pas incompatible avec la factualité !
● factualité de la médiation algorithmique = peut être le moyen de réaliser l’autonomie,
● dépossession / réalisation = dépend de son inscription sociale
être à l’origine des décisions morales, relatives à la vie
bonne ou à la justice
régler notre activité sur ces normes et s’y
reconnaître
= exigence inouïe
Le
Gu
erc
hin
, Atla
s p
orta
nt
le g
lob
e c
éle
ste
, 1
64
6,
mu
sée
Ba
rdin
i
Triple charge
organisationnelle
motivationnelle
cognitive
Habermas, Droit et démocratie. Entre faits et normes, Gallimard, Paris, 1997.
Triple charge
organisationnelle
motivationnelle
cognitive
● appliquer un principe général à des cas concrets
Triple charge
organisationnelle
motivationnelle
● vouloir le juste, même contre notre intérêt
cognitive
● savoir ce qui est juste dans chaque cas concrets
Triple charge
organisationnelle
● qui est responsible de quoi ?
● où s’arrête la responsabilité de chacun ?
motivationnelle
● vouloir le juste, même contre notre intérêt
cognitive
● savoir ce qui est juste dans chaque cas concrets
Peut être déchargée dans la factualité...
des dispositifs techniques
des institutions
des lois
dispositifs techniques
institutions
lois
si contrôlés par la communauté (démocratie)
réalise nos principes de justice
dispositifs techniques
institutions
lois
sinon dépossession
Peut être déchargée dans la factualité...
… d’un algorithme ?
Le cas des communautés d’échange via protocole BitTorrent :
Cohen Bram, « Incentives build robustness in BitTorrent », workshop on economics of Peer-to-Peer Systems, Berkeley, Californie. 2003.
Dagiral Eric et Florian Dauphin, « P2P: From File Sharing to Meta-information Pooling », Communications & Stratégies, vol. 59, n 3, 2005.ᵒ 3, 2005.
Pencolé Marc-Antoine, « Nos algorithmes peuvent-ils être plus justes que nous ? », Revue Française d’Ethique Appliquée, n°5, 2017.
Délégation
organisationnelle
● demande peu d’effort individuel,
● infrastructures peu coûteuses
motivationnelle
● incite à partager (protocole, ratio, économie de l’estime)
cognitive
● appliquer une norme de justice à des milliers de connexions
● savoir quel fichier télécharger ou éviter (malwares)
Le cas des communautés d’échange via protocole BitTorrent :
→ dépossession ou réalisation
de la moralité et de l’activité autonome ?
→ très aisément adaptable, modifiable,
reproductible ailleurs, etc…
→ dispositif souvent peu horizontal
→ mais îlot relativement protégé de la
pression du capital de l’industrie culturelle
Protocole BitTorrent + plate-forme
→ dispositif très ouvert à
l’appropriation communautaire
Protocole BitTorrent + plate-forme
Le cas de Wikipédia :
Geiger R Stuart, « Beyond opening up the black box: Investigating the role of algorithmic systems in Wikipedian organizational culture », Big Data & Society, vol. 4, n 2, 2017.ᵒ 3, 2005.
Halfaker Aaron et John Riedl, « Bots and Cyborgs: Wikipedia’s Immune System », Computer, vol. 45, n 3, mars 2012.ᵒ 3, 2005.
Auray Nicolas, « De linux à Wikipedia : Régulation des collectifs de travail massivement distribués », dans L’évolution des usages et des pratiques numériques, FYP Editions, 2009.
Le cas de Wikipédia :
des milliers de bots (~2100 anglophones),
des millions d’éditions pour certains
=
→ détection du vandalisme, de problèmes de copyright
→ structuration des données
→ nettoyage
Délégation
organisationnelle
● épargne beaucoup de travail humain
● standardisation
motivationnelle
● non-respect des règles sanctionné
● économie de l’estime
cognitive
● manifeste les critères de conformité (nombreux et complexes)
Le cas de Wikipédia :
→ structure très horizontale et délibérative
→ îlot non-marchand (communauté de donateurs)
Bots Wikipédia
→ susceptibles d’être remis en question ou modifiés à tout
moment par la communauté
→ et même, localement, par les individus !
Conclusion
●Risque de dépossession de la décision et de l’activité autonome
●Mais aussi puissance objective capable de réaliser nos principes éthiques subjectifs
● Condition technique =
réappropriation communautairecodée dans le dispositif
● Condition structurelle =
s’inscrire contre
- la société de surveillance,- la logique de l’exploitation,- et la réification marchande
Possible dans quelques rares îlots hors accumulation du capital, hors marché ?
→ à l’inverse, c’est peut-être en partie grâce à ces algorithmes que de tels territoires ont pu renforcer leurs
communautés et maintenir leur indépendance