Ertzscheid Olivier. Maître de conférences. Sciences de l’information.

Université de Nantes. IUT de La Roche sur Yon.

1

www.affordance.info Diaporama disponible en ligne : www.slideshare.net/olivier

Nantes. 24 Mars 2017

Comment lutter contre la haine sur internet ?

C’est quoi « la haine » ?Comment caractériser les discours de haine ?

Discours de la haine ?OUI C’est compliqué

C’est compliqué

3

Qui décide ?

De diffuser ou de bloquer cette vidéo ? Floutée ou non floutée ?Droit à l’information ou propagande ?

Qu’il s’agit de tweets antisémites ou d’humour ?

Qu’il s’agit de blasphème ou de droit à la caricature ?

4

Qui décide ??

La justice ?Mais laquelle ? Française ? Européenne ? Saoudienne ?Israëlienne ? Palestinienne ? …

Nous ?Mais nous sommes capables du meilleurs, comme du pire …

Un algorithme ?Sur quels critères ? Avec quel risque d’erreur ?

Une multinationale ?Mais sur quels critères ? De quel(s) droit(s) ? A quelle échelle ? 5

PETIT RETOUR EN ARRIÈRE6

POUR COMPRENDRE D’OÙ VIENT CE PROBLÈME D’INDÉCISION …

Il y a 20 ans « Vos lois ne s’appliquent

pas ici »• 1996. John Perry Barlow rédige la « déclaration d’indépendance du cyberespace. »• « Nous sommes en train de créer un monde où tous peuvent entrer sans privilège et sans être

victimes de préjugés découlant de la race, du pouvoir économique, de la force militaire ou de la naissance.

• Nous sommes en train de créer un monde où n’importe qui, n’importe où, peut exprimer ses croyances, aussi singulières qu’elles soient, sans peur d’être réduit au silence ou à la conformité.

• Vos concepts légaux de propriété, d’expression, d’identité, de mouvement, de contexte, ne s’appliquent pas à nous. Ils sont basés sur la matière, et il n’y a pas ici de matière. »

7

Il y a 15 ans« Code is Law »

• 2000. Lawrence Lessig publie l’article « Code is Law. »• « Des gens choisissent la manière dont le code effectue tout cela. Des gens 

écrivent ce code. Dès lors le choix n'est pas de savoir si les gens pourront choisir la manière de réguler le cyberespace. D'autres gens - les codeurs - le feront. Le seul choix est de savoir si nous jouerons collectivement un rôle dans leurs choix - et si nous pourrons alors déterminer la manière dont ces valeurs se régulent - ou si nous autoriserons collectivement ces codeurs à décider de ces valeurs à notre place. »

8

Il y a presque 2 ans.

« Nous sommes au-dessus des

lois ? »

• 9 Janvier 2015.• 2 jours après les attentats, Mark Zuckerberg écrit sur son mur

« Nous suivons les lois de chaque pays, mais nous ne laissons jamais un pays ou un groupe de gens dicter ce que les gens peuvent partager à travers le monde. »

9

Je résume

1996. « Il n’y a pas de lois ici »

2000. « le code c’est la loi »

9 Janvier 2015. « certaines plateformes sont au-dessus de certaines lois. »

10

Pourquoi est-ce si compliqué ??!

11

Parce que trois niveaux de décisions et de légitimation s’entremêlent. Et que l’un des trois l’emporte sur tous les autres.

• LA LOI ET LE PRINCIPE DE TERRITORIALITÉ– plateformes extra ou supra-nationales dans les usages– multi-nationales pour le business et leur modèle de régie publicitaire– Hyper-locales et hyper-territorialisées (dans les paradis fiscaux) pour les impôts.

• LES RÈGLEMENTS (CGU)– Nul n’est censé les lire mais tout le monde est considéré comme les ayant accepté. – Contrat social. À côté de la loi. Règlement intérieur qui prend le pas sur la loi. (slip de bain)

• LE CODE – Invisible. – Illisible. – Pouvoir judiciaire (tranche en cas de conflit, laisse ou ne laisse pas passer telle ou telle vidéo)– Pouvoir exécutif : « édicte les réglements – CGU – et dispose de l’administration et de la force armée (police du

copyright)– Pouvoir législatif : aux ingénieurs qui composent le code, donc les lois (ce qui est possible ou non) et contrôle de

l’exécutif. 12

Donc, concrètement, pour lutter contre la haine sur internet …

CTRL - SUPPR

• Effacer / supprimer – Des vidéos– Des tweets– Des comptes

• Fév 2015 – Fév. 2016) Twitter a « suspendu » plus de 360 000 profils dont 235 000 pour « propagande terroriste » **

• Mais : quels critères ? C’est qui « Twitter » ? De manière préventive ou réactive ? Avec quelles limites / implications sur la liberté d’expression ?

• Et techniquement … on fait comment ?*http://www.lemonde.fr/pixels/article/2016/08/18/twitter-affirme-avoir-supprime-235-000-comptes-de-propagande-terroriste-en-six-mois_4984673_4408996.html

Créer la base de donnée des vidéos « interdites »• Décembre 2016 : création d’une base de donnée commune à Twitter, Facebook, Microsoft et

Google (YouTube). • S’engagent à supprimer contenus dépeignant « des actes violents, encourageant l’action violente, 

soutenant une organisation terroriste ou ses actes, ou encourageant des personnes à rejoindre ces groupes » *

• Objectif (prioritaire) : bloquer vidéos d’ISIS et assimilés mais surtout tarir le flux, les possibilités de duplication sur d’autres plateformes.

• Comment ? En leur attribuant une « empreinte numérique unique » (fonction de hachage – « hash » - en cryptographie)**

• Mais ne marche que pour vidéos … déjà visionnées. • Question : qui maintient et exploite cette base de données de contenus terroristes (et le nom des

comptes et des personnes associées), pour en faire quoi, pour la remettre à qui, sous quelles conditions ? ***

* http://www.lemonde.fr/pixels/article/2016/05/23/propagande-terroriste-microsoft-durcit-sa-politique-de-moderation_4924418_4408996.html** http://europe.newsweek.com/youtube-facebook-scrubbing-extremist-content-474550?rm=eu*** https://motherboard.vice.com/en_us/article/social-media-terror-scanning-database

Déverser de la haine ou documenter des formes de violence ?

• La violence est parfois nécessaire et utile pour documenter l’atrocité ou l’illégalité de certains faits

• Que fait-on des vidéos « live* » de – #Bataclan, Violence policières #Dallas #Théo, Attaque de #Mossoul, Evacuation de

#jungle de #Calais• Doivent-elles toutes être traitées de la même manière ?• Nœud Gordien : bloquer les vidéos, violentes ou choquantes VERSUS risque

de censure de preuves publiques qui se diffusent à très grande vitesse **

* http://affordance.typepad.com/mon_weblog/2016/10/born-to-be-en-live-le-monde-en-direct.html ** http://www.lemonde.fr/ameriques/article/2016/07/08/avec-la-fusillade-de-dallas-facebook-se-confronte-a-la-gestion-des-videos-diffusees-en-direct_4966609_3222.html

Couvrir ce contenu haineux que je ne saurais voir

• Consensus moral mondial sur pédopornographie • Consensus financier mondial sur Copyright / droit d’auteur • Consensus pudibond américain sur les tétons et la nudité• mais pour le reste …• « Extrémisme » : seuil difficile à caractériser en droit.

– Le Hamas est-il une organisation terroriste ? Pas pour tout le monde. A-t-il le droit d’avoir une page Facebook (indépendamment du contenu qui y circule) ?**

– Rappel : Le parti Nazi américain est « légal » aux USA. Et il est beaucoup plus suivi (dans le monde) et plus actif que tous les comptes de toutes les mouvances islamistes ***

• Et puis il y a le reste, tout le reste. Homophobie, harcèlement …

** http://www.numerama.com/politique/181744-accuse-de-laisser-faire-le-hamas-facebook-attaque-en-justice-aux-usa.html *** http://www.lemonde.fr/pixels/article/2016/09/05/les-neonazis-plus-actifs-que-l-etat-islamique-sur-twitter-selon-une-etude-americaine_4992917_4408996.html

Trouver la formule mathématique de la haine

• Identifier des catégories protégées (minorités) grâce au ciblage comportemental, aux Big Data).

• Identifier des expressions (ingénierie linguistique) relevant de l’agression, de la stigmatisation, de l’insulte etc.

• Résultat : « catégorie protégée + attaque = discours haineux ». Simple. • Mais concrètement, c’est compliqué …• « femmes irlandaises » appartient aux catégories protégées « nationalité » et « sexe

» = « femmes irlandaises » sont donc protégées • Mais catégorie « adolescent » n’est pas protégée. Donc « ado. Irlandais » pas

protégés.• Il est donc interdit d’écrire que « les femmes irlandaises sont stupides » mais

possible de dire du mal des adolescents irlandais.• les membres d’un groupe religieux sont protégés mais pas la religion. Idem pour les

habitants (protégés) mais pas les pays. Donc on peut d’attaquer l’islam ou le christianisme, mais pas les musulmans ou les chrétiens.

• Les musulmans sont protégés mais pas les migrants (catégorie « semi-protégée »). Du coup certains messages haineux envers les migrants se trouvent de fait autorisés : il est « acceptable » d’écrire que « les migrants sont sales », mais pas que ce sont « des saletés ».

Chez Facebook

http://www.lemonde.fr/pixels/article/2016/12/21/facebook-des-documents-internes-devoilent-les-details-de-sa-politique-de-moderation_5052397_4408996.html

Si les algorithmes ne fonctionnent pas …

Essayons les humains.

En amont : embaucher des modérateurs.• Boulots redoutablement éprouvants. Dureté psychologique extrême **.

– Visionnage continu de vidéos immondes (tortures animales, décapitation, accidents corporels sanglants, pédopornographie, etc.)– Essentiellement délocalisés aux Philippines (100 000 personnes ?), en Europe de l ’Est.– Étudiants, travailleurs pauvres. Touchent entre 300 et 500 dollars par mois. – Font le boulot pour lequel les algorithmes n’ont pas encore assez de discernement.

• La tentation du pot de confiture. – Impact déterminant sur opinions / émotions. – Facebook oblige ses employés à suivre des cours de « neutralité politique ». *** – Comme il avait déjà dû rappeler à l’ordre des employés racistes sur #BlackLiveMatters ****

• Plateformes intermédiaires de microtravail *****– Zhubajie 15millions de travailleurs, Upwork 12 millions, CrowdSource 8 millions qui exploitent travailleurs du clic.

** http://www.lemonde.fr/pixels/article/2016/07/14/les-moderateurs-petites-mains-invisibles-du-web-morbide_4969327_4408996.html et surtout https://www.wired.com/2014/10/content-moderation : enquête remarquable avec notamment le témoignage de cette jeune femme venant de "modérer" une vidéo sur laquelle on voit un homme essayer d'introduire sa tête dans le vagin d'une jeune fille visiblement mineure hurlant de douleur et de rage.*** https://www.lesechos.fr/25/06/2016/lesechos.fr/0211063332320_facebook-va-obliger-ses-employes-a-suivre-un-cours-de-neutralite-politique.htm **** http://www.huffingtonpost.fr/2016/02/26/zuckerberg-black-lives-matter_n_9324644.html ***** Antonio Casilli http://www.casilli.fr/2017/03/22/le-micro-travail-des-corvees-peu-gratifiantes-et-mal-remunerees-01net-22-mars-2017/ ,

En aval : compter sur ses utilisateurs.• Signalement par utilisateurs mais

– 10 000 « Quality raters » chez Google. PAS employés. #DigitalLabor http://www.numerama.com/tech/241282-lutte-contre-la-desinformation-les-algorithmes-de-google-sont-desormais-epaules-par-des-humains.html

– Programme YouTube Heroes (https://support.google.com/youtube/answer/7124236?hl=en) : http://www.lemonde.fr/pixels/article/2016/09/21/moderation-youtube-encourage-les-internautes-a-lui-preter-main-forte_5001463_4408996.html

• Mais : – pb des lobbys – religieux notamment, logiques d’influence– Doxxing : syndrome du justicier

https://www.vice.com/fr/article/ce-hackeur-canadien-divulgue-les-infos-personnelles-des-racistes-d-internet

• Signalement en dehors des plateformes, directement aux services de l’état : https://www.internet-signalement.gouv.fr

soit on automatise (seuil de signalement dépassé = blocage ou suppression, temporaire ou définitif) soit on renvoie vers modérateurs « salariés »

Et une fois signalé ?

Proposer des contre-mesures

• « contre-discours » (en lien avec états et associations). – A l’initiative des états (nécessite recours aux plateformes pour positionnement

efficace)– A l’initiative des plateformes

http://www.numerama.com/politique/175806-cet-ete-google-france-mettra-des-youtubers-sur-les-routes-contre-les-discours-de-haine.html

• Logiques de déradicalisation. • Déréférencer les contenus. Pose quand même la question de la liberté

d’expression et de confier pouvoir de police à des sociétés privées et à leurs algorithmes.

Jouer sur l’intelligence artificielle et la « prédictibilité »

• Lutter contre la haine ce n’est pas juste les discours (de haine) mais aussi éviter les passages à l’acte.

• Police prédictive s’appuie sur la statistique• Tentatives de modéliser activité annonciatrice d’une

attaque. http://science.sciencemag.org/content/352/6292/1459.full

• « Les djihadistes sont bien plus actifs en ligne avant de passer à l'acte, démontre une étude scientifique. Cette activité peut être modélisée. Mais prédire une attaque terroriste par les données reste encore très difficile. » https://www.letemps.ch/monde/2016/06/20/un-algorithme-prevoir-attaques-islamique

Contre-attaquer• Collaborer avec les Etats (gros problème de surveillance de masse)

– Déc. 2016 : le FBI pourra connaître en temps réel, grâce à l’accord passé avec l’entreprise Dataminr, l’intégralité des tweets publiés sur Twitter. Soit près de 500 millions de publications par jour, un chiffre en constante augmentation.http://www.numerama.com/politique/208722-le-fbi-pourra-desormais-surveiller-les-500-millions-de-tweets-publies-chaque-jour.html

• Les états à la manœuvre• http://www.lemonde.fr/pixels/article/2016/05/03/comment-les-etats-unis-ont-int

ensifie-leur-lutte-contre-l-ei-sur-internet_4912906_4408996.html

• Envoyer la police• « Soixante suspects ont fait l’objet de perquisitions et 40 procédures judiciaires

ont été ouvertes dans cette opération qui visait notamment les membres d’un groupe néonazi Facebook. »

• http://www.lemonde.fr/pixels/article/2016/07/13/allemagne-vaste-operation-policiere-contre-des-auteurs-de-messages-haineux-en-ligne_4968882_4408996.html

Business de la haine ?

• Capitalisme linguistique (F. Kaplan) pose – au moins - 2 questions : – Qui est prêt à payer pour acheter des mots de haine ? – Combien cela rapporte (et à qui) ?

• http://hightech.bfmtv.com/epoque/twitter-a-massivement-diffuse-un-tweet-sponsorise-ouvertement-raciste-1087846.html

• http://www.zdnet.fr/actualites/google-accuse-d-associer-des-pubs-a-des-contenus-offensants-39850258.htm

ATTENTION CEPENDANT A NE PAS VOIR QUE LE CÔTÉ OBSCUR DE LA FORCE …

IL Y A BIEN SÛR DES DISCOURS DE HAINE QU’IL FAUT COMBATTRE MAIS …

Pourquoi Déteste-t-on davantage les gens quand nous sommes sûrs qu’ils ne nous entendent ou ne nous voient pas ou ne peuvent pas nous attraper ?

Lutter contre la haine sur internet ?

PARCE QUE LA COMMUNICATION « EN LIGNE » NE REPOSE PAS SUR LES MÊMES REPÈRES / HABITUS QUE LA COMMUNICATION « HORS-LIGNE »

« sur internet » = « dans l’habitacle »

Sentiment de toute puissance.

Dimension pulsionnelle

Rapport différent à l’espace et au temps …

… et aux autres

• Pourquoi les perçoit-on (parfois) comme majoritaires ou omniprésents ? • Parce que toutes les voix ne se valent pas. « On est tous égaux a priori, mais la différence se creuse

ensuite dans la mesure de nos actes, entre ceux qui agissent et ceux qui n’agissent pas. Internet donne une prime incroyable à ceux qui font. Et du coup, il peut y avoir une tyrannie des agissants. » D. Cardon. http://www.culturemobile.net/visions/dominique-cardon-democratie-internet

• Parce qu’il existe une illusion de la majorité : « individuellement on observe un comportement chez la plupart de ses amis alors que ce comportement est très rare dans l’ensemble du réseau. » https://www.technologyreview.com/s/538866/the-social-network-illusion-that-tricks-your-mind/

30

Les discours de haine sont extrêmement minoritaires

31

Effet « petit pois » : on se focalise sur des phénomènes relevant quantitativement de l’exception, de l’infinitésimal.Attentats Charlie Hebdo : moins de 1% de #jesuiskouachi (poussé à 99% par le FN) mais tous les médias ne parlent que de ça. Version numérique du « On ne parle jamais des trains qui arrivent à l’heure. » http://www.arretsurimages.net/chroniques/2015-01-22/-JeSuisKouachi-le-hashtag-sulfureux-peut-dire-merci-au-FN-id7399#jenesuispascharlie : http://www.20minutes.fr/societe/1512771-20150108-attaque-charlie-hebdo-comment-reseaux-sociaux-gerent-messages-haineux

Effet Streisand : supprimer « publiquement » un contenu c’est lui donner de l’audience. Supprimer un contenu c’est accélérer sa republication (et l’audience qu’aura cette republication)

Effet miroir : on les interprète à l’inverse de ce qu’ils signifient. Non seulement les « #JeNeSuisPasCharlie » furent minoritaires en nombre mais l’essentiel de leurs reprises visaient à dénoncer l’usage de ce hashtag pour promouvoir le #JeSuisCharlie

32

• Effet cigogne (confondre corrélation et causalité)

• « sur internet il y a des terroristes / antisémites / pédophiles et les appels à la haine sont plus visibles donc ils doivent être plus nombreux.

• Conclusion : Internet incite à la haine. Ben non.

+ + =

Comment lutter contre la haine sur internet ?

• En luttant contre la haine AILLEURS QUE SUR INTERNET• Discours de haine dans les autres médias (affaire JP Pernaud,

« Unes » de Valeurs actuelles) http://www.csa.fr/Espace-juridique/Decisions-du-CSA/Propos-de-Jean-Pierre-Pernaut-sur-les-migrants-dans-le-Journal-de-13-heures-intervention-aupres-de-TF1

• Internet (le web) n’en sont que le prolongement.• On ne lutte pas contre la haine « sur Internet » mais « dans

Facebook », « dans Twitter », etc. • Par l’éducation. Prévenir plutôt que guérir. Par les mots. (cf

« l’Holocauste a-t-il vraiment existé ? » http://affordance.typepad.com//mon_weblog/2016/12/google-google-pourquoi-mas-tu-abandonne.html )

Principes de démocratie• Ce sont, in fine et de facto les plateformes, leurs CEO et leurs

algorithmes qui décident : 1. Décident de publier telle ou telle vidéo, 2. Décident de laisser passer tel ou tel #hashtag, 3. Algorithmes ont un pouvoir de police et de justice permanent et pour l’essentiel

parfaitement opaque. • Or ces 3 points relèvent d’une éditorialisation « classique »• On ne peut pas demander aux plateformes :

– de « modérer » les millions de contenus publiés chaque minute. – D’appliquer une « territorialité du droit » sur tous les sujets

• DONC IL FAUT OUVRIR ET METTRE EN DÉLIBÉRÉ LA PARTIE DU CODE QUI RELÈVE DE CETTE ÉDITORIALISATION

• Stiegler « la démocratie est d’abord un exercice de rendu public. » • Ne pas tout attendre du politique ni des plateformes

– « Internet joue en effet un rôle majeur dans l’émancipation, dans l’auto-organisation de la société civile, sans que ses acteurs aient nécessairement à se préoccuper du centre de la société que seraient l’exécutif et la démocratie représentative… » D. Cardon

34

MERCI QUESTIONS ?

S.A.V. : affordance.info Support téléchargeable : slideshare.net/olivier