Embed Size (px)
Citation preview
Science participative
GWAP : jeux avec un but
Crowdsourcing
Crowdvoting Crowdcreation … Crowdfunding Crowddata
“Faire produire des idées, des données, … par une masse de gens”
Rémunéré Non rémunéré
Ludifié Non ludifié
Jeux Sérieux
à vocation éducative production de ressources
Tous les domaines pour lesquels les humains sont “meilleurs” qu’une machine :
• classer / étiquetter des images ⇒ ESP-Game : étiquetter des images (utilisé par Google) ⇒ Galaxy Zoo : classer des galaxies sur des images de télescopes ⇒ Startdust@Home : chercher des traces de poussières interstellaires…
• utiliser la visualisation 3D ⇒ FoldIt : Replier des protéines pour comprendre leurs propriétés
• analyser / produire de la langue naturelle ⇒ JeuxDeMots : liens sémantiques entre des éléments, polarité ⇒ PhraseDectective : trouver le lien pronom / antécédent ⇒ ZombiLingo : trouver les liens syntaxiques dans une phrase
Quels types de données sont concernés ?
• Wikipedia : écrire une encyclopédie collaborative ⇒ 5 000 000 articles en anglais / 1 700 000 articles en français
• Projet Gutenberg : numériser de livres libres ⇒ 30 000 livres
• LibriVox : enregistrer des livres audio ⇒ 10 000 livres
• regardscitoyens.org : numériser des déclarations de conflits d’intérêts des élus ⇒ 11 000 extraits en une semaine / 8 000 participants
• OpenStreetMap : devenir cartographe
• Gun Violence Archive : recenser des accidents liés aux armes à feu aux USA
• VigieNature : photographier des papillons !
• …
Crowdsourcing en dehors du champ scientifique
Crowdsourcing rémunéré : Amazon Mechanical Turk
Questions légales et éthiques
• permet de produire des ressources de qualité dans certains cas précis
• qualité insuffisance pour des tâches complexes (par ex. résumé)
• coût de validation et de post-traitement
• gestion des tricheurs
Questions scientifiques
• travail à la tâche illégal en France (sauf rares exceptions)
• pas de lien officiel entre Requesters et Turkers, entre Turkers
• pas de possibilité de de syndiquer
• pas de salaire minimum (moins de 2$/h en moyenne)
• possibilité de refuser de payer les Turkers
Il faut beaucoup de joueurs qui jouent beaucoup…
problème non spécifique aux GWAP !
• Communiquer pour faire connaitre le jeu
• Utiliser les études sociologiques sur les différents types de joueurs ⇒ Explorer : connaître les coins cachés du jeu ⇒ Achiever : réussir dans le jeu ⇒ Socializer : interagir avec les autre joueurs ⇒ Killer : attaquer les autres joueurs
GWAP : comment produire beaucoup de données ?
Phrase detective
Legendes de la myriadisation L2 = ⌧La myriadisation implique une foule de participants�
Une foule de joueurs ? Phrase Detectives
[Chamberlain et al., 2013]
1 10 20 30 40 50 60 70 80 90
100 000
200 000
300 000
400 000
500 000
Joueurs classes en fonction de leur score
Nom
brede
pointsgagn
es
Nombre de points par joueur
Nombre de joueurs sur Phrase Detectives en fonction de leur classement en points
(fevrier 2011 - fevrier 2012)
16 / 47
Annota
tions
Nombre d'annotations par utilisateur
Annotations
Pingu-kun
JYA
newK
DihThi
Zombinoclard
xohwohxo
bebs
Pauline
say1
Gide
Daniela
GG
cheonjae
etin
elbow
Mxxx
angelique
MNO
aco
iznogood
Zyurs
nouv
melijuli
g
nafi
Gior
bobo
Mandrin
Nariom
village
Leen
dieu
manutherock
ads
JBC
mcd
liloup
Dwn
begrange
stef
carofer
YeonWoo
Luciole
Lath
toto
cv
wil
Lili54
eo
Pierre
Xon
Lolo
paulinou
isa
Carla
dumb
Mimi
k3rmitt
Zizi
Linguooo
Eterel
shravasti
tryskelle
bento
morice
Dude
tsukiji
0k
10k
5k
Highcharts.com
Zombilingo
Trouver une foule d’experts
Trouver / former quelques experts dans la foule
⬇
problème spécifique aux GWAP !
un bon joueur de bonnes données
• Entraînement pour former le joueur à la tâche
• Contrôle de la qualité produite
• plusieurs joueurs sur les mêmes données (puis comparaison et vote)
• contrôle à l’aide de données produites par des experts de la tâche
GWAP : comment produire de bonnes données ?
⇄
Focus sur ZombiLingo
Analyse en dépendances syntaxiques
LéoNPP
mangeV
uneDET
pizzaNC
avecP
desDET
amisNC
suj det det
obj p_obj.o
mod
LéoNPP
mangeV
uneDET
pizzaNC
avecP
desDET
anchoisNC
suj det mod det
obj p_obj.o
QuelquesDET
moisNC
aurontV
étéVPP
nécessairesADJ
pourP
mettreVINF
enP
scèneNC
leDET
PetitADJ
PrinceNPP
det aux.tps ats mod obj.p p_obj.o obj.p mod
suj det
obj
Pas si simple… pour une machine
ZOMB I L I N G O
ZOMB I L I N G O
ZOMBIZOMBIzombilingo.org
ZOMB I L I N G O
. ORG
Petit sticker
Sticker rectangle
LINGOLINGO
Goodies visuels
Aidez la recherche, jouez !
• Bruno Guillaume (LORIA / Inria Nancy Grand-Est)
• Karën Fort (Paris Sorbonne)
• Nicolas Lefebvre (LORIA / Inria Nancy Grand-Est)
• Alice Guyot• Charles Ancé• Hadrien Chastant• Valentin Stern
et les 705 joueurs !
