LES CONTENUS SOCIAUX Quel impact sur le processus de ......6 Signaux émotionnels : quel impact sur la RI ? 1 Comment détecter une contradiction ? 2 Mesurer l’intensité de contradiction

Ismaïl BADACHELIS UMR 7020 – Université Aix-Marseille

LES CONTENUS SOCIAUXQuel impact sur le processus de RI et

la quantification de contradiction

Séminaire à Lyon LIRIS – Equipe DRIM13 Mars 2018

Plan

Contexte

Etat de l’Art

Signaux et Propriétés Sociales

Temporalité des Signaux

Qualité et Diversité des Signaux

4

1

3

2

5

A) Exploitation des signaux sociaux pour améliorer la RI

B) Intensité de contradiction dans les commentaires

Signaux émotionnels : quel impact sur la RI ?6

Comment détecter une contradiction ?1

Mesurer l’intensité de contradiction2

4

Réseaux Sociaux : quelques « stats Jan. 2018 »

Contenu social par 1 min

70000 Publications

2,3 Millions J’aime

~410 GO de données

Face

bo

ok

Source:blogdumoderateur.comquantcast.comsemiocast.com

% Partages dans les RS

1. Contexte 2. Etat de l’Art 3. Signaux et Propriétés Sociales

6. Conclusion5. Qualité et Diversité des Signaux4. Temporalité des Signaux

4 milliards d’internautes

80% sont au moins inscrits dans un réseau social

Vidéo

Photo

Page Web

Ressources Web

Ressource

.

.

.

Réseaux sociaux

Bookmark

Commentaire/Avis

Partage/Recommandation

Rating/Votes

J’aime/+1

Interactions

Signaux Sociaux(Contenus générés par l’utilisateur)

5

Prise en compte

Vidéo

Photo

Page Web

Ressources Web

Ressource

.

.

.

Réseaux sociaux

Bookmark

Commentaire/Avis


Rating/Votes

J’aime/+1

Interactions


6

Modèle de RI

Prise en compte

Requête Résultats

7

Contexte : RI


6. Signaux Émotionnels 5. Qualité et Diversité des Signaux4. Temporalité des Signaux

Vidéo

Photo

Page Web

Ressources Web

Ressource

.

.

.

Réseaux sociaux

Bookmark

Commentaire/Avis


Rating/Votes

J’aime/+1

Interactions


8

Nature

Provenance

Signification

Temporalité

Diversité

Rating

54321

Émotion

9

Questions de recherche

Impact de la diversité des signaux sociaux sur les résultats ?3

Comment prendre en compte les signaux sociaux et leur temporalité

pour estimer l’importance d’une ressource ?2

Comment traduire les signaux sociaux en « importance sociale »

d’une ressource ?1

Quel modèle théorique pour combiner la pertinence a priori d’une

ressource et sa pertinence thématique ?4

Est-ce que la qualité du signal est influencée par son réseau social ?5



Les signaux émotionnels : quel impact sur la RI ?6

10

2. Etat de l’art

1) Recherche d’information dans les contenus sociaux

Recherche dans les médias sociaux (Moris et al., 2010) (Luo et al., 2012) (Damak et al., 2014)

Question-Réponse sociale (Dror et al., 2011) (Hecht et al., 2012)

Recherche de conversations (Magnani et al., 2012) (Ould-Amer et al., 2014)

Recherche d’opinions (Pang et Lillian, 2008) (Danescu-Niculescu et al., 2009)

Recherche de personnes (experts) (Macdonald et Ounis, 2008) (Deng et al., 2008)

2) Exploitation des contenus sociaux pour améliorer la RI

Indexation sociale (Zhang et al., 2009) (Bischoff et al ., 2008)

Reformulation de la requête (Koolen et al., 2009) (Bao et al., 2007)

Reclassement de résultats

- Classement basé sur la pertinence sociale

- Classement social personnalisé

(Bao et al., 2007) (Yanbe et al., 2007) (Bender et al., 2008)

(Carmel et al., 2009) (Hecht et al., 2012)



11

2. Etat de l’art

Sources d’évidence Propriétés Modèles Auteurs

Critères sociaux indépendants du temps

• Nombre de : clicks, votes, enregistrement et

recommandation.

Popularité

Importance

Combinaison

linéaire(Karweg et al., 2011)

• Nombre de: j’aime, j’aime pas,

commentaires sur YouTube.

• Nombre de lecture d’un titre sur Last.fm.

• Social Book Search (ratings, tags, reviews).

Importance

Apprentissage

et

Combinaison

linéaire

(Chelaru et al., 2012)

(Khodaei et al. 2012)

(Buijs et Spruit, 2014)

(Zhang et al., 2016)

• Nombre de retweets. PopularitéTechnique

d’apprentissage

(Yang et al., 2012)

(Hong et al., 2011)

Critères sociaux dépendants du temps

• Analyse des signaux sociaux pour classer

l’intérêt des utilisateurs en 5 classes : recent,

ongoing, seasonal, past et random.

Intérêt

temporel

Etude

statistique

(Khodaei et Alonso,

2012)

• Exploiter le clic temporel appelé ClickBuzz

pour mesurer l’intérêt d’un document à

travers le temps.

Buzz dans le

temps

Technique

d’apprentissage(Inagaki et al., 2010)



12

2. Etat de l’art : Positionnement



I. Exploitation des signaux sociaux issus de plusieurs réseaux sociaux, de

façon individuelle ou groupée sous forme de propriétés (ex. réputation

et popularité);

II. Prise en compte de la temporalité des signaux : date de création de

chaque action sociale ainsi que l’âge de la ressource;

III. Prise en compte de la diversité des signaux au sein d’un document.

IV. Analyser et étudier les nouveaux signaux émotionnels de Facebook

(Facebook Reactions : haha, j’adore, wouah, triste, grrr).

Partie IExploitation individuelle et

groupée des signaux sociaux

14

3.1. Hypothèses



1) Signaux Sociaux

Présence Nombre Origine

Signal Social

Impact sur la qualité des résultats de recherche

2) Propriétés sociales

PopularitéRéputation

Quantification

15

3.2. Représentation « sociale » d’un document

Ressource (Document)

- J’aime

- +1

- Partage

- Rating

- ….

Signal mono-valeur

ex. J’aime (nombre de j’aime)

Signal multi-valeurs

ex. Rating (nombre de Rating et la valeur du Rating)

Représentation thématique

• Mots-clés : 𝐷𝑤={𝑤1, 𝑤2, …𝑤𝑧}

Représentation sociale

• Signaux sociaux : 𝐷𝑎={𝑎1, 𝑎2, … 𝑎𝑚}



𝑃 𝐷 𝑄 =𝑟𝑎𝑛𝑘 𝑃 𝑫 ∙ 𝑃 𝑄 𝐷)

16

3.3. Importance a priori du document

𝑃 𝑎𝑖

Probabilité a priori du

document D

Modèle thématique

Requête/Contenu

ෑ

𝑎𝑖∈ 𝐴

𝑃 𝑎𝑖

Unique Plusieurs Propriétés

ෑ

𝑎𝑖𝑥∈𝐴

𝑃𝑥 𝑎𝑖𝑥Rating

Réputation

Popularité



17

3.4. Estimation des probabilités a priori

𝐵𝐴 𝐷 =𝑚𝑜𝑦 𝑟 ∙ 𝑟 + σ𝐷′∈𝑅𝑚𝑜𝑦 𝑟′ ∙ |𝑟′|

𝑟 + σ𝐷′∈𝑅 |𝑟′|

𝑃 𝑎𝑖 = 𝑅𝑎𝑡𝑖𝑛𝑔 =1 + log(1 + 𝐵𝐴 𝐷 )

1 + log(1 + σ𝐷′∈𝑅𝐵𝐴(𝐷′))

Estimée par maximum de

vraisemblance et un lissage par

Dirichlet

𝑷 𝒂𝒊

𝑃 𝑎𝑖 =𝐶𝑜𝑢𝑛𝑡(𝑎𝑖 , 𝐷)

𝐶𝑜𝑢𝑛𝑡(𝑎., 𝐷)

Moyenne Bayésienne BA (Bayesian Average)

Multi-valeur : RatingMono-valeur



18

3.5. Evaluation : objectifs

1) Impact des signaux sociaux sur la performance de RI

2) Impact de la combinaison des signaux sociaux sous forme de

propriétés sociales

• Cadre d’évaluation :

- Deux collections d’INEX : IMDb et SBS.

- Collecte de signaux sociaux pour chaque document (IMDb et SBS).

Collection Documents Requêtes

IMDb 2011 1.6 millions de films 30

SBS 2015 : Suggestion Track 2.8 millions de livres 208



19

3.5. Evaluation : Collections de test

Contenu Textuel : INEX IMDb 2011



20


Contenu Textuel : INEX SBS 2015



21


Contenu Social : 9 données sociales collectées.

DELICIOUS

Bookmark IMDb

WITTER

Tweet IMDb

GOOGLE+

+1 IMDb

Partage

LINKED

IMDb

AMAZON

Tag

RatingSBS

ACEBOOK

J’aime

Partage

Commentaire

SBS,

IMDb



22

3.5. Evaluation : quantification des propriétés

• Chaque propriété est quantifiée par des signaux sociaux spécifiques,

selon sa nature et sa signification.



0,56810,5801

0,590,5974

0,6203

nDCG

TotalFacebook Popularité Réputation

TousLesCritères ToutesLesPropriétés

0,4102

0,4264 0,4272 0,4262

0,4509

P@20



Propriétés Sociales

+44%

+38%+36%+34%

+31%

+32%

+25%+26%+25%+20%

3.5. Evaluation : Résultats sur IMDb

0,3919

0,4113

0,4325

nDCG

Lucene Solr BM25 ML.Hiemstra

0,3122

0,3371 0,3403

P@20


Modèles de base

Facebook

23



0,5130,5262

0,5121

0,4769

0,5017

0,4621 0,4566

nDCG

J'aime Partage Commentaire Tweet

+1 Bookmark Partage(LIn)

0,3620,3649

0,35510,3512

0,34680,3414 0,3432

P@20

J'aime Partage Commentaire Tweet

+1 Bookmark Partage(LIn)

Signaux Sociaux

+6%+7%

+16%+10%

+18%+22%

+18%

+11%

+12%+9% +8%

+7%+5% +6%

Réputation

Propriétés Sociales

0,19370,1953

0,1974 0,1981

0,2004

nDCG



0,07910,078

0,08010,0787

0,0888

P@20



+30%+22%+21%

+20%+19%

+55%

+41%+41%

+38%+43%

0,0689 0,0711 0,0678

0,0559 0,0531

P@20

J'aime Partage Commentaire Rating Tag

Signaux Sociaux

0,18640,19

0,1807

0,1748 0,1742

nDCG


+7%+8%

+11%

+17%+15%

+23% +27%

3.5. Evaluation : Résultats sur SBS

Modèles de base

0,0487

0,0517

0,05

P@20


0,130,1581 0,162

nDCG


Facebook

24



+21%+11% +5%

Réputation

3.5. Evaluation : Algorithmes de sélection (IMDb)

--- : Fortement sélectionné

--- : Modérément sélectionné

--- : Faiblement sélectionné25



3.5. Evaluation : Algorithmes de sélection (SBS)

--- : Fortement sélectionné

--- : Modérément sélectionné

--- : Faiblement sélectionné26



3.6. Constats

27

• Présence de signaux sociaux améliore la RI.

Signaux Facebook meilleurs que les autres signaux.

Plus fréquents que les autres signaux.

• Regroupement des signaux par propriété améliore significativement les

résultats par rapport aux autres configurations.

• Limites

- Certains signaux (ex. Partage LinkedIn) n’ont pas été évalués sur SBS.

- La non prise en compte des facteurs temporels (âge de la ressource,

fraîcheur de signaux).



Partie IITemporalité des signaux

sociaux

29

4.1. Hypothèse : Fraîcheur du signal

1. contexte 2. Etat de l’Art 3. Signaux et Propriétés Sociales


Temps

Simple ComptageResource R1

+1 1

1+1

1+1

Comptage biaisé par le tempsResource R1

+1 0.5

0.75+1.5

0.72+1.2

Favoriser les ressources associées à des signaux récents

t1 t2 t3 t4 t5

30

4.2. Fraîcheur du signal

• Signal biaisé par sa date de création

𝐶𝑜𝑢𝑛𝑡𝑡𝑎 𝑡𝑗,𝑎𝑖 , 𝐷 =

𝑗=1

𝑘

𝑓 𝑡𝑗,𝑎𝑖 , 𝐷 𝑓 𝑡𝑗,𝑎𝑖 , 𝐷 = 𝑒𝑥𝑝 −∥ 𝑡𝑎𝑐𝑡𝑢𝑒𝑙 − 𝑡𝑗,𝑎𝑖 ∥

2

2𝜎2

• Rating biaisé par sa date de création

𝐵𝐴𝑡 𝐷 =𝑚𝑜𝑦 𝑟𝑡 ∙ 𝑟𝑡 + σ𝐷′∈𝑅𝑚𝑜𝑦 𝑟𝑡′ ∙ |𝑟𝑡′|

𝑟𝑡 + σ𝐷′∈𝑅 |𝑟𝑡′|

𝑟𝑡 = 𝑟 ∙ 𝑒𝑥𝑝 −∥ 𝑡𝑎𝑐𝑡𝑢𝑒𝑙 − 𝑡𝑟 ∥

2

2𝜎2



31

4.3. Hypothèse : Âge de la ressource

Resource R1 : Âge = 1 mois

188

52

12+1

Resource R2 : Âge = 1 jour

2

1

0+1

Les « vieilles » ressources ont plus de chance d’obtenir plus de signaux que les « récentes »

Normalisation des signaux par l’âge de la ressource



32

4.4. Âge de la ressource

𝐶𝑜𝑢𝑛𝑡𝑡𝐷 𝑎𝑖 , 𝐷 = 𝐶𝑜𝑢𝑛𝑡 𝑎𝑖 , 𝐷 ∙ 𝐴(𝐷)

𝐴(𝐷) = 𝑒𝑥𝑝 −‖𝑡𝑎𝑐𝑡𝑢𝑒𝑙 − 𝑡𝐷‖

2

2𝜎2

• Normaliser la distribution des signaux par la date de publication de la

ressource (âge de la ressource).



33

4.5. Evaluation : Collection de test

Contenu Social : les données sociales temporelles

IMDb

SBS



4.5. Evaluation : Résultats sur SBS

Sans Prise en Compte du Temps Date du Signal34

0,0732

P@20

Rating

0,1904

nDCG

Rating

+31%

+12%

0,18640,1938

0,1807

0,1748 0,1742

nDCG


0,0689 0,0711 0,0678

0,0559 0,0531

P@20


Âge de la ressource

0,07080,0796

0,0711 0,06950,058

P@20


0,19

0,2001

0,1882

0,18550,1771

nDCG


+5%+19%+4%

+12%+3%

+2%+5%

+4%

+5%+2%



4.6. Constats

• Signaux sociaux sensibles au temps

- La fraîcheur du signal Rating « booste » les documents pertinents.

- Les signaux fréquents (Partage, Rating) sont les plus sensibles à l’âge de

la ressource.

• Limite

- Expérimentation du temps associé à un signal limitée au Rating.

35



Partie IIIQualité et diversité des signaux

sociaux

37

5.1. Hypothèse



• La diversité des signaux : indice mesurant l’intérêt d’une ressource au-

delà d’un réseau social ou d’une communauté.

• Nature

• Provenance

• Une ressource dominée par un seul signal doit être défavorisée par rapport

à une ressource ayant une équi-répartition des signaux.

• Evaluation de la diversité en utilisant l’indice de diversité de Shannon.

• L’intérêt (importance) d’une ressource.

38

5.2. Estimation de la diversité des Signaux

𝑃𝑥 𝐷 = ෑ

𝑥 ∈𝑋

𝑃𝑥 𝑎𝑥 ∙ 𝐷𝑖𝑣𝑒𝑟𝑠𝑖𝑡é𝑠 𝐷

𝐷𝑖𝑣𝑒𝑟𝑠𝑖𝑡é𝑠 𝐷 = −

𝑖=1

𝑚

𝑃𝑥(𝑎𝑖𝑥) ∙ 𝑙𝑜𝑔 𝑃𝑥 𝑎𝑖

𝑥



39

5.3. Evaluation : Résultats SBS

0,084

0,1945

0,0862

0,197

0,0891

0,1994

0,0915

0,2031

0,0976

0,2148

P@20 nDCG

TotalFacebook Popularité Réputation TousLesCritères ToutesLesPropriétés

+10% +14%

+11%

+6%

+10%+16%



Avec Prise en Compte de la Diversité

40

5.4. Distribution du facteur diversité dans les documents



Documents Non-Pertinents

Documents Pertinents

41

5.5. Analyse quantitative et qualitative des signaux



1) la fréquence moyenne des signaux dans les documents pertinents est plus élevée par

rapport aux documents non-pertinents.

2) les signaux de Facebook capturent la majorité des documents pertinents.

3) 95% de ses actions de partage sont concentrées dans 601 documents pertinents avec une

fréquence moyenne de 67 actions.

Les signaux émotionnels :

Quel impact sur la RI ?Partie IV

43

6.1. Les signaux émotionnels (Facebook Reactions)



• 300 milliards de réactions (24/02/2017), soit plus de 800 millions par jour.

• La réaction j'adore est la plus populaire.

• La majorité des réactions j'adore étaient durant Noël 2016.

• Les pays où les réactions sont populaires : le Mexique, le Chili, la Grèce,

le Paraguay, les États-Unis (la France 14eme).

44

6.1. Les signaux évènementiels



45

6.2. Questions de recherche



Comment les utilisateurs utilisent-ils ces réactions pour interagir avec

les ressources web ?1

Comment modéliser ces critères et les prendre en compte dans un

modèle de RI ?2

Quel est l'impact de ces réactions sur les performances d'un système

de RI ?3

46

6.3. Réactions dans les médias et les films



• Réactions des utilisateurs sur 10 meilleurs films en 2016 et 4650 articles

publiés sur 10 médias.

47

6.3. Exemple : réactions "haha" et "triste"



48

6.3. Réactions dans les médias et les films



• Analyse du premier reportage (article) publié par chaque média sur

l'attaque du 22 mars 2016 à Bruxelles.

49

6.4. Evaluation : objectifs



1) Étudier l'impact des réactions sociales sur la RI.

2) Corrélation entre la pertinence et les réactions.

Cadre d'expérimentation

• Collection IMDb (30 Requêtes, Qrels, 1.6 millions Documents).

• 1000 premiers documents retournés par chaque requête.

• Collecter des réactions via l'API Facebook et le Parsing.

50

6.5. Réactions prises en compte individuellement



51

6.6. Réactions groupées selon leur signification



52

6.7. Requêtes et réactions (positives et négatives)



6.9. Constats

• Les signaux émotionnels

- La réaction j’adore représente le facteur le plus pertinent.

- Il y a une dépendance entre l’émotion dans la requête et les réactions

à prendre en compte dans le processus de ranking.

• Limites

- Simplicité de la modélisation des réactions.

- Expérimentation sur IMDb : très peu de requêtes négatives qui attirent

des documents avec des réactions négatives.

53



1.1. Contexte : contradiction textuelle

55

1. Introduction 2. Vue d’ensemble : état de l’art

4. Évaluation expérimentale3. Détection & intensité de contradiction

Contradiction :

Une situation où il est extrêmement improbable que deux phrases soient vraies

lorsqu'elles sont considérées ensemble.

Exemples :

1. Négation : « I love you --- I do not love you »

2. Mots opposés : « hot --- cold , light --- dark »

3. Inadéquations numériques :

« There are 7 wonders of the world --- the number of wonders of the world are 9 »

1.1. Contexte : contradiction textuelle

56



1.2. Questions de recherche

57



Comment identifier une contradiction sur un aspect dans les

commentaires?1

Comment mesurer le degré de contradiction entre les commentaires?2

Quel est l’impact de la prise en compte conjointe de la polarité et du

rating des commentaires sur la mesure de l’intensité de la

contradiction?

3

2. Vue d’ensemble : état de l’art

58



3.1. Comment détecter une contradiction ?

59



3.2. Détection d’aspects dans un commentaire

60



1. Calcul fréquentiel des termes constituant le corpus des commentaires,

2. Catégorisation des termes de chaque commentaire en utilisant Stanford

Parser,

3. Sélection des termes ayant la catégorie nominale,

4. Sélection des noms avec des termes émotionnels dans leur voisinages de

5 mots (en utilisant SentiWordNet),

5. Extraction des termes les plus fréquents (utilisés) dans le corpus parmi

ceux sélectionner dans l’étape précédente. Ces termes seront considérés

comme des aspects.

3.2. Détection d’aspects : Exemple

61



L’aspect utile est : « lecturer »

3.3. Analyse de sentiments

62



3.4. Mesure de contradiction

63



.- Coordonnées (poli , rati) pour chaque commentaire-aspect cai

- Un commentaire cai aspect est un segment du commentaire contenant un

aspect (5 mots avant et après l’aspect).


64



• Fonction de dispersion (inertie du nuage)

- Distance (poli , rati ) est la distance du point cai du nuage au point centroide

cacentroide , tandis que n est le nombre de points cai du nuage.

- Normalisation des ratings rati :


65



1. Centroide basé sur la moyenne des poli et rati

Les coordonnées (pol, rat) du centroide cacentroide peuvent être calculées de

deux manières différentes :

2. Centroide basé sur la moyenne pondérée des poli et rati

4.1. Objectifs et collection de test

66



4.2. Les aspects détectés

67



4.3. Évaluation manuelle « User Study »

68



4.4. Protocole d’évaluation

69



4.5. Résultats

70



Figure 1 – Corrélation entre les jugements de contradiction et les résultats de notre

approche (avec un taux d’erreur de 21% dans la détection de sentiments)

4.5. Résultats

71



Figure 2 – Corrélation entre les jugements de contradiction et les résultats de notre

approche (avec un taux d’erreur de 0% dans la détection de sentiments)

4.6. Constats

• Estimation de l’intensité de contradiction

- Exploitation conjointe des polarités et des ratings.

- Calcul de centroide de 2 manières (moyenné et pondéré).

• Limites

- Dépendance de la qualité des modèles d’analyse de sentiments et de

détection des aspects.

- Simplicité des modèles de pré-traitements.

- Détection des phrases auxquelles appartient un aspect.

72



4.7. Prédiction de l’intensité de contradiction

73



Fig. Processus d’apprentissage automatique

4.7. Prédiction de l’intensité de contradiction

74



Tableau. Liste des critères exploités

Conclusion

Contributions

1. Modèle d’estimation de l’importance

sociale d’un document.

Exploitation individuelle et groupée des

signaux (popularité, réputation).

2. Prise en compte de l’aspect temporel

« Fraîcheur » du signal,

Normalisation du signal par l’âge de la

ressource.

3. Qualité et diversité des signaux sociaux

Diversité en termes de nature et

provenance des signaux.

4. Etude des signaux émotionnels

5. Contradiction dans les commentaires

6. Mise en place de collections de test

Publications

1. «Contradiction in Reviews : is it Strong or Low?» à BroDynworkshop, ECIR 2018

2. «Emotional Social Signals for Search Ranking» à SIGIR 20173. «Finding and Quantifying Temporal-Aware Contradiction in

Reviews» à AIRS 20174. «Harnessing Ratings and Aspect-Sentiment to Estimate

Contradiction Intensity in Temporal-Related Reviews» à KES 20175. «Fresh and Diverse Social Signals : Any Impacts on Search ?» à

ACM SIGIR CHIIR 2017.6. «Multimodal Social Book Search» à CLEF 2015.7. «A Priori Relevance Based On Quality and Diversity Of Social

Signals» à ACM SIGIR 2015.8. «Document Priors Based On Time-Sensitive Social Signals» à

ECIR 2015.9. «Social Priors to Estimate Relevance of a Resource» à ACM IIiX

2014.10. «Harnessing Social Signals to Enhance a Search» à ACM/IEEE

WIC 2014.11. «Détection de contradiction dans les commentaires» à CORIA

2017.12. «Les Signaux Sociaux Émotionnels : Quel impact sur la RI ?» à

CORIA 2017.13. «Pertinence a Priori Basée sur la Diversité et la Temporalité des

Signaux Sociaux» à CORIA 2015.14. «Exploitation de signaux sociaux pour estimer la pertinence a

priori d’une ressource» à CORIA 2014.15. «RI sociale : intégration de propriétés sociales dans un modèle

de recherche» à CORIA 2013.

http://www.irit.fr/~Ismail.Badache/https://twitter.com/Ismail_badache

76

Modèle classique

Modèle social

http://www.irit.fr/~Ismail.Badache/

https://twitter.com/Ismail_badache