Interférences liées Interférences liées au sous-titrage « intralangue » au sous-titrage « intralangue »

sur le traitement des images sur le traitement des images d’une séquence filméed’une séquence filmée

Jean-Marc LavaurJean-Marc Lavaur& Sophie Nava& Sophie Nava

Congrès de la SFP. Nantes, Septembre 2007. Congrès de la SFP. Nantes, Septembre 2007.

La compréhension de films

• Apport séquentiel et régulier d’informations Représentations sémantiques « transitoires » tout au long

du déroulement de la séquence

• Mise en commun des différentes informations

Les informations visuelles et auditives convergent vers un ensemble cohérent (pour comprendre l’histoire qui défile sous nos yeux)

Informations issues d’un filmInformations issues d’un film

Visuelles Visuelles Images et enchaînement des images (plans, séquences) et verbales (sous-titres)

Auditives Auditives Informations verbales (dialogues) et non verbales (musique + autre sons)

SituationellesSituationelles Inférences à produire à partir de la synthèse des informations visuelles et auditives

La compréhension de films

La compréhension des films sous-titrés

• Situation très particulièreSituation très particulière 2 langues présentes à l’écran :

langue des dialogues + langue des sous-titres

• Adjonction de sous-titresAdjonction de sous-titres

Objectif : faciliter la compréhension

• Sous-titres : nouvelle Sous-titres : nouvelle

source d’informationsource d’information texte dont le défilement et le rythme

échappe à notre contrôle

??????????

Eléments visuels d’un film

• Éléments hautement hiérarchisés et organisés (langage cinématographique)

Ex: montage (élément essentiel du mouvement et du rythme)

voir Magliano, Miller et Zwaan (2001) sur l’effet du montage sur la génération d’inférences (anticipations et prédictions sur les actions à venir)

• Informations visuelles permettent d’inférer de nombreuses informations relatives au temps et

à l’espace

Le sous-titrage des films

• Le sous-titrage interlangue*Le sous-titrage interlangue*

(dialogues dans la langue d’origine, sous-titres dans la langue dominante – maternelle - des spectateurs)

• Le sous-titrage intralangue**Le sous-titrage intralangue**

(dialogues et sous-titres dans la même langue)

* Mode de traduction audiovisuelle classique au cinéma ou à la télévision Mode de traduction audiovisuelle classique au cinéma ou à la télévision

* * utilisé généralement pour les déficients auditifsutilisé généralement pour les déficients auditifs

Utilisation des sous-titres

• Compétence faible dans la langue du film Utilisation fréquente des sous-titres pour

comprendre

• Compétence élevée dans la langue du film Sous-titres pas nécessaires pour comprendre

Quel est dans ce cas l’effet des sous-titres ?Quel est dans ce cas l’effet des sous-titres ? Pas d’effet ou effet négatif sur le traitement ?Pas d’effet ou effet négatif sur le traitement ?

Technique des mouvements oculairesTechnique des mouvements oculairesD’Ydewalle, Praet, Verfaillie et Van Rensbergen (1987, 1991)

- Déplacement du focus attentionnel des images vers les sous-titres - Déplacement du focus attentionnel des images vers les sous-titres quel que soit le niveau dans la langue du film (élevé, faible)quel que soit le niveau dans la langue du film (élevé, faible)

Etudes sur la compréhension de filmsEtudes sur la compréhension de filmsGrignon, Lavaur & Blanc (2007) Lavaur et Bairstow (2008,

préparation)

- Rôle des sous-titres dans la compréhension des dialogues, la production Rôle des sous-titres dans la compréhension des dialogues, la production d’inférences et le traitement des unités visuellesd’inférences et le traitement des unités visuelles

Etudes antérieures

Mouvements oculaires

• Lecture des sous-titres quasi-automatique dès leur apparition à l’écran

• Le détournement de l’attention se ferait de l’image vers les sous-titres

Peu de temps et d’attention pour le

traitement des images (D’ydewalle et collaborateurs Koolstra, Peeters & Spinhof ; 2002 )

Résultats expérimentaux (mouvements oculaires + autres)

• Attention focalisée sur les Attention focalisée sur les sous-titressous-titres

qu’ils soient présentés dans la langue dominante ou étrangère

• Lecture des sous-titresLecture des sous-titres (nombre de fixations et de

saccades oculaires) sensiblement la même quel que

soit le degré d’habituation aux sous-titres

• Sous-titres bien retenus sous Sous-titres bien retenus sous leur forme littérale leur forme littérale

indicateur supplémentaire de leur lecture fortement automatisée pendant leur présentation sur l’écran

Mon nom est Mon nom est bond, James Bondbond, James Bond

My name is My name is bond, James bond, James

BondBond

Processus attentionnels

• Attention Les comportements attentifs sont Les comportements attentifs sont

caractérisés par leur aspect caractérisés par leur aspect intensif et sélectifintensif et sélectif

• Problématique des sous-titres

Ils focalisent l’attention sur une Ils focalisent l’attention sur une partie de l’écran et favorisent partie de l’écran et favorisent le traitement des mots écritsle traitement des mots écrits

Caractéristiques et format des sous-titres

• Les sous-titres sont une condensation des dialogues (perte de 30% des informations en moyenne)

• Ils sont situés généralement en bas de l’écran, position centrée et chaque sous-titre comporte 2 lignes maximum (règles et conventions du sous-titrage*)

* European association for studies in screen translation (ESIST)

Objectif de la recheche

Psychologie et traduction Psychologie et traduction audiovisuelleaudiovisuelle

MMise en évidence ise en évidence du rôle perturbateur du rôle perturbateur des sous-titres des sous-titres pendant le traitement pendant le traitement de l’information audiovisuellede l’information audiovisuelle

Hypothèses

1. La présence des sous-titres affecterait principalement le traitement des éléments traitement des éléments visuelsvisuels d’une séquence filmée

2. Cette altération serait facilement repérable dans une situation de sous-titrage sous-titrage “intralangue” “intralangue”

(sous-titres non nécessaires à la compréhension et capteurs de l’attention)

Méthode

• Création des sous-titres (Subsync*)

• Présentation sur écran de l’extrait de film « Lolita » (Media Player Classic*) dans trois versions différentes

• Immédiatement après le film questionnaire sur les éléments visuels et recueil informatisée des réponses

(Sphinx Lexica*)

*Logiciels utilisés

Choix de la séquence

Séquence Séquence

6 minutes extraites du film « Lolita » de Stanley Kubrick (1962) 6 minutes extraites du film « Lolita » de Stanley Kubrick (1962) Sous-titres Sous-titres

Recréés en laboratoire Recréés en laboratoire

Correspondance parfaite avec les dialogues Correspondance parfaite avec les dialogues

Vitesse “standard” de défilement Vitesse “standard” de défilement

Synchronisation optimale avec les dialoguesSynchronisation optimale avec les dialogues

Vous en êtes certaine ?

Vous en êtes certaine ?Vous en êtes certaine ?

Population et matériel

• Population 24 étudiants (langue maternelle française) n’ayant jamais vu le film

répartis en trois groupes expérimentaux selon la version visionnée

• Matériel 3 versions d’une même séquence (version muette, version avec version muette, version avec

dialogues et bande son, version avec dialogues, bande son et sous-dialogues et bande son, version avec dialogues, bande son et sous-titres dans la même languetitres dans la même langue)

Trois versionsTrois versions

Version muetteVersion muette

Version avec dialoguesVersion avec dialogues

Version avec dialogues et Version avec dialogues et sous-titrage intralanguesous-titrage intralangue

Vous en êtes certaine ?Vous en êtes certaine ?

Vous en êtes certaine ?Vous en êtes certaine ?

Vous en êtes certaine ?Vous en êtes certaine ?

vous en êtes certaine ?vous en êtes certaine ?

Portant uniquement sur les Portant uniquement sur les éléments visuelséléments visuels de la séquence de la séquence

29 items répartis équitablement sur la durée de la séquence

• 1 à 5 réponses correctes parmis les 5 réponses possibles pour chaque item

• 50 réponses correctes à fournir, 95 réponses dites « distractrices ».

Questionnaire

Hypothèses opérationnelles

• Version muette : bonne récupération des unités rattachées au contenu imagé

• Version avec dialogues : traitement plus complet des informations

• Version avec dialogues + sous-titres : la surabondance et la redondance des dialogues écrits et oraux provoquent l’altération des éléments imagés de la séquence

Traitement des éléments visuels

0

5

10

15

20

25

30

35

nb moyen debonnes réponsesen fonction de la

version

Version muette

version avec dialogues

version avec dialogues etsous-titres

Altération du traitement des Altération du traitement des images liée à la présence des images liée à la présence des dialogues (1) et des sous-titres dialogues (1) et des sous-titres (2)(2)

F(2,21)=18,39 P <.001

Comparaisons partielles

muette vs avec dialogues P<.001

muette vs avec dialogues et sous-titres P <.0001

dialogues vs dialogues + sous-titres P <.0001

1

2

Evolution des scores au fur et à mesure du déroulement de la séquence

0

0,5

1

1,5

2

2,5

3

1 6 11 16 21 26

items

Version muette

version avec dialogues

version avec dialogues+ sous-titres

Supériorité de la version muette pour de nombreux items

Analyse item (F2)Analyse item (F2)F2(2,56)=18,39 P <.001

Comparaisons partielles

muette vs avec dialogues P<.001

muette vs avec dialogues et sous-titres P <.0001

dialogues vs dialogues + sous-titres P <.01

Items significatifs

0

0,5

1

1,5

2

2,5

3

1 6 11 16 21 26

items

Version muette

version avec dialogues

version avec dialogues etsous-titres

0.020.02

0.050.05

0.040.04

0.050.05

0.010.01

0.010.01

0.030.03

0.010.01

Seuil de significativité Seuil de significativité des items testdes items test

Discussion

• Effet de la version sur la prise en compte des éléments visuels de la séquence.

• Plus la quantité d’informations verbales augmente, plus la détérioration du traitement visuel augmente

• La présence des sous-titres altère significativement le traitement de la séquence

détérioration du traitement de l’imagedétérioration du traitement de l’imageen situation de sous-titrage intralangueen situation de sous-titrage intralangue

• Une analyse plus fine montre que les scores dépendent

- du degré de profondeur de l’item à identifier - de sa place sur l’écran (haut, bas, gauche, droite) - de sa taille et de sa forme - de l’objet à considérer

• Nécessité de prendre en compte les analyses et les les traitements en temps réeltraitements en temps réel lors du déroulement de la séquence.

Discussion (suite)

Recherches actuelles et perspectives

Détérioration du traitement des images, plans et Détérioration du traitement des images, plans et séquencesséquences enen situation interlanguesituation interlangue

• Quand les sujets ne se pas compétents dans la langue du film (Grignon, Lavaur & Blanc ; 2007)

• Pour des sujets bilingues qui connaissent parfaitement les deux langues présentes à l’écran (Lavaur & Bairstow ; 2008 Berlin ICP)

Merci de votre attention

Merci de votre attentionMerci de votre attention

Colloque internationalColloque international

« « La traduction audiovisuelle : : approches pluridisciplinairesLa traduction audiovisuelle : : approches pluridisciplinaires  ». ».

Montpellier 19 et 20 juin 2008Montpellier 19 et 20 juin 2008