205
2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim ´ edia num ´ eriques Nicolas Louis

Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

2006In

dexatio

ncross-m

edia

vid

eo/so

ndes

contenus

mult

imedia

numeriq

ues

Nicolas

Louis

Page 2: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

��������� ��� ����� ������� ��� ������ ���������� ����������

������ � ���� �� ����� �� � ���� ���� ���� ���������� �� �������� �� ���������� ��� ��� ������������������� �� ������ �� �� ������ ����������� � ����� ��� ���������� �������� ��� ��� ���� �� ����

��� ������ ����� ���� �� ������ �� ��� ��� � ���� �������� ��������� ��� ������ �� ������ ��� ������ ������������ !���� �� ���"� ���� ����� � ���� ���� ��������� ��� ��� ��� #������� �� �������� ��� ����������� ������ ���� ��� �������� �����$���� ����� ��� ��� ������ � �� ������ ����������

%��� ����� ��� ����� ��� ��������� ���� �� ������������ ��� ��������� �� ������� ���� ��������� ��������� � ���� �� ������������� ��� ��������� ����� ��� ������ &��� ������� ���� ����������� �� �#������� ���� ����������� ��� ���� ��������� ������� ��� ���� �� ������������� ��� ���� �������

'�(�� ��� ��� ��� ��������� �� �����(����� ��� ���� ������ ���� �� ��� ���)��� �� ��� ��� �� ��#��������� ���������� ��� ��������� '��� ������ �� ����������� ��� ��������� ����� ��� ����� �� ��� ����� �*�������� �� ������������ ��� ����������� ����������

������� � +����������

�������� � �������� ����������� ������ �� ������� ������ ����������� ���� �� �� ���� ������� ��#��������� �� �����(����� �� ���� �������

���� ����� ������ �� ������� ����������� � ������� ���������� �����

�������� +� � � ,��-� � � ������� �� �����# � �#��� ��������� ������� ��� ������ �� �������� � �������� ��-�# ��� ����������� � � ��������� ��������� ���� ��� ���� ��� ��� ������� � ����������

. ��� �� ���� ����������� ���� ������ ,��- � � � ����� ���������� � � � ����� �����# ,� ����������!���� ��� ���"� +� � � ,��-� � #����� ��� �� �� � �������/� ����� ������� � ����������# ����������������� � ��������� +� � ����� �� � ��������� ������ ������

0��� ������� � ���� ��������� ������� �� � ����� ������ ��� ���������� 1� ������� �� � �������/� ������������ ��������� � ��������� 2����� ��,����� ���� ���������� ��� ������ � ����� �� ������ � � ���� , � ���� � �������/� ��� �������

3���� � � ��������� ������� �� ������ ��� ������ � �������� � ����� �� �� ���� ������ ��#����������� ���� +� ����,�� � �������# ���������� ����������� �� ������ � � ������������ ��������� �������# ����� � ���� ���� ������

������� � 4��������5�����

� ������� ���������� �����#� 6� ���� ������ ������ �������� ������� ��� ������ ���� ��� ��� ��������#�������� ��� �����(������

��67+�8������ 6������� 9�

:;9 ����� �� �� ���������::<=; .������ 4���� !371&4'"�

Page 3: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

No ������� � ���

�������������� �

���������� � ������ �

����� �������� �� ����� ��� ����������� ��

��� ������� ���

���� ������� �� ���� ��

�������

������� ����������

��������� ��� ����� ������� ��� ������ ���������� ����������

������� �� � �� ������� ����

����� ���� ��� ���������� ������� ���������� !" # # # # # ��$%�&&�'���(�)$�& �( !�" # # # # # # # # # # # !�� !�'� !�* �$�+ ��

������ �� ������� �������� ����� �� �,���� �� $-(& # # # # # # # # # # # # # # ��$%�&&�'� # # # # # # # # # # # # # # # # # # # # # # ���&����"������ ���������� !" # # # # # ��$%�&&�'� # # # # # # # # # # # # # # # # # # # # # # �(..$�"�'���(�)$�& �( !�" # # # # # # # # # # # !�� !�'� !�* �$�+ �� # # # # # # �(..$�"�'��+��(/ 0�&(��"��("!����� ��$%�&&�'� # # # # # # # # # # # # # # # # # # # # # # �1(/��("�'�2���+ 3��$�&�����(' # # # # # # ��$%�&&�'� # # # # # # # # # # # # # # # # # # # # # # �1(/��("�'�2(� ��&�(��( # # # # # # # # # # # # # !�� !�'� !�* �!�-�.& ��&�(� ! �1(/��("�'�

����

Page 4: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim
Page 5: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

��������� �

�� ����� �� �� ���

����� � ���� �� ������� �� � ��� ����� ��� � ��� ������� ���� ��� ��������� ������� ����������� �� ��������� ��� ������� ��� � ��� �� ���� ����� ������ � �� ���� �� �������� �����!��"����� �� ����� ����� #������� ����# �� ���������

$���� %�� &� ��������� �� ��'����� �����������%��� &��������� ���� &���� �������������� �������� �� ()$ �����������%�� $� ������� &��� ���*�� ���� ��������� � ������������� �+���� (����%� ������ ��������� �� ,���������� -�������� �� .�� ��� � �� /��������%�� 0,�!-./1� ���� �� ���*���� %���� ��� �������� �� ����������� �� ()$ 2��� ������3� ����%������� �� ����� ���� �4������ �� ���������� ��� &� ������ � ����� �� ������� ���� �� ��������� ���� ��4 ����� ����� ����� ��� �� ������� ������� ��� �� ������ �� ����������� %�� &� �� �������!���� ��� �� ���� ������ �� ������ ���� &���� ���������� ���%���� /���� �� +�� �� ,�-./ �� ����%�� ��������� ,���%�� &� *� �� ������������ �� ����� ��������� &������ ���� �� ����������%�������� ��'��� ��� ������������� ����� ����� �������5���� ����%������ �� �������� ��� ��&�� �� ()$ %�� &� ��� �����3��� %�� &������ ��&� �������� ������� ���������� ���� �� ��&�� ������� ��� �� ������� �� ��� 6��� ���� �� ������� &� ��3�� ����������� �7�� �� �������� ������%���� %���� ������� ��&�� ����� ��� ������ ���&������������ ��� ���4 ����������� 5�� ���4 ��������� %�� �������� ������� ��� ����������� �� � ���������� ���� �� � ��� ���� � 8���� -�����! ����� �� � ������ (�������!5�� ������ ���4������ �� ����� ������ ������� �� ���� ������ ��� ������� %������� ���9������ �� ������������ ��� ����������� ����������� ������� �� �����,� ��&�� ������� ��� ��������� ��� ������ ������%��� ��� ��� ��� ���� ��������� �� ������������� :�4 ����� �� �����,���%�� &� ���� ������ �� ()$ ��� ������������� ����� �������� ���� ��� �������� ���� � �����&�� �� � ��� ;��������� &� ����������� &����� ��� ���������� �������� ����������� %�� ��������� �� ���� ��� ����������� �� � ��� %�� ��� ���&���� �� �� ������ ����������� ���� ���������� �������

��� ()$ �� ��� �� �� �� ������� ������� ��� ������ ���� ���������� ��� � ��� <�� ������ ����� &� �� ����������� &����� ����= 8���� �� ������ ���� ��� �9���� ��������� ������ �� ����������� �� ()$ �� ���� ����� ����� �� ������� ������ �� �� ������ $%������� �*� �������*�������� �� ������ ���� ��� ����� �� � ��� ���� ���� ����� ��� �'�� �� ����� ��� ������ �� 8�� ;������� ����������� � �= ����� .������ �� �� ����� ����� �> ����� ���� �� ����� �� �� � ���� � )��� ���� 0 ���!-��1 ������� ��� 8��%�� ��� �������� ������� ���� ��� �� ���� ����� %�� ������������� 5���� ���� ������� %��8�� ���� ������ �� ��� &��� �� � ��� �� &� ���*�� �� ����� �������� ���� �� ��������� ��*���������� ���� �� %���� ��� ������� 08�� ��� �� ���� ��� �? ��� ��� ��� �� �� ������� ������

Page 6: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

/ ?���� ��@� �� � ��@ ��� �� ��� ��� ��� ��� ��� ���� ��� �� ��� ��� � � � ���� ��� ������ ?�� 8���� ��� ������ �� ��%���� ��� �4�������� �� ����� .������ 1(�� ��� ������ � -������4� &��� �� ���������� ������� � -�������� ���� �������� � �� ����������/+�/. A>>B �� ����� �� ��%����� &��� ��������� � C���3��� �� �� ��'��� �� ���������� ������� � �= +���!5+, ���� 8������� ��� ���� ������� ���� �� ���������� %�� � C���3��� �� �� ������ ��� ����� ����� ������ �� ��� &��� �� � ��� 8� �������� ���� �� ��������� � ������������ ����� ���� ���� ����� ������� ��7��� ���������� �� �� � ��� �� ������� ���� ���� ������� �� ��������� �� ������ ��� ������� *��� ����� ���������� ������ ���� �� ��� ������������������ ��� ��� �7��� �������� &� �������� ���� �� �7�� ��� �������� � .����� $����!D���� �(��� �� ���������� �� ����� ������ �� �� ������� �� �7��� �� *� �������� ��� ����������� ������� �� ����� �� ���� ��� ������� �� ��� �������� ��� �����%��� %�� ��� ������ ���� ����������� %������ �� *���)�*� &� �������� � E���� ;������� ��������� ����� �� ,�-./ �� ���� %�� ��������� �������%���� /���� �� +��� ������� ������� �� �������� ��� &��� �� � ���

8� ������ � ��������� ���� ���������������� ����� E����� ���������� ��'��� �� ������������ ,�-./ �� �������� ��������� �� ����� �%���� �� ����� ���� ��� ������4 �� ��� ��� � %�� ��������� ����� �������� ����� %�� ���� ��� ������� ���� ��� ������� ��F����� �� ����� �����%���� � ���&���� ������� ������� ���� �� ���������� �� ����� �� ����� � ��� +��� ������ ��� ��� �������� ��� ��� ����� ���9��8� �������� ��� ���� ��� ������������� ��� ���������� ������������ �� � �= ����� � ���!=�� 0/�����1� .����� 0E�������1� ���� 0 �������1� 8�� G�� 05 ���1 �� .��� 0)������1 +���������� ��� ��������� �� ��������� ���� �� ������ A�H ���� AI� �� ,�-./ � ,������ � %�� &���� ���� ��� ������� ���� ��� ����� �������������� ,����� %�� ��� ��� �� ����� �� �������� ��� ���� C�������� %�� &� �������� ���� �� � ��� �� ���� � %�� &� ��� ���� ����� �������� ���� ������� �� �� � ���8� ����� ����� � ��������� ��� ���� � $��4��� J������� �����!J�������� K��9���� 2 ������ 5 ���!����� ;����� E������ ����@��� ���������� ��� -��������� ��� &������ �� ���%���� �� ���� �� ��$��!���� ��� &������ �� ���%���� �� ���� �� ����������� +/5 � ������� 2��� ����� ��������� ������� ������ �� �������� %���%�� ��� ���� �� ��� ����� ������ �� � ���8� ������ ����� � ����� �� ���� ��L�� � 5 ������� C�������= �� ;�M� .�� ��� �� ����������� +/5�� ������� ���� ����� �������������� �� ���� ������� ������ �� �������� �� � ��� ���� ������������� ���������� �� ���� �� +/5<�� ������ ����� ������ �� ��������� ������������� �� ��� ��%�� �� ,�-./ ���� ���� ������!���� �� ���� ���� � ������ -����� 8���!,���� ,������������ -������ (�:�� 5�� � .���������� ��� ������� �� ���%���� �������$���� �� �������� ��� �������������� &� �������� �4������ ��� ���������� ��� ���� ������� �J������ ���� ��� �������������� ���� ��� �������� ������� ��������� �� ���������� �� �������� �� %������ ���������)�*�� �� ��������� �� ���� � ��������� ��� �������� � K��� 5������ 5�������� � �� ���5�=���� �� ������� �� +������� ��$����� �� �� ��$�� ����� %��� ��� �������� � %�� &� ���������� � ���� ���� ����� �������4 �������� �� ���� ������� ���� ������

<� ����� ����� � ���� ����

Page 7: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

����� ��� �� ����

����������� ����� � �

� ��������� � ��������� �� � ����������� ���� �� ���� �

� ���� ������� �

� ���� �� ���� ���� � ������ �� ��������� ���� �

A� �������������� �� ����� �� ������� H

A�� (�������� ��� ���������� �� ����� �� ������� ��� ������ �� ����������� ��

A�A 5�������������� ��� �������� �� ����� �� ������� ��� ������������ ����������� �� �� ������ �B

A�� 5��������� ��� ��9������� ��� ���� AA

AA +����������� �� ������ AB

A� 5��������� AH

� ���� �� ���� �� ���� ��� �� �� ��������� ��� ��� ���� ��

�� $������ ��� :�4 ����� ������%��� �A

��� /����������� �A

��A N������� �� ���������� �� ������ ������%�� �A

��� (����������� ��������%��� �� ������ ���� ��������� ����� �B

��B ;������ ���������%�� �������� �

��O ��� ��������%�� �H

�� $������ ���� �� ������� �� �� ������ �� �� �� ����%�� B�

��I $������ ���� �� ������� �� ������� BB

��P $������ ���� �� ������� �� ����� BB

�A /���4����� ����� BO

�A� 5�����*������ ����� �� �������� ������%��� BO

�AA 5�������������� �� ������ ����� �� ����������� �� ���������� �� �� ����� OA

Page 8: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�A� /���4����� ����� � ������ ������4����� OO

�AB $����� �������� ������������� �� ������4����� ����� OI

�� 5��������� OH

� ���� �� ���� ��� ��� ���� ���������� �����!���� "�

�� ����� �� ���� ������ ��� ����� !"

# $��% � ��� ��%��� �������� �� ���� �� �������� �� ��&���� '�

O� ���������%�� P�

OA 5���� ������� ��������� ��� :�4 ������9���� PB

O� ������ �� ����� ���� ��� �������� ������������ ������9���� PO

O�� (�*������ PO

O�A ������ �� ������� �������� � 8����� PI

" $��% � �� (���� �� ��(������� ��

� .����� �� �������� ��� ��� ���������� �� ������ H�

A C����� ��� ������� �������������� HB

A� 5����� ��� ������������ ����� �� ������ HB

AA C����� ��� ������������ ����� �� ����� HB

A� ���!���������� HO

� .�������� �� �4�������������� HO

��� ������� �� ��������� ��� #�� ���� $%

� )������� ��� � ����� ��

I� ���������%�� HH

IA ��� ��� ���� ��� �������� ��������� �� ��� ��������� HH

IA� (������ ��������� �>>

IAA (������ ��� ��������� �>>

I� .�������� �� �4�������������� �>A

' )������� ��� ��������� *���+*��� ���� � ��� ���� �,�

P� ���������%�� �>�

PA 2���� �� ������ �� ������������ �������� �>B

PA� -����� ������� �>B

PAA -����� ��������� �>I

Page 9: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

PA� -����� ������!�������%��� �>H

PAB -����� ���� ������Q��� ��>

P� +����������� ��� ������ ��A

PB .�������� �� �4�������������� ��O

� - ���.����� ��� ����� ���

H� ���������%�� ��I

HA 5������ �� ������ �� ������������ ��I

H� ��� ��� �� ������*������ �AA

HB $������������ �� ������������� ��������� �A�

HO .�������� �� �4�������������� �AI

�& '�������������� �� ��������� "($

�, ��������� �����!���� ���

�>� $������ ��� :�4 ����� �� ����� ��A

�>A ��� ���� �� ��������� ��� ���������� �� ����� ��B

�>� .�������� ������4 ��� ���������� �� ������ �� ���� ��O

�>B .�������� ��� ����� ����� �B>

�>O 5��������� �BH

�� )������� ��� ��������� ����� �� ����� �#�

��� (����������� �������� �O�

��A +����������� ������� �OB

��� ����������� �OO

�� - ���.����� ��� ���� ������ �#�

�A� 5����� ����� �OI

�AA )4�������������� �� ��������� �OP

�A� $���������� �� �� ������*������ � �� ������������ ����!������� ��

�AB 5��������� �A

-��� ���� /����� � �� 0���0������ �"�

1 � ������ �� ��������� �� �/�� �"#

$� C������� �� ����������� �O

$A C������� ����������������� �O

$� 2���������� �� C������ �

Page 10: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

* 2�� � ���������� 0��� ���� ��� �� ��������� �� ����� �"�

-� (������� R������@ ,������ �H

-A ����������� ��������������� �� � ������ �� -���� �H

-A� (�*������� �I>

-AA 2 ������ �� -���� �I�

-A� )�������� �������������� �I�

-� ;����� �� ������������� �IA

-�� ������� �� ��4���� �� ������������� �I�

-B ������� �� ��4���� �� ������������� ���� �� ��� ����� ������������ ;������ �I�

- )�������� �� � ���� 0��� � ������ ���0����� ��#

5� 5��F������ ���� ���� �� �4������� �IO

5A (���������� �� ��������� �� �I

5A� 5��������� ��� �������� ���� ����� �� �4������� �II

5AA 5����� �� ��������� �� ������� �IP

5A� ���� � &��� �� �� ������� �� ��������� �� ������� �IP

5AB (�������� ��� ��������� �������� �IP

*� �/��0 � ���

3��� ��� 0�� ������ ������� ��� �� ����� � %�� �'�

Page 11: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

����� ��� �����

� +������������ ������ �%�� ���� �������� ����� �������%�� �>

A ����������� �������� �� ��������� ��������%�� AB

� +� ��� ������� �� �� ��� ��� �� ��������� ��� ���������� �� ������ � -+5 S-��@?��� + �� 5� ������ �� +- S �������� +���� -��������� A

B (��4 ��������������� � ���������� �� ���%��������� ��

O )4����� ����������� ��������� ��

)4����� �� ������� �� �@�?���� �� @������� �O

I +� ��� �� ������ ��� �C55 �O

P )4����� �� ���4 �� ������� ��� =��� 0������1 ���� ��� =��� ������ �

H )4����� �� ���4 �� ������� ��� =��� 0����1 ���� ��� =��� ��� ������ �I

�> .������������� �� �� ��������� �� ������ �� �������� �� ����� ���� �4�����������%�� ����%�� � ���� �� �������� �H

�� .������������� �� �� ��������� �� ������ �� �������� �� ����� ���� �4�������������������� ���������� � ���� ������� � ���� B>

�A 5������ ����������� ���3�� �� �������� �� �� ���%����� 05������ �� C���� ��!������ �HH�1 B�

�� ������� �� �� ���7��� ��������� ���� ������4����� ����� TUR>�V BI

�B .�������� �� �� ������*������ ����� TUR>�V BH

�O +� ��� �� �������������� �� �� ��� ��� �� ������*������ �� �� ����������������� T,8U>�V O�

� .�������� �� �� ������*������ ����� T,8U>�V OA

�I .�������� �� �� �������������� ��� ��������� ���� O �������� �� ����� ������!��*������ �� �� K�� ������� � TJ.+-HHV O�

�P .�������� �� �� �������������� ��� ��������� ���� �> �������� �� ����� ������!��*������ �� �� K�� ������� �A TJ.+-HHV O�

�H .�������� �� �� ��������� ��� �������� �� ������ TJ.+-HHV OB

A> .�������� �� �� �������������� �� ����� �� ��������� TJ.+-HHV OB

A� .�������� �� �� ������*������ �� ������ ����%�� �� -���� TE+>AV OO

AA $�� �������� �������� �� ������ 5G;(/ TE5>��V O

Page 12: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

A� +� ��� �� �������������� �� ������� �� �������������� ��� ����������� ������%�� T)��>�V OP

AB .�������� �������4 �� �� �������������� ������������� OP

AO .�������� ������4 �� �� �������������� �� ����� �� �������� OH

A +� ��� ������� �� �� ��������� ��� ������ A

AI (��������� ������ ��� E�� ���� �� ������������ ��� ������ �� ������������� ��� *��� � ������� 0�1 K��� �!�!������ �� 0�1 5��������� B

AP ������� ��� ������� �� ������������ ����� I>

AH $������� �� ��������� ��� ������� �� ����� ������ IA

�> $������� �� ��������� ��� ���� I�

�� .�������� ������*������ ��� ������ T,�>>V IB

�A +� ��� �� ��������� �� ���������� �� :�4 ����� I

�� +� ��� �� �� ��� ��� �������� II

�B (�������� �� ��������� ��������� �� ������4����� ��� :�4 ������������ PB

�O /������������� �� �� ������ �� ����� ��� ��� ��&��� ����� ����� ��9����������� �� �������� �����!����� P

� /������������� �� �� ������ �� ����� ��� ��� ��&��� ������ ����� ��9����������� �� �������� �����!����� P

�I +� ���� �������������� �� �� ��*������ �� &����� � �1 ������������ �� ������� ������� �� �1 ������������ �� ������ �� &����� PH

�P /����������� �� �������� ��� ���7���� ������������ �>>

�H )4����� �� �������������� ��� ������ �� -��@� ���� �� ��� �� ������� �>

B> )4����� �� ������� �� @������� ���� �� ��� �� ��� ��� � ������ ���� ������7��� ��������� �� ������ O�A �� ��������� �>P

B� )4����� �� ������� �� ��$. ���� �� ��� �� ������ �������%�� ��>

BA .�������� �� ������������ �� ������ �� ������Q��� ���

B� 2��� �� ����� �� ������������ �������� ��A

BB /����������� �� �� ��*������ ��� ���� ���� H1 �� H2 ��B

BO .������������� ���������� ���� ���4 ���� ������� ��������� � ��� ������ �������������� ���� �� ������� 0������ �������%��1 ������ %�� �� �������� ������� �� ����������� �� ������ 0����������������1 ��H

B /����������� ��� 6 ��������� �������� ���� �� ������*������ ��� ���� ��������������� �A>

BI K������ 0���� ���!�������1 ��� ���� ������� �� ���� �������� �� ������� ������������� �������� �AB

BP /����������� �� �� ��*������ ��� ������� Ri �AO

BH C�������� �� ������� �� ����������� �4������������ ���� ��� ������� /��������� ;��!��������� �A

Page 13: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

O> C�������� �� ������� �� ����������� �4������������ ���� ��� ������� $���!+�����Q��� �� ;��!$���!+�����Q��� �AI

O� C�������� �� ������� �� ����������� �4������������ ���� ��� ������� �����!��%��� �� ���!�������%��� �AP

OA J����� ������� ��� �� ��������� �� ������ �� ���� ���

O� .�������� �� �� ��������� ��� �������� 0������� ���������1 ���

OB .�������� �� �� ��������� ��� �������� 0������� ��� ���������1 ���

OO ����������� �� ��������� �� ���������� �� ����� �� ������� ��B

O .�������� �� �� ��������� ������� ����� +/− 3� ��� ���������� �� ������ �� ������

OI .�������� �� �� ��������� ������� ����� +/− 10� ��� ���������� �� ������ �� ������

OP .�������� �� �� ��������� ������� ����� +/− 21� ��� ���������� �� ������ �� ������

OH .�������� �� �� ��������� ��������%�� ��� ���������� �� ������ �� ���� ��

> J����� �� ������ �&����� ��� ���������� �� ������ �� ���� ���� ����� *4� � +/−3��I

� J����� �� ������ �&����� ��� ���������� �� ������ �� ���� ���� ����� *4� �+/− 10 ��I

A J����� �� ������ �&����� ��� ���������� �� ������ �� ���� ���� ����� *4� �+/− 21 ��I

� J����� �� ������ �&����� ��� ���������� �� ������ ���� �� ��� ��� �� ������������������ ��P

B J����� �� ��������� �&����� ��� ���������� �� ������ �� ���� ���� ����� *4� �+/− 3 ��P

O J����� �� ��������� �&����� ��� ���������� �� ������ �� ���� ���� ����� *4� �+/− 10 ��P

J����� �� ��������� �&����� ��� ���������� �� ������ �� ���� ���� ����� *4� �+/− 21 ��P

I J����� �� ��������� �&����� ��� ���������� �� ������ ���� �� ��� ��� �� ��!������ ���������� ��P

P ����������� �������� ��� ���������� �� ������� �� ������*��� � ������ ���������� ��������� �� �� ������������ ����� �� ����� �B>

H .�������� �� �� ��������� ������� ����� +/− 3� ���� ��� �������� �� ���� ������� ������ �� ���� �B�

I> .�������� �� �� ��������� ������� ����� +/−10� ���� ��� �������� �� ���� ������� ������ �� ���� �B�

I� .�������� �� �� ��������� ������� ����� +/−21� ���� ��� �������� �� ���� ������� ������ �� ���� �B�

IA .�������� �� �� ��������� ��������%�� ���� ��� �������� �� ���� ����� �� ������ �B�

I� J����� �� ������ �&����� ��� ��� �������� �� ���� ����� �� ������ �� ���� ��������� *4� � +/− 3 �BA

Page 14: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

IB J����� �� ������ �&����� ��� ��� �������� �� ���� ����� �� ������ �� ���� ��������� *4� � +/− 10 �BA

IO J����� �� ������ �&����� ��� ��� �������� �� ���� ����� �� ������ �� ���� ��������� *4� � +/− 21 �BA

I J����� �� ������ �&����� ��� ��� �������� �� ���� ����� �� ������ ���� ����� ��� �� �������� ���������� �BA

II J����� �� ��������� �&����� ��� ��� �������� �� ���� ����� �� ������ �� �������� ����� *4� � +/− 3 �BA

IP J����� �� ��������� �&����� ��� ��� �������� �� ���� ����� �� ������ �� �������� ����� *4� � +/− 10 �BA

IH J����� �� ��������� �&����� ��� �������� �� ���� ����� �� ������ �� ���� ��������� *4� � +/− 21 �BA

P> J����� �� ��������� �&����� ��� ��� �������� �� ���� ����� �� ������ ���� ����� ��� �� �������� ���������� �B�

P� ����������� �������� ��� ��� �������� �� ���� ����� �� ������� �� ������*���� ������ ��� ������� ��������� �� �� ������������ ����� �� ����� �B�

PA .�������� �� �� ��������� ������� ����� +/ − 3� ���� ��� �������� �� ���������������� �� ������ �� ���� �BB

P� .�������� �� �� ��������� ������� ����� +/ − 10� ���� ��� �������� �� ���������������� �� ������ �� ���� �BB

PB .�������� �� �� ��������� ������� ����� +/ − 21� ���� ��� �������� �� ���������������� �� ������ �� ���� �BB

PO .�������� �� �� ��������� ��������%�� ���� ��� �������� �� ���� �������������� ������ �BB

P J����� �� ������ �&����� ��� ��� �������� �� ���� ������������ �� ������ ������ ���� ����� *4� � +/− 3 �BB

PI J����� �� ������ �&����� ��� ��� �������� �� ���� ������������ �� ������ ������ ���� ����� *4� � +/− 10 �BB

PP J����� �� ������ �&����� ��� ��� �������� �� ���� ������������ �� ������ ������ ���� ����� *4� � +/− 21 �BO

PH J����� �� ������ �&����� ��� ��� �������� �� ���� ������������ �� ������ ������ ��� ��� �� �������� ���������� �BO

H> J����� �� ��������� �&����� ��� ��� �������� �� ���� ������������ �� �������� ���� ���� ����� *4� � +/− 3 �BO

H� J����� �� ��������� �&����� ��� ��� �������� �� ���� ������������ �� �������� ���� ���� ����� *4� � +/− 10 �BO

HA J����� �� ��������� �&����� ��� ��� �������� �� ���� ������������ �� ���������� ����� *4� � +/− 21 �BO

H� J����� �� ��������� �&����� ��� ��� �������� �� ���� ������������ �� ���������� �� ��� ��� �� �������� ���������� �BO

Page 15: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

HB ����������� �������� ��� ��� �������� �� ���� ������������ �� ������� ��������*��� � ������ ��� ������� ��������� �� �� ������������ ����� �� ����� �B

HO .�������� �� �� ��������� ������� ����� +/− 3� ���� ��� �������� �� ���� *���� ������ �� ���� �B

H .�������� �� �� ��������� ������� ����� +/− 10� ���� ��� �������� �� ���� *���� ������ �� ���� �B

HI .�������� �� �� ��������� ������� ����� +/− 21� ���� ��� �������� �� ���� *���� ������ �� ���� �BI

HP .�������� �� �� ��������� ��������%�� ���� ��� �������� �� ���� ����� �� �������� ���� �BI

HH J����� �� ������ �&����� ��� ��� �������� �� ���� *�� �� ������ �� ���� ��������� *4� � +/− 3 �BI

�>> J����� �� ������ �&����� ��� ��� �������� �� ���� *�� �� ������ �� ���� ��������� *4� � +/− 10 �BI

�>� J����� �� ������ �&����� ��� ��� �������� �� ���� *�� �� ������ �� ���� ��������� *4� � +/− 21 �BI

�>A J����� �� ������ �&����� ��� ��� �������� �� ���� *�� �� ������ ���� �� ��!� ��� �� �������� ���������� �BI

�>� J����� �� ��������� �&����� ��� ��� �������� �� ���� *�� �� ������ �� �������� ����� *4� � +/− 3 �BI

�>B J����� �� ��������� �&����� ��� ��� �������� �� ���� *�� �� ������ �� �������� ����� *4� � +/− 10 �BP

�>O J����� �� ��������� �&����� ��� ��� �������� �� ���� *�� �� ������ �� �������� ����� *4� � +/− 21 �BP

�> J����� �� ��������� �&����� ��� ��� �������� �� ���� *�� �� ������ ���� ����� ��� �� �������� ���������� �BP

�>I ����������� �������� ��� ��� �������� �� ���� *�� �� ������ �� ����� ��������*��� � ������ ��� ������� ��������� �� �� ������������ ����� �� ����� �BP

�>P ,������ �� �� ������� �� ������������� ��������� ���� ��� ������� �� ���!��������� � �1 ������ ������� �1 +����� ������ ������� �OA

�>H 5���������� ��� �������� �������������� ��� ���4 ������� �� ������������ 0�−��������� �− ������!�������%��� �− ������ �� �− ���� �����1 �O�

��> .�������� ��� ��� �4������ �������� ����� ���� �� ������� ������ �� �������������OB

��� .�������� ��� ��� �4������ �������� ����� ���� �� ������ ������ �� ������������ �OB

��A ���������� ������������� �� � �%�� ���� �� ���������� ����� �� ������ ������OO

��� ��������� ��� ���� ������� ������*�� � �1 ���� ������� ����������� �� ���������������� �������� � ��� ������� �1 ���������� ��� ���� ������� �� �� ���� ������Cc � -����� �������� Cs � -����� �������� �� ������Q���� Cp � -����� ������!�������%���� Cis � -����� ��������� �� �������� �� ������Q���� Cip � -�������������� �� ������!�������%���� Ci � -����� ��������� �OH

Page 16: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

��B .�������� �� �� ������*������ ���� %���%��� �4������ �� ���� �������� ������� �>

��O (����� ��� ���� ������� ������� ���� �� ���� �� �� ��� ��� �� ����������������!������� ��

�� ����������� �� �� ��� ��� �� ������������ ������� ��

��I /����������� �� �������� �� � ����� ����� ���� �� ������ ����� $5!� �I

��P 2���� �� �������������� ����� ��� �������� ���� ���� �� ��� �4������� �II

Page 17: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�� ��� ��� �������

,� ����� ����������� ����� ��� ����� �� ���� �� ���� ���������� ���� �� ��9����� ��������������� )� �����%������ �� �4���� ��� ����� ���� ����� ���������� �������������� �����!��������� ������������ �� ���� ����� �� �������� �� ��������� ��� ����������� ������ ���� ����������� ,� ������������ �� �� �������� ������%�� �� :�4 ������������ 0$J1 ���������� �����4���������� ���� ��� �������� ������������� ������������ 5��� ��������� ��� ������������ ����� ��������������� ��� �������� ��� ��������� $J %�� �� ���������� ������� ������ �� �������������� ��4 �������� ������������ ��������� � ��� ��� �� ����4������ ����������� ���

<� �������� ����������� ��� ���������� ��� �� ����������� ��� :�4 ����� �� ����� ,����� ���� �� ������������� �� ��� ��������� �� ������4����� �� ���� ������� ������� ��� ������4 ����������� $����� ��������� �� ������4����� �� �� ����� ������� ���9������ � ���������������4 �� ����������� � ���� ����������� ��� ��� ��4��� ��� ������ ������������ ���� ���� ����������� ������������ ������������� �4������ �� �� ����� 5���� �4�������� ��%����� �� ��������������������� ��������� �� �� ��������������� �� ��������� ������ 0����� �� �� ������1� �� ������!������ ��� ������ ������� �� ������ ����&��� �� ���������� �� ��������� ��� �������� ������ :�4 �������� ������������� ��4 ���������� ��� ����� �� �������� ���

,�� ��� ���� ��������� ���������� ���� ��� ��� ������ ��� �������%��� ������%��� ���� %���� ������������ ��� ������ �������� ��� ��� ���� ������������ �� ��������� �� �� ����������� ����� ���� ���������� ��� ��� ���� �� �������� ��������%�� ���� �������� ����� �� ����������� ������������

,� %������� ���������� ��� �������� ���������� �� ������ ��������� ���� ��� ����������������� %���� ��4 � ��4 �� �� �������������� �������� � �� ����� �� ���� 0��4��1� �� �������!��� 0��������� � )K ������������1 (�� ��� ���� ���� ��������� � �� &��� ���� ��� ���4�������� -��� %�� ���� ��������� �����4���� ����4����� �� �������������� ������� �� ������� ��� ���� ����� 0*��� ������ ����� �� ����!������������ �� ��������� �� �����1� ���� �� ��&�������� ���� �� ��� &�������4 �� ������� �������� ��� ���4 ������������ ����� �� ������ ��������,�� ��������� �4�������� ����� ��� ���4 :�4 ������� ���� 7��� ������*��� �� ������ ���� � �������4����� ���� �������%�� N���� ������� %���� ��� �������� �� ��*��� ���������� ������ ���� ��� �� ��� �� ��� ��� ���� ��� ��� ���� � ���� � �� ����� � � ���� �� ��� ����� (��� ����� ���� �� ��������� %�� ���� ������ ����*�� ��� �� �������� �� ���������� �������� �������������� ���� ��� �������� ���������� ������9����

(� �7��� ���� ��������� �� ������4����� ������ �� �������4 ������4 ��� ��� ������������� ��� �������� � ������� �� ���� ��� �� �� ������� �� �� ����%��� ��� 5�� ��� ���� �� ������������ ������� ���� ��� ������ �������������� ���������� ���� ��� ����4����� �� ���� ��������� �������%�� ���� �� ������� �� ����������

Page 18: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

A ����������� ����� �

,�� ������4 ��������� ��� ���� ��������� ��� ������4����� �����!����� ��� �������� �������!����� ,�������� ��� �������� ���9����� ��� ���� ��� ��������� ��� ������� �� ��������� ���� ������ ��� ������� ����� ���� ����� ��� �� ����������� �� ��������� ��� :�4 ����� �� �����5� ����� %�� ���� �� �� �������� �������� %�� ����� �������� �� ��� ��� � ����� �������������������������� (��� ����� ����� � �� �� ��� ��� �� ��� ��������� %�� �� ������ ���������� �� ��!���� �� ������������� ����� �� ����� 5���� �������� ���� 7��� ������ ���� �������� �� ���������W �� ������ �� �������� ��� ������� �� ������ ��� ��������� ��� ���������� ���������� ����������� ����� ������ ���� 7��� �������� ���� �������� ������ ��� ������������

(��� ����� � ���� ���� �� ����������� ��� �� ��� ���� ���� ������ ��� �"� �� /� ����� ������ ������������ ���� �� ������� ������ �� ���� ��������� ��� ������������� �� ����������������� �� ���������� ���� �������� �� ��������� ��� ��������� ������4����� ����!����� ,����� �� ������� ��F������� ������%�� �� �� ���������� ��� ��� ���������� ���!������ ���� %����� � ��������� �� ���� �� ������� 0�����1� �������� 0�����1 �� � ��������� �� ����������� �� ����� ����� N���� ������� %����� ����� ����� �� ��� ���� ��� ��&� ��� ������������� �� ��������� ��� � ��������� �� ����� �� ���� ������ ���� �������� �� �� ��������� ������ ��������� �� ������ �7�� �� ��������� �� �� ����� ������

)�*�� ����� � ��� ����� �������� �� ������ �� ������������� ���� ����� .������ ;�����0;,1� ���� �� ����� �� ���&�� 5$++$;(.$T5��V 5�������� ��� ���� ��������� �� �����0��������� �� � �������� �� ����� �� ��������� �� �������1 ��������� ���� �� ������� ��� �������������� ��� ����� ������� �� ���� ������� �4������ %�� ����� ��������� ���� �� ������ � �������� $� ���������� ��� ���������� �� � ��������� ���� �� ����� ������ ������� ������ ������� ������� �� ��� ��� �� ���� ����� �������� ��� ������ �� ����� � ��� � ������� ��� ����������� �� � ���� ������������ ,� ������� ��� �������� �� %����� ������� %�� ���� ����������� �� ����� �

����� � � ������������ � ��������� �� � ������������ ����� �� �����

$*� �� �������� ����� ������� ���� �� �����4�� ������ �� �� ��� ��� � ���� ������ ����������� ������4 �� ��� ���� ����������� ���� �� ������� )� �������� ������� ���� �������������� ��� ���� ��������� �� ������4����� ��� :�4 ����� �� ����� �� ���� ��������� �� ������ ������ ���������� ����� %�� ��� ������� ��� ����������

(��� �� ������� ������ ���� ���������� ��� ��� ���� ��������� �� ������4����� ���� ��:�4 �����

(��� �� ������ � ������� ���� ������� �� ����� ��� ��� ���� ��������� �� ������4�������� ������� ������� �� ������������ ��� ������������ �� ��� ��� ���� ��������� ��! ��

)�*�� ���� ��������� ��� �� � ������ ���������� ��� ��� ���� ��������� �����!�����

����� � � ������ �� ������������� ����� �����

,� �������� ������ ��� ������4 �� ��� ��� � ����� �� ����� �� �� ������� �� � ��� ��� ������������ � �� ���� �� L���� ����� ������ � ��������%�� �� ������������ ����� ��� ��������������!����� ����� �� ����� �� :�4 ����������

(��� �� � ������� ���� ���������� �� ������ �� ����� �������������

Page 19: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

��� ���� ������������ ��� ��������%�� ������������� ��� ���������� �� ������ �� ������������� ����� �� �������� %���� � �� �������� ����� ��������� �� ����� ��� ��� ������ � ����������

����� ! � "������ �� ���������� ��� #�� �����

5���� � ��� �� ����� ������� ����� ���� � �� ���� �� ����� ����� ��� ��� ��������� ��������4����� �� :�4 �����

2��� �������� ���� ���������� ��� ��� ��� �� ��������� ��� �������� ���� ��� :�4 ��������������� �� ���!���������� 5���� ������ � � ��� �������� ���� �� ��� ��� �� ������������������ ���������� ��� ������ ��������� ���� �� ������ ����������

���� ���� ���� ����������� � ��� ��� ��� %�� ������ �� �������� ��� ����������� ����� ���������

)�*�� ���� ������������ ��� ��� ��� �� ������*������ ���������� ��� ���� ������� ���������������� ��� ������������ ��� ���� ������� �� ��� ������ ���������

����� $ � %�&������������� �� ���������

,��������� ��� ������4 ��������� ���� �� ������� �� � ��� ��� ����� � �� ����������� ���������� �4�������������� �*� �� ������� ��� ������� ��������� �� �� ������ �� �������� ��������� ����� �� ��� ������ ������� ��� ��� ���� �����������

(��� �� ������� ������ ���� ���������� ��� ��������� ��� �4��������� ��� ��� ���� ����������� ��� �������� ���� �� :�4 ����� �� �� �� ��������� ��� ���������� ��� ����� �� ����������� �� :�4 �����

���� ���� ��������� ��� �4�������������� �� ���������� ��� ��������� ������� ���� �� ��!� ��� �� ��������� �� ���������� ��� ������ ��������������

)������� ��� ��������� �� �� ��� ��� �� ������������ ��� ������ ����� %�� �� ���������� ������������ ��� ������������ �������� ���� ����������

)�*�� ���� ��������� ��� �� ������������ ��� ��������� �� �� ������*������ ��� ���� ��������������� %�� ���� ����� ������� ;��� ����������� ��� �� �7�� ��������� ��� ��� ��� ����������������� ��� ����������� ����� ��� ������ �� ���� ����� �7�� ������ ;��� ����� %����*������ ������ � �� ������������ ����!������� ��� ���� ��������� ��� ��������� �� �� ������*���������� ������������ �� ����������� �����*%�� �� �������� �� �� ������ �� ����� ����������

Page 20: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

B ����������� ����� �

Page 21: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� ������

�� ��� ��� � �� ������� ���� � � � �� ��� ���� ��� �������� ����������� � �� ������ � ��� ����� �

!����

O

Page 22: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim
Page 23: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� �

"������ ����

,�� ��������� ���� � ������4����� �� � ����� ����� ��� ��������� ����� �������� ���� ������������ ��� ��������� �� ����@��� �� �� ���������� ��� ������������ ������%��� ,� �������������4������ �7�� �� �������������� ������ ������� ������������ ���������� ���� �4������ ����������� ��� ������������ ���� ��� ������ �������%��� ���� 7��� ����������� �������� �� ������������� �������� ���� �������

,�� ��������� ������ ������������ �� ��&����� ��� ��������� ������������ 5��� �����*�%�� ��� ��9������� ������ �� ���� ��� ��� ���������� ���� �� �� � ��� �� ���������� �� ����!���������� ����� ,� �"� � ������4����� ��� � �������� �� �� ���������� /� ������ ��������*�� ������������� ��� �������� ������ ���� �� ������� 5� ��������� � ����� ��&����� �� �������������� � ���� � �� �������� (��4 ������ ������4 ������� 7��� ���������� ,� ������ �� ����%�� ���������� �� ��������� �� �������� ��������� �� ���� ��� ����� �� ������� ;�������������� ���� ������ �� ����� �� ��������� ������ �� ����� ������ �� ����������� ,� ���� ��*�������� � �������� �� ��������� �� ���� ��� ������ ����������������� �� ��������� �� �������������������� T;�- +>BV 5�� ������ ������� ��������� ��������� ����� ��&������ �� ������� ����� <� �4����� ������������� ���� ��� ��������� ��� �� ��� ��� � �������������� ������� ��� ���� �������������� ���������� �� ������ ��������������� �� ��� ��� ��%��� ������4��������� ��� ����������� ������%��� ����� ������ �� ������ ���� %�� ��� �������������� ��������������

,� ������������ �� ������ �������������� ��� ��� �������� �� ��� ��� � ������� ���� ��������� �� ���������� )��� ���� ����������� ��� ������ �� ����������������� ���� ����������������%�� �� ������� �� ����� �� ������� �� ���� �� ���� ������� 5� ������� � ������� ������ �������4 ��������� )� �9��� ���� ������� �� ������������ �� ������ ��� ��������������������� �� ��������� ��� :�4 ����� �� ����� ����%������ �� ������� ��� ��������� (� ����� ����� ����� ��������� �� ��*��� ������������ �� ������ �� ����� �� ����� ,� ������ ������������ �������� ������������ ������� ���� ��F���� �� �"� � ���������� ��� �� ��� � ������ ��F���� ����*��� �� ������ ������%�� �� ������������ �� ������ 5���� �� ������ ���� ��%����� ��������������� �� ���� ��������� ��� �� ������ �� ����� �����*%�� � ���� ��� ��������� ��������TRKK+>�V �� ���� ��� ������ �� �������� T$$X>�V

(��� �� ������� � ������� ���� ���������� ��� ��� ���� ��������� �� �� ������������ ������ ������� �� �� ����� (��� �� ������� ������ ��� ��� ���� �� ������� ��� �� ������������

I

Page 24: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

P ������� �� ���� �������

�� :�4 ����� �� ����� �� ������� ���� ��������� 5���� ������������ ��� �� ��� &���� �����!���� �4������ ���� �� ������������ ���� �� ���������� %�� ��� ����������� ��� ��%��� ����������� ���� ���������� ���� ���� �� ������� ������ �� �� � ������� ���� ���� ����������� ��4������� �� ����� �������� ���� �� ����������� ����� %�� ��� ��� ���� �� ������������ ����� ���� �������

(��� �� ������ � ������� ���� �������� ��� ��� ���� ��������� �� ������4����� ��� :�4����� (� �� �7�� ������� %�� ���� �� � ������ ����� �� ������� �� �� ������ ���� ������������ �� � ������ �� ���4 ������� ������� (���� ����� ���� ���������� ��� ���������� ������� �� �� ������� ���� �� ������� ������� ����� ���3��� ��� ������4 ����� ���� ���� ���!������� ��� ���������4 ������������ ����� ����� %�� ��� ��� ���� ��������� ��������� ���� ������������� 5�����!�� ����������� ��������������� �� ��������� ��� ���������� ����������� ���������4 ������� �� �� �������� �� ������� ���� ��� ��� ���� ������4����� ����� � ������*����������� T25>AV� ������������ �� ��������� T..HOV� ��� (��� �� ���4���� ������ �� �� � ����������� ���� ����������� ��4 �������� ��� ���� ������4����� ��� :�4 ����� )�*�� ��� ����� ���������4 ������4����� ��� �������� ������������ ��� ��������� ���� �� ��������� � ������ ������� ������ 5�� ��� ���� ���������� � ��������� ��� ������������ ������ �� ��������� ���&�������� :�4 ����� �� �����

Page 25: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� �

# � �� ��� ���� �� ������� �������� � ��� !����

(��� �� � ������� ���� ���������� ��� ������4 %�� ��� ��� ����� ���� �� ������� �� ����!��4����� ����� ��� �� ������� 5���� �������� ��� ������� ����������� ������ ���� �� �������������� ��� ��%��� �� ����������� ����� �� ����� ����� %�� ����� ��� �������� �� ����@��� $������� ��� &����� ������������� ���� ������� ����� ���������� ��� %������� �� ������� ����� ���&�������� ���������� ������������������� � ����������� ��� ��������� ��� �������� �� ����@���

;��� ��������� %�� ���� ����� ������� ���� ���� ����������� ��4 ��� ���� ��������� ���������� ������4 ���� ��� ����4����� ���������� ��� ��������� ����� <�� ����� ������� ������ ���� ��������� � ��� ����4����� ���� �������%�� 0���������Y�4�������� ��&���1 ����� ���� ��� �� ����� �����

,�� �������� ����� �� ���� �������%��� ��� ���������� ��4 �������� ����� ��%��� �� ���������� ���� ��� � ��� �� ����!���������� � �� ������� ����� ,� ��� ��������� �� ������4���������� �������� � ���������� ��� ��� ��� ���� ��������%���� �� ��������� ���������� ��� ���������3�� �� ����� �� �� � ��� �� ������� (� ����� ����� ������������� ��� ������ �%�� T$8HBV0�� C�� �1

)�*�� �� ��� ��������� �� �������� %�� ��� ������������ ����� � ������4����� ������ ������� ���������� ������ ���� ��� ����� �� ������� ����� �� ���� ������ �� ���������� �� ������������� �� ������� ��� �� ����� ���� ����� �� ��������� ��������� �� ������������� ���������� ������ �%�� ���� �������� ����� 5� %�� �����*� %�� ������4����� ����� ��� ��� � �'�� �����!������� ���� ��� �������� �������� ���� ���������� ��� �� ��������� ��� ����� �� ������� ������� ������

�'� �������������� �� &���� �� �����(�

5���� � ��� �� ��������������� �������� ��� ��������� ����� �� ����� �� ������� ������!��� ������� �������� ��� ����������� ���� � ��������� ��� �������� ����� (�� ����� �� ���� ��� ����!���� ����������� �� �� �������������� ���� �������� ���������� ����� ��� ������ �����!�7���

,� ��������� ��� ���������� ��� ����� �� ������� �������� � ��������� ��� ���������� ��������� %�� ��� ��� ������ ���� �� �� � ��� �� ������� /� �4���� ��9������ ����� �� �����������

H

Page 26: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�> ������� �� ���� �� ���� ���� � ������ �� ��������� ����

������������

������������

��������

��������

�����

�����

������

������

����

����

���������

���������

��������

��������

������ ����

�����

�����

�����

�����

�����

�����

�����

�����

������

������

�����

�����

����������

����������

�����

�����

��������������

��������

����

������ Plans de

Document

Scènes

Images de

la vidéo

montage

vidéo

��� � Z +������������ ������ �%�� ���� �������� ����� �������%��

����� ����� ���4 ����� �� �������� ���� ���4 ������� �������� �� ����������� �

Z ��� ����������� �������� �� ��������� ������������� �� � �������� ������� �� ������� ���� ���

Z ��� ����������� ������������� �� ����������� ������������� �� � �������� ���������� ��������� � ��� ������ ���� �� ������

(����� �� ���������� ������� �������� ��������� ��� ��� ��������� �� �������� �� ��������*!������ ��� ���������� ��� ����� �� ������� T)->B� ,+,HI� �C>�� 5- ,-HH� .>�� + �HIV5�������� ��� ��%��� ����� �� ������ ���� �� ��������� ��� ���� ���� ������ ��� �� �������� �������� �����! ����������� �� ������� ��� ���4 ������ ����������� T+E�+>�� + �HIV��� ��� ��� ����!������� ��� ������ ����������� T .>�� �C>�V (������� ��� ����� ���� ���!���4��� �� ������ ��� ������������ �� ��������� �� �� ������ ��� ������������ �� :�� ����%��T- >A� -KKHH� 5- -�HH� 5- ,-HH� ; U>A� R(HI� 2+R.>>� (- >�V �� ���� ��� �� �������� ��&��� �� ��������� T5+UR>�V )� �� %�� �������� �� ��������� ��� ����������� ����������������� ������ %�� ��� ������� ��� ������ ��� �'��� �� ���� ������ ��� ���������� ��� �����������*%��� ��� ��� ������ �� �������� ��� ��� ������������ ��! �� �� � ����� �� ��� ����!������� T8G,>>V (��� T-K.+HHV� �������� ������� ��� ������ � ����� ��� ������������ ����������� �� �� ������ ����������� ��� �� ������ �F�� A( ���� �������� � �� ���� ��� ������ ��� ����������� ������������

C���������� ���� ������� �� ������� %�� ���4 ������� ������ �� ����������� ������������ �������� �� �������� �� �� ��������� ��� ����������� ����� �

Z ��� ������ �� ������ ��� ������� �� ����������� ��

Z ��� ��� ���� ��������� ������������ �� ��������� �� �� ������ ��� �� :�� ����%������������ ���� �� ��� �� :�4 ����� ���������� �� �� ����� �� ���� 0���!���������1

[ ���� �������� ���&����� ��� ��� ���� ������ ��� ��� ������4 �� �������� �� ���� ��� ��!� ���� ��������%��� 2��������� ���� �� ���������� ��� �� ��� ��� ���� ��� ��� ��������� ����

Page 27: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

���� ������������� �� � ��� �� ������� ��

���������� �� ���� �������� ���� �� ��������� ��� ����������� ���������� ���� ��F�������� �����!������ �� %�� ���� ����� � ��� ������ �� ���� ������4��

)�*�� ���� �����%���� %�� ���� �� �������� �������������� ������������ ��� ��� ����������4����� 2.)5J/(� TX/-+>�V �� �"� � �� ��������� �� ����� �� ������� ��%����� ������!��*������ �� ���4 ������� ���9��� � ���� �� �����������

()")" ������� ��� �������� �� ����� �� ����*� ��� ������ ��+��� *������

5�� ��� ���� ������ ��� ��� ������� � ������ ��� ����������� �� �������� ��� ���� ������� ��� ���� ����%��� �� ��9������ ����� ��4���TURH�V� ��� ��������� ������ �� ����� �� ��������� �� ��������� ��� ����������� ����� 2����� ��� ��� ���� ��� �� �7�� ����� � ���������4�������� �� �� ������ ��� ����������� �� �������� � ������ ��� ������ �4������� �� �� �������� ���������� )� ������ �� ��� ��� ���� ����� �� L���� ���� ��������� �� ����� �4��������������� ������� ��� ������� (��� ��� ��� ���� ��� ���� �������� �� �������� ���������� ����������� �� �� ������ ���� ���� ��� ����� ������� �� ��������� ��� �� ��9������ ��� ���������������� ���4 ������ ������������ 5���� ��9������ ��� �������� �� �� ������� �������� �

Δ(t) =a∑

j=0

|ht(j) − ht−1(j)| 0�1

���� ht �� ���������� �� �� t!���� ����� �� a �� ������ �� ������� �� �� ����������

��4���/ �� 56/�� 7�5,�8

(��� T .>�V ��� ������� ��������� ��� ��� ��� �� ��������� ��� ���������� ��� ����� ��������� �����%��� ��4 ������ ����� ������� ���� �� �� �������� ������������ 2.)5!�> 5���������� � ��� ����� ��� ���4�������� ��� ����������� ���� �������� �� ������� .K- 5 �%������� �� �� ����� ��� ������� �� ���� ����� �� ������ ������%��� �� ���� � �%�� ���� ��� ������������������ �� ���������� ���� � ����� ��� ����������� �� �������� �� ������� .K-$���� %���� �� �������� ������� ��� �������� ���� � �%�� ���������� ��� ����������������������� � ���4 ����� �������������� ���� ���4 ������ ���������� ���� �� ����� ,� ���������� �������� ����� ��� ����� ����������� .K- ���� ���� ��� ������� ����� �������� ����!���� � �� ���� )�*�� ����� ����� ������� ��� ��������� ���� � ���� ��� ������ �� �������� ��������4 ������ ��� ������������ ��� �� �������� ������� ����� ��� ���� ��������� �� ����� 5���������� ���� 7��� ������ �� �� ������� �������� �

dn(t) =1n

n−1∑i=0

D(t+ i, t− n+ i) 0A1

�W D(i, j) ���������� �� �������� ������� ��� ����� ����� ��� ������ i �� j

,�� ������� ��������� ����� ��� ���� dn ����� ������ � �� ���� ���������� � �� ��������!��*�� �� ���������� ���� ��4 � ������� �� dn %�� �� ��������� %����4 � %�� �� ���������$����� ��� ���������� ��� �������� ���� � � �� ��� %�� ���������� � d16 �� ���� � d8 +��� � � ��

����� ������������ ������������� ������

Page 28: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�A ������� �� ���� �� ���� ���� � ������ �� ��������� ����

�������� ���� ��� �������������� ������������� � d2 ����� �� ���������� ��� ���%����� �� ����%�� ��� ����� �� ���������� ��� ���������� ����� � ������� -��� %�� ��������� �� �������� ������� ������������ *���� %���� � �� ��������� ��� ����������� �� ���� %�� ������� �� �� ������ ����� ���������� ��� ������� ������� �� ����� �� �� *� ��� ����������� ���������� ��� ��������� �������� ��� ������� ��������� �� ������� �� ���� ������ ��� ���������� ��� ������ �������������� ���� ��� ����������� ���������� � � � �%�� ������ �� ��9������ d4 ��� �������� ������� ���!��*�� +� ����� ������ ��� ���� ������ %�� �� ������ ����� ������� �������������� ������������� ����� ����������� ����� �� ����� �� �� ���������� 2��������� ����� �������� ��������������� ��� ��� ����� �4���� ��� ������ ���������� �� ������ d4 ������� ���������� �� ���������� %�� �� ���������� �� ���� �������� ����� �� ��������� ����� �� ���������� ������������������ ��� ������� �� �� ��� ��� � �������� ,������ �� *� �� ���������� ���������� �� �������W d4 ������� ���� �� �������� ���� ��!������� �� ����� &���� ����� �� ��������� �� �� ����������

,� ��� ��� �������� ���� ��� ������� �F� � ��� ��������� ���� �������� ���� �� ������������ ���� � .����� S H��A>% �� �������� S H�>% )� ������ �� ��� �������� ���� ����\������� ���� �� ��� ��� ����������� ���������� � .����� S B��>% �� �������� S IB>%

9 �� 79 ���8

(��� T+ �HIV� �������� �������� �� ������� �� �� ��������� ��� ���� ���� ��� ������ � )K����������� ������� ����� ��4 ����������� �� � �� �������� �� E������9 � ��� �� ����� ��9�!������ �� ������ ��� ������ �� ������� ,� �������� �� E������9 ��� ��� ������ �� ������������� ���4 ��������� �� ������ ����� ����� ��� � �%�� ����� ��� ���4 ���������� �� ���!���� ���� �� ���� ���������� �� ���� ������ �������� � ���� ��� ������ ������ �� ������� ��������)�*�� �� �������� E������9 ��� �� ���� ������ ������ ����� ��� ���� ������� ��������� ���!��������� ��������� (��� ���������� ��� ������� �4������� ��� ������ �� ������� ��� �������� ���� / ���� ��� ������ �� ���� � )K ���� ��������� �� ������� �� �� ��������� ��� ����,������� � �������� ����� ����� ���� ��� %�� ��� �������� �������� ���� ��� ������ �������� ������� �� ������� ��� � ����� �� ������� ��������� �� ��������� ��������� �� ���� ���!���� ���4 ������ ����������� ���� �7�� ���� (� ����� �� ��������� ��� ������ �� ������� ��������� ��&������� ���� 7��� ������������ ��������� )� ������ �� �� ������������ ��� ������������ � ����� �� ��3�� �����*������ �� �������� ����� �������

(��� ��� �������� + �� ������� ��� �������������� �� �� �������� �� E������9 ���� ���!����� �� ������������ ��� ��4��� �� ������� ����� ��� ����� �� ���4 ������ ����������� 5������������������ ��������� �� ��������� �������� ��������� �� ��� ��*��� ����� ���� �

hK(A,B) = Ktha∈Aminb∈B||a− b|| 0�1

�W A� B ���� ���4 ��������� �� ������ �� K ��� �� k−���� ��������� ��������(��� �� ��� ����������� �� �� �������� �� E������9 0K = 11 ���%������ � ������� �

h(A,B) = maxa∈Aminb∈B ||a− b|| 0B1

$����� �������� *4� �� ������ ��4����� �� hk � h �� ������� �� ������ K �� ��4��� �� A ������ �������� � B ��� ���������� � h ��� � �%�� ����������� ��� ��4��� �� ������� �� ����� ������������ ��� ������ �� K �� �� ���������� Ki,j �� ����������� i, j ��� ������� ��� �

ki,j =∑

ax,y∈A

fi,j(ax,y), |i| ≤ Dx �� |j| ≤ Dy 0O1

Page 29: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

���� ������������� �� � ��� �� ������� ��

�W fi,j(ax,y) = 1 �� ax,y ∈ A �� bx+i,y+j ∈ B+ ���� B+ ������� ������� ���� ���%�� �� �������h Dx �� Dy ���� ��� ��������� ��4������ �������� ��*������� ����� ��� ���7��� ���� ��%������� ������� �������������,� ������ �� h ������ �� �� ��������� ������ ��� ������� � �������� �� �������� ��� ��4����� ������� �������� �� �� ��������� ������� ����� 5�� ����������� ���� �������� ��� �������� 8× 8 �� ������� $*� %�� �� ��������� ���� ���� ������� ��4 ���������� �� �� ������ ����� ��� �������� ��� ����� 4×4 ������� �� ����� ��� ����������� �� ����������� �� � �%������ ,��� ������������ �������� � �� ������ %�� ��� ������� ����������� ��� ������������������� ��� ��� ���7��� ����������� � ����������� �� � �%�� ���� D� ������� %�� ��� ���������� ���� ������� ������������� �� ����� �� � ��� ���������� ���� ������ $���� B � ��������������� �� ������������ ��� ����� 4 × 4 �� ���� ���������� ��� ������ C���������� ���������� ��� ����� ��� ������� � �� ������� ���������� ����� ������������� ��� ������� �������� �� �������� ���� ������� ,�������� �� �� ��������� ��� ��� � ����������� ���� ������ ����������� �� �9�� �� ��������� �� �� ������ ��� ����������� ��� �� ���� ��� �� �������� �� ���������� )� ������ �� ��� ���������� ���� �� ����� ��� ������������ ��� �� ��� ���������� �� ������ �� �� ����������

��� ��������� ��� ������������ �F� ��� ��� ����� ������ � ���� ���� ������� �������������� HA �� �>> % �� ������ �� ����� H� �� �>> % ���� �� ��������� ���� ��� ����� ��� ����9������ ��� �� ������ ����� ������� �� APIIO ������� ���� ������������ ���������

$�� �� :�������; 7$:,�8

,�� �������� ���� T�C>�V� ��������� �� ������� �� �� ��������� ��� ���������� ��� ����� ��������� ���� �� ����� �� �� �������� ������������ 2.)5J/( A>>� 5���� ��� ��� ��� �������� �� ������� �� �� ��������� �����!�� ���� ���� ��%��� ��� ��9������� ��� ����������� ���������� ���� ����������� �� �� ������� ��� �� �� ��� ��� ������� ���� T .>�V ,�� ��������������� %�� �� ��9������ ����� ��� ����������� ��� ��� �����%�� ���� ���������� %�� �� ���!������� ������� �����!����� 0���� �%������ 011 5���� �������� ��� ���� �������� �� ����������� �� ������ 5���� ������ ��� ��*��� ��� �

g(n, n + k) =∑x,y

|In(x, y) − In+k(x, y)| 01

�W In(x, y) ���������� �� ������ ����������� �� ������� n �� ����� �� ����������� x�y ��g(n, n + k) ��� �� ������ �� ���������� ����� ��� ������ n �� n+ k ���� k ≥ 15���� �� ������ ���� ��%����� ��� ������� �������� �� ������ ��� ����������� ������� ������������ ������� .K- ���� ������� �� ���������� ������������ �� ��������� (��� ��� ����������� ������� ��������� ��� ������ �� ��9������ ��� ����������� �� ������� ���� �� ������������ ����������� ����� 5���� ������ ��� ��9������ �� ����� ��������� ���� T .>�V �� ������� ������ ����� �������� �

dRGB(X,Y ) =M∑i=1

|hx(i) − hy(i)| 0I1

���� hx ������������� � �� ���������� ������� �� ������� X ��������� M �������

,� ����� �� �������� ���� �� ��������� ��� ���������� ��� ����� �� ������� ��� ����� ��� ��

Page 30: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�B ������� �� ���� �� ���� ���� � ������ �� ��������� ����

��������� ��� ������� �� �� �������� �������� �

HistDif [i] = dRGB(j, j − 1)M∑i=1

|hj(i) − hj−1(i)| 0P1

�W hj ���������� �� ���������� ������� ��� M ������� �� ������� ������ j ���� �� �����,� ���� � �� �� �������� HistDif �� ����� �� ����� ������� �� ��� ���� �� �� �������� ������� $���� %����� ���������� ��������� ��� ������������ ��� ��� ��������� ���� ����� ���� ����������� ����� 5��������� ���� ��������� ����� ���������� ��� ������� ��� ������ �� ����������� ������ ������� ��� �� �������� HistDif ���� ��� ���7��� �� ������ W �

HistDifconf [j] = HistDif [j] ∗ 1W

× rect

(j

W

)0H1

���� rect(x) ={

1, |x| ≥ 1/20, �����

,������7� ����� ����� ����������� ��� �� ������ �� ������ �*� ���������� ��� ����� ���%������������� �� ������� ������� ���� �� �� � ��� ��������� �� ������ �� ��� �� �� ��������� �������������� )�*�� �� ������� �������� ��� �� ������� ��������� ����� �� ��� ������� ���������� �� �������� ���� ���� �� ��� ��������� ���� ������ �������� ����� ���������� ���������(��� �� ��� ��� ����� ��� ������� ��������� ��� ��� ��� %�� �������� � ������� �� ��������������� �� ������ �������� 0���� ������� H1 �

HistDifderivconv [j] = [1,−1] ×HistDifconv[j] 0�>1

$���� ��� ���� �������� ���� �� ������ �������� ������ ����������� ����� ��� ����� �� ���� ����������� �� ������� ������� ���� �� ���������� �� ����� ���� �����

)� �� %�� �������� ��� ����������� ����������� ��� ������� ��������� ��� ��� ��� ���� ���!���4� ���������� � �����%��� �� ������ ������������ �������� 0���� ������� H1 ��� �������������� �����%��� 5�� ���������� ���� ���� � ��� ������� ������ %�� ��� ��� �� �� ���������*���� �������������� ��� ��� �������� ��������� �

εB(f(x)) = infy∈B[f(x− y)] 0��1

δB(f(x)) = supy∈B[f(x− y)] 0�A1

�W B ��� �� �������� �� ������

������ ��� ������� ��� ��� �� L����� ��� ��������� ������� ������ %���� � �� ��������� �������������� ���������� ���� �� ������ ��4 ��������� �� O>% �� ��� ��������� �� P>% )� �� %���������� �� ��������� ��� ����� �� ������ ��� �� ������� �� HO% �� �� ��������� �� IO% ��� �������� ����� �� 2.)5J/( A>>�

()")( ,������������ ��� �������� �� ����� �� ����*� ��� ������������� �������� �� �� �����

-������< *����!�����< 3� 3��� �� )= *���� 7-*�3*��8

(��� T5- ,-HHV� ��� ������� ��������� �� ��� �'������ �� ��� ���� ���������� ������ ������� ����� ��������� �� ��������� ������ �� �� ������ �������� ��� �� ������ �F��

Page 31: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

���� ������������� �� � ��� �� ������� �O

�( ���� �� ������� �� �� ����������� #��&����#� ����������� �������� �� .���� ���� ����������� ��� ��������� �� ��������� ����������� �� ������� �9�� �� ����������� �� �� ������������ ���������� ��� ����� �� ������� ���� ��� �������� ���������� )�*�� �������� � ��������������� ���4������ �� �� ������ ��� =���� �������7�� � ������ ��� ��&��� �� ���������� � �������������� ����� �� ������� ������������ ��������

,� ������� ������� �������� ���� ���� ��� ������� �������� ������������ �� ����������� �� ����&���� ��*��� ����� �� ����������� �������� �� .���� ,� ����������� �� .���� ��� ��*������ �

Rφ[I](u) =∫ ∫

DI(x, y)δ(u − x.sin(φ) − y.cos(φ))dxdy 0��1

���� I(x, y) ����������� ��������� �� ����� �� ����������� (x, y) ���� ������� I� δ �� ���������� (���� �� φ ������� �� ���&������(��� �� ��� �������� ��� ��4��� �� ������� ���� ��������� ��� �� ������ �� (���� �� ��� ����������� ���&������ tan(φ) = −p

q ���� p �� q �������� (��W �� ����������� �������� �

Mp,q[I](m) =∑k,l

I(k, l)δ(m + q × k − p× l) 0�B1

���� M(m) �� m−���� ������� �� �� ����������� �� ��&����� I(k, l) ����������� ��������� ������� �� ����������� (k, l) ���� ������� I �� m+ q× k− p× l ���������� �� ������ ��*��� ����� ��������� �� ���&������ �� �� ������ �� m

(��� �� ����� ��� ������4� ��� ������� ��� ���� ���� �� ������ �� E��� ����� ������ ����4�� ���W ���%������ �������� �

Mhp,q(m) =∑

t

M(m).Cp,q(t−m) 0�O1

���� C ��� �������� �������� ��*��� ��� �������4

,����������� �� ��������� �������� ��� ������� ������ �� �� ����������� �� ��&���� /��� �������� ��������� ��� ���������� �� ������ �( �� ��������� ��� ����� ��� ������� ����������� ���������� ������� ���� ��� �� ������ ���� �������� �� ������� �� ����������� ������� <�������� ������ �� ���������� ������������� �� ���F����� �� ����������� ������� ���� � �%������� φ �� ���&������ �� ���4 ������ ����������� ��� ��*��� ��� �

ρj(m) =covk[M t

j (m),M t+1j (m+ dmj)]

sqrt(vark[M tj (m)].M t+1

j (m+ dmj))0�1

���� K �� ������ �� �� ���7��� ���������� M(m+ dmj) ��������������� �������� �� �� ���&����������� �� ������� �� ����������� dmj �� cov �� var �������������� ��� ��������� �� ������������ �� �������� ������%���[ ������ �� ������� ��� ������� ������ ��� ��� ���F������ �� ����������� ρj � ��� ������� ��������%�� %�� ���� �� ��� ���� ��������� ������� �� �� ��� � �������� �� ���� �� ���!���� ��� ������� �� ρj ������� ���� �� �� � )� ������ �� ���� �� ��� �� � �������� �� ������ ������� �� �� �� �������� ���� ��������� ���� ������4� ��� ������� ��� ���F������ ������������� � ����� 5���� �� ������ ���� ��%����� ��� ������� ��������� �� ������� �� ��������� ��������� ��� ���������� ��� ����� �� ������� ���� ��� ��� ������������ �������� ��� ����!�������� �� ��������� ������ ������������ ;��������� ��� ������� ρ ���� ���� �������� ��

Page 32: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

� ������� �� ���� �� ���� ���� � ������ �� ��������� ����

���� ��� �4���������� ����� ����%��� �� ��� ������� �� ���������� ��� ������� ��������� ρ 5��������� ���������� �� ������ �� ������ �� ���� ���������� ��� ����� ���%������ ��������� ��������� ������� )�*�� �� ���� �� E��@��� T-��PPV ��� ������� ���� ������� ��� ���������� �� �������� ��� ������� ρ �*� �� ���������� �� �������� �� ��� ����� ���������� ����� %����� ������ ���� ��� �� ���� �� ���� ���������

,�� ����������� �� ���� ��� ���� ������������� ��� �� ��� ������� ���� �� ���������� �� ��������� ����� ����� %�� ��� ����������� ������������ ���� ������������� ��� ��� ��������� ���� ��������� ��� �������� ����� )�*�� �� ������� ������� �� �� � �'�� ��������� ���������� ���� �������� ��� ���4�������� �� �� ����� ��� =���� �������7� � ����������� �7�� �� � �%�� ���� ��������� ������������� ������� ,�� =���� �������7� ������� 7��� ���������� � ��� ����!������������ ����� ��������� �� ��&�� �� ��������� ��� ����� ��� ������� �� ������ ��� ������������ ������� �� ρ ,�� ������� �� ρ ����� ������� ����� ��4 �������� ���� � ������� ���� ����������� ������������ �� ��������� ������ �� �� ������� ������������� ��� =���� �������7�

,�� ��������� ��� ��� ����� ��� �� ������ ����� ������ ��� ��/;$ ,�� ��������� ������� �������� ����������� �� ���� %�� ������ ��� ����������� ��������� ���� �� ����� ��� ��� ���������������� ��� ���%��� �� ����� �� �� *� �� ����������� ���������� ���� ���� �����4��������2��������� ��� ������� ����� ��� ������ ���� ������� �� �� ��������� ��� �� ����� ���� ����� �������� ��������� ��9������ ������ ����� ��� &������4 ���������� �� ���� ��� ����� ������ ����4����� ,� ���� ���� �� ����� ������ ��� �� ������������

*���� �� �� ��� 7*�,�8

) -���� �� ( ������� ���������� ���� T- >AV ��� ��� ��� �� ��������� ��� ���������������� ����� ��� �� ���������� �������� �� ��������� ,� ��� ��� �������� �������� � ���������� ���F������ �� �� ����������� �� ���������� �� :�� ����%�� ��� ���������� ��� ����������������� �� ���� ��� ������������ �� �� ������������ �� ����������� ��������� ����� ��%���������������� ��������� ����� ����� I(pi, t + 1) ����� ��� ����� �� ���� �� ����������� ����� t�� t+ 1 �

I(pi, t) = I(pi + v(pi), t+ 1) 0�I1

���� v(pi, t) = (u, v) �� ������� ������� �� ��4�� pi ����� ��� ������ I(pi, t) �� I(pi, t+ 1)

[ ������ �� ����� ��� ������� ��������� �� ��������� �� � ��� �� ��������� ��� ��������������� ������ �%�� �� ������ ������������ � A ���������� �� ���� ���� L � l �

vΘ(pi) =2L−1∑

k1,k2=0

cL,k1,k2ΦL,k1,k2(Pi)

+l∑

J≥L

2j−1∑k1,k2=0

[dHj,k1,k2

ΨHj,k1,k2

(pi)

+dDj,k1,k2

ΨDj,k1,k2

(pi) + dVj,k1,k2

ΨVj,k1,k2

(pi)]

0�P1

���� ΦL,k1,k2(Pi) �� ����� ��������� �� ΨH,D,Vj,k1,k2

(pi) ��� ������� �������������� ���=������������������ �� ���������� �� :�� ����%�� ,� ������ ��� �����!�� ����� �� �������%�� �� ���������� ���� �� ���� ����� L �� ������ ���� ���� �� ���� *� l,� ������� ��� ���������� �� ���������� � ��������� ��� ���F������ ��� ���������� cL,k1,k2

Page 33: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

���� ������������� �� � ��� �� ������� �I

�� dH,D,Vj,k1,k2

���� ���� ��� j, k1, k2 ��� ������ ��� �� ������������ ����� �������� ��&������ �

Θ = argminΘ

∑pi∈Ω

ρ(I(Pi + vΘ(Pi), t+ 1) − I(pi, t)) 0�H1

���� ρ(.) �� �!���������� �������

,� ��������� �� ������������ ������� ���� ��� ������� ��� ����� ��� �� ����� ���� TD-HOV$���� ����� ��*�� �� ������ ������������ �� :�� ������%�� ���� ��� �� ������������� �� ��!���� ������������� ��� ������� ��������� ��� ���� �������%��� ����� ���������� � �� ��������� �������������� ����� ��� ����� ��� ���������� ��������� ��� ��F����� ���� ������� ���������� ����� ��������� ���������� �� ������� ��� ��� �� ��������� �� ���� � �� �������� ����� ������!���� 5���� ����%���� ��� ������� *4��� l � � ���� ���%������ �P �� ��� �����%���� �� ����������� ������� ��� ���������� �� ��������� Θ ��� ����� � �AP ���\� %�� ��������� ��� ������������� ������ ��� �������� ��� ���F������ ������������ Θ� ��� ��F������� ������������� ���||Θ|| ���� ������� ��� ��������� ��������� %���� �������� ���� ���� ��������� �� ���� �� ���������� ����� ����������� ��� ������� ���� ����� � �� ��� ��� �� ���������� �������� ���������� Θ ,� �������� �������� � ������� ��� ������ xn� ���� ������ ������������ {x1, x2, . . . , xN}��� �� ������ ��� ��� �������� xn−i� ����������� �

xn =p∑

i=1

aixn−i + en 0A>1

���� p ������� �� �� ����������� ai ��� ���F������ �� ���������� �� en �������� �� ����������,�� ���F������ ai ���� ������� ��� �� ������������ �� �������� �� ���������� %�������%�� e2n/��� ��� ������� ��������� �������%��� �� �������� �� �� ���������� �������� ��4 ���F�������� ������� Θ (��W en = (e1n, . . . , eln) ��� �� ������� �� ���������� �������� ��������� ������F������ �� ���������� �������� ������� � ������ ��� ���F������ ������������ �

en = Θn −∑i=1

paiΘn−i 0A�1

,� ����� �� en ��� ������ ���� �� ��� ����� ������������� ���� ��� ���F������ ������������ �������� ����� $����� �� ��� ���������� ���� ������ �� �������� ��� ����������� ����� ����%���� ������� ���� %��� �������� ��� ���� �� �� ������ ��� ������� �� en

,�� ��������� ���� ��������� �� �������� �� ����� ����� ��������� ,�� ������� ��� ����������4 ������ ����� � ��� ����� ���� &������ �������� ����� ����� ��������� B ������� �� �������� ����� ����� ����� ����� �� � ������� ��� �� &������ �������� �� ������ ��� �� 90% ���� ��������� �� 100% 6���� � �� ����� �� ������ ��� �� 100% �� �� ��������� ��4 ����������� 99% 5��������� ��� ������� ������� � ���*���� ������ ���� �� �� ������ %������� ��������� ��������� ���� �� ������ ����� ������� ;��������� �� ��������� ��� �������� ����� ��������������� �� ��������� ����� ����� ��� ��F����� 5���� ����%���� ��� ������� ��������4������� 7��� ���� �� ������

*��� ��� �� ������ 7*�"8

(��� T-KHV ��� ������� ��������� ��� ������ � ���� �� ��������� ��� ����������� ������� �� ��������������� �� ��������� �� �� ������ ����� ��� ������������ �� :�� ����%�� 5����

Page 34: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�P ������� �� ���� �� ���� ���� � ������ �� ��������� ����

�7�� ������ � ��� ��������� ���� T-KKHHV ,�� ������� ��������� %�� ������������ �� ���!������ �� �� ������ ��� �� ������ �F�� A( ��� ��F���� ���� �� ��������� ��� ���������������� ���� ��� ����= ���� ������� ������������ ��� ���������� �� �� ������ � =���� ��������� ��� ����� �� ���� �������� �� ������ �( �� ��������� �� �� ������ ,� ��� ��� ����!�������� �� ��������� �� �� ������ ��������� .�. 0.������ �� �����!.���������1TD-HOV5���� ��� ��� ��� ����� ��� �� ������������ ���� �������� �� �!����������� ���� ������� ������������� ������� �� ��� �� ���������� ����������� �� ���� ���� ��� =���� �� ������� �W���%������ ������%�� �� ��������� ����� ��� ������ ,�� ������� ��������� �� ������ �F�� ����������� � ����������� wΘ 5� ������ ��� ��*��� ���� �� ����� p(x, y) ��� ������� ������� �� ��������� (xg, yg)� ��� ���%������ �������� �

wΘ(p) =(a1 + a2(x− xg) + a3(y − yg)a4 + a5(x− xg) + a6(y − yg)

)0AA1

���� Θ = (a1, a2, a3, a4, a5, a6)T �� ������� ��� ���������� �� ��������� � �������,����������� ��� �������� �� Θ ���9����� ����� ���4 ������ ����������� I(t) �� I(t+1) ��������� �

Θ = argminΘ

∑pi∈I

ρ(DFDΘ(pi)) 0A�1

���� DFDΘ(pi) = I(pi + �wΘ(pi), t + 1) − I(pi, t)� I(p, t) ����������� �� ��4�� �� ����� p ���������� I � ��������� t �� ρ(x) �� �!���������� �������

(��� ��� �������� ��� ������� ��������� �� �������� �� 2�@�� ����� ���������� 5���� ����!���� ρ(x) �� �� ������� Ψ(x) ���� ��*���� �������������� ��� �

ρ(x,C) =

{x6

6 − C2x4

2 + C4x2

2 �� |x| < CC6

6 �����0AB1

Ψ(x,C) ={x(x2 − C2)2 �� |x| < C0 �����

0AO1

���� C �� ���������,� �������� �� 2�@�� � ��� � ����� �� ��������� �� ������������ ��� �������� ������ ���� ����������� ���������� ,����������� ��� ������� ��� ��� ������ ����������� �W ��� ���������� ����������� ���� ������� � ��9������� ����������� �� ������� 5�� ��9������� ����������� ������������ ��� *������ �������� )� �9��� � � �%�� ������� �� ��� ��� ��������� �� ������������������ �� ������� $� ������ �� �� ���� ����� ���������� �� �������� ���� ����� � ��������� ������� ��� ���������� �� ��������� ������� �

Θ0 = argminΘ0

∑pi∈I

ρ(ri)ri = I(pi, t+ 1) − I(pi, t) + ∇I(pi, t). �wTheta0(pi) 0A1

���� ri �� ��9���������� �� ������� ����� �� �� �������� DFDΘ(pi) �� ∇I �� �������� ������� ������������� ��������� ���� ������� I �� ������ �� �� ���������� �� ���� �����,�� ����������� ����������� ���� �������� � ������ �� ������������ ���� �� ���������� ���������� �

Θk+1 = Θk + ∇Θk 0AI1

,� ��� ��� ����� �� ������ �� ������������ �� Θ 0���� AI1 &��%��� ������ ���� �� ������� ������������� �� ���� ������ �� ��� ��� �����7�� ����%���� ������ ������������ �����*� � ����������

Page 35: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

���� ������������� �� � ��� �� ������� �H

,�� ������� ��������� �������%��� ��� ��������� ���������� �� �������� �� ��������� �������������� ����� ��� ����� ��� ������� ���������� %��� � �%�� ����� �� ������������� �������� � �%�� ����������� �� �������� �� �� ������������ 0���� �%������ A1 ��� �%�������� � �

ΔΘ = argminΔΘ

∑pi

12wtr

2i 0AP1

���� wi = Ψ(ri)ri

����%���� �� �� ����� ���������� � �� ������ �� ������� %�� ���� �� ���������������� Ψ �� �������� ������� �� �� �������� ρ �� ri ��*�� ��� ���%������ A5���� ��� ��� �%��������� ��������� /.,+0/���������� .�!?��� ��� ,���� +%�����1

(� ����� ��� ������� ��*������� �� �������� Sd� �� ��������� ������ �������� ����� ���������� �� ������ pi ������������ wi > ν� �W ν ��� �� ����� *4� 0��� 0.21 ,� ������ �� ��4���������� ������ �� �������� nd� ����� �������� �� ���� ���� �7�� ���� ���� � ��� ����%�������� ��������� �� 0 ���� �� ��� ��������� (��� �� ��� ����� ���������� ���������� nd �����'������ ��������� %�� ���� �� ��� ����� ���������� ������� �� %�� ������ �� ����� �� ���������������� ��� ���4 ����� �� ����������� 5��������� �� ��������� ��� ������������ ��� ������� ��������� �������� %���� ���� ���� �7�� ���� ��� �������� %�� ������������� �� ��������� ������������� ����� (t − 1, t), S0 �� (t, t + 1), Sd ������� 7��� ���� �� 5���� ����%��� �� ������������������ �� ��������� ����� ��������� �� ���� ��� ����� �� �������� �� �� ������ ����� ��� �������� φt = nd

n0 ��� �������� ��� ���������� �� �� ������ ��� ������� �� φt� ��� ������� ����

����� �� ���� �� E��@��� ��*�� ����� �{Sk =

∑kt=0(ζt −m0 + δmin

2 ) (k ≥ 0)Mk = max0≤i≤kSi ��������� �� Mk − Sk > α

0AH1{Tk =

∑kt=0(ζt −m0 − δmin

2 ) (k ≥ 0)Nk = min0≤i≤kTi ��������� �� Tk −Nk > α

0�>1

���� m0 �� ������� ��� φt� δmin �� ���� ������� �� ������� %�� ���� � ��� � � �������� �� α�� ����� *4�5���� ��� ��� ������ �� �������� ��� ����������� �� ���� ���� ������ �� ������

$� ������ ��� ���������� ��� ����� ��� ��� ����� ��� �� ����� ������ ���4������ ����� �������� � )KA ,�� ������� �� ������� ��� ���� ��������� ���� ����� �� ������ �� ������������� ������� ��� ���������� �� ����� �� ������ �� �� ��� ��� %����� ��������� ���� ���������� ��� �� ������ ������� �� ������ 256× 256 ��4���� �� ���� ������� 1.5s ��� ��� ��������� ������� ���� � ���� � �� ��������� 0.9s �� ���� �� ������� ��� ������������ �� ��������� ��%�� ���� ������� ��� �������� �� ��������� ��&� �������� ���� �� :�4 � )K ��� �������������� �� ��� ��� �� ��������� ��� ����������� ������ ��� ������� ��� *4� α = 0.1 �� δmin = 0.2���� ��� �%������� AH �� �> <�� ������ ��� ��������� ��� ��������� ���� ����� �� ������� ������� ������� �� ���� ����������� ��� ��� �� ����� �4���� �� ���� ������ �� ���� ����� %�� ������ ��������� ������4 �� �� ��� ���� ���� �� ���� �� ������ �� ������������ �� ���������� ������������� �� �� ���� �� ���� �����

)��4 �� *����!����� 7)*�,�8

5��������� ��� ��� ���� ������������ �������� �� ��������� �� �� ������ �����%���� ��� ��������� ��� ����������� ����� ���� ��� :�4 ����� ���������� � )KA� ���� ������ ��������

Page 36: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

A> ������� �� ���� �� ���� ���� � ������ �� ��������� ����

��� ���� �� ����� ��� �������� � ��������� ���� T(- >�V(��� ��� �������� ��� ������� ��������� ��� ��� ��� ������������ �� ��������� ����� ��������������� ������� ��� ���������� �� ��������� �� ������ �F�� �( ��� ����������� ���������� ��������� �� �������� �� ������ �F�� � � ����������� ���� ���������� �������� ������ ������ �F�� � ���������� ���� ������4� ���� ���� ������� ��4 ���������� ������4���� �� ������ ,� ������ �F�� � ���������� ��� ��*�� ����� �{

dxi = a1 + a2xi + a3yi

dyi = a4 + a5xi + a6yi0��1

���� (xi, yi) �� �������� �� ������ �� ii�me �����!���� ���� ������� ��������� (dxi, dyi) �� ���!���� �� ��������� � )KA �������� �� �� �������� �������� ���� �� �������� �� �� �����!�������� ������� ����������� ���%������ ���� �� ��� ��� ������ �� Θ = (a1, a2, a3, a4, a5, a6)T

�� ������� ��� ���������� �� ���������� � �������

+���� ��� ������� �������� ���� ��� ����������� �� ��� ����� �������� ���� ������� �� ���� ����������� �� �� ������ ����� ��� ��������������� ��������� �

pan = a1 tilt = a4

div = (a2 + a6)/2 rot = (a5 − a3)/2hyp1 = (a2 − a6)/2 hyp2 = (a3 + a5)/2

���� pan ���� ��������%��� tilt ���� ����� �� ������������ rot ���� �������� �� hyp1,2 ���� ��������%��(��� �� ��� ���� ��������� �� �� ������ �������� ��������%�� 0�������������� �������1����� �� ��������� a1 0�������������� a41 ������������� �� ��������%�� 0�������������� ���� �����������1 ����� ��� ���� ���� ��� ������ ����� ����4 � =��� (��� ��� ��� ����� ������*4�� ���� ��� ���������� ���� ����

,� ������ ������ �� ��������� �������� ���� ��� ������� ��� �� ������ � � ����������������� ���� T2+R.>>V 5� ������ ��� ��*�� ��� �(

xi

yi

)=(p1 00 p1

)(x�iy�i

)+(p3

p4

)0�A1

���� (x, y) ��� ����������� �� ����� ���� ������� ��������� (x�, y�) �� (p1, p3, p4) ��� � ����!������ �� ������5� ������ ������ �� ������������ ��� ���������� ����� ������4�� �� �� ������ ���%��!���� ���� �������� A(� ��� � ���������� ������� ���4� z ������� ��� ��������� (��� ��������� ����� ��� ������� ��� ������� �� ������ � � ���������� ���� ������� �� ��������� ���� ������ �� ��������� ��������� �� ������������ ������ �������� ���� T2+R.>>V $���� %������������� �������� %�� ���� ������� ��� ����� ������������ �� ��������� �� �� ������ ���������� ����4 ���������� �� ������ � ���������� 5���� ����%���� ��� ������� ��������� ������������ ��� ���������� �� � �������� ��� ����� �� ������� ��������� � �� ���� ��� ������� ��� ���������� �� ��������� �������� �� ������ �� �������� ������� %�������%�� ��� ���������� ��������� ��������� �� ������ �� �� ������ �� �����!����� ����� �� ����� ���� ��������� �� ���� ,�������� �� �������� ���� �� ��������� ��� ����������� ����� �������� ����������� �� ��9������ �� ������ ������� ����� ��� ���������� �� ��������� ������� ���� ��������� �� ���� �

Δan(k) = |an(k) − an(k − 1)|� n = 1, . . . , 6 0��1

Page 37: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

���� ������������� �� � ��� �� ������� A�

���� an(k) �� ��������� �� ��������� �� ������� k �� �������� n

���� ��� ������� �� Δan ���� ����������� ��� ������� � ��� ������ �� ��������� Δref %������ 7��� ���� �� ������� ��� �������� ���� �� ��4���� ��� ������� $���� %���� ��� ���������*������� ��� ������� ��������� A(k)� ��*��� ����� ���� �

A(k) =6∑

n=1

Δ∗an(k) 0�B1

���� Δ∗an �� ������ ���������� �� Δan(� ����� ��� ������� ����������� ��� ���4 ��������� ��������� �

Z Q(k) %�� ���������� �� ������ �� �����!����� ����� �� ����� ���� ������� �� ���� ������ k ��

Z MSE(k) %�� ���������� �� ����� ��� ������� %�������%��� ���� ������� �� ���� ������ k

)�*�� ���������� ��� ����� ��������� ��*���� ���� ��� ���� ���������� �� ��� ����� ���� ���������� ����������� �������� ,� �������� ��������� D(k) ����� ������ ��� ��*��� ��� �

D(k) = (Q(k) + α)(MSE(k) + α)(A(k) + α) 0�O1

���� α > 0 �� ��������� �� ���� ������� *4� � �5���� ����������� ����������� ��� ������� �� D %�� ��� ������� �������� �*� ���� ������� ���������� �� ��� ����� ��������� �� ���� �� ������� ��� ������ �� ������ ���� ����������� ������� ������� ��� ������� ��������� ��������� %���� ���� ���� ����� ��� ����� ������� ����� � O ������� lmin = 5� �� ���� � �� %�� ���������� � >O ������� �� ������ $,Y+)5$� /� ��� ����� ��������� �� ����*�� %�� �� ������� ����� ���4 ������� D(i − 1)�� D(i) ������������� � ���4 ���� ���������� ��� ��������� � �� ����� *4� $����� �� �� �������D(i)/D(i − 1) ��� ��������� �� ����� ����� D(i) ��� ������� ����� ����� ��� ������� ���� ��������� �����

,�� ����� ����� ���� ��������� ��� ��� �9������ ��� ��� �4������ ���� ������ ������� ������� �� � �������� ��� ����� ,� ���� �� ������� �� ���� ���������� � ������ ,�� ���������������������� �� �� ��� ��� ���� �� ������� �� 94% �� ������ �� 89% �� ��������� ;������ ������ �7��� %�� ��� ������� ��� ��� �������� � ������ ����� ���� �� ������� ����� ���� ���������� ����� ��� ���� ������ ��� ������������ �� �� ��� ��� 2��������� ���� ����� �� ���� %�� ������� �� ������ �� ������������ �� ��������� ��� ���� ����� 5���� �� ������ ���� ��%����� ���������� ����� ��� ������ ���� ��� ��� ��� ��� ���� ������ ����

������< *����!�����< >�?��� �� )����/�� 7�*�>),�8

(��� T - R(>BV� ��� ������� ��������� ��� ��� ��� ���� �� ��������� ��� ���������� ������ �� ������� ����� ��� �� ��������� �� ��� �������� 5� ��������� �������� � �4������ ��������� ������������� �� :�4 ����� ��������� /� ������ ����� ���� �� �������� �� ������� ���� ���������� ����� ���� �� ������� ���� �� ������� �� ��4���� �� ��������� �� �������� ��������������� ,� ��� ��� �������� ������ �� �������� ��� ���������� ��� ����� ���� ��� �������� ���� / �� ,� ��� ��� �� ��������� ��� ���������� ��� ��� ������ ��� ��� �������������� �� ��� ��� �������� ���� T(- >�V ,�� ��������� �4����������4 ������� ���� ����= ������������ ��4 ��������� ������� ��� ��� ������ ������������ � �� �������� 2.)5J/( A>>B ��

Page 38: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

AA ������� �� ���� �� ���� ���� � ������ �� ��������� ����

��� ��� %�� ��� ������� �������� ������������ ��� �������� �� ��������� � )K %�� �������7��� ���� �� �� ������� �� ��������� ���� �� ��%����� ,� ��������� ��������� ��� �� 73% ������ ������ �� 65% �� �� �������� ������ ��� �� 74% ���� ��� ��������� �� 57%

()")- ,������� ��� ��.������� ���+���

,� ����������� ��� �������� ������ �� ���� �� ��������� �� � �������� ��� ����� ��� ������ %�� �� ��� ���������� ��� ��� ������ ��� �� ����� ������ �� ������� ��F������� ��� ������ ���� �� %�������� ���� �� ������������ %���� %������ �� ���������� �� �� ����� 5���� ������� �� �� �������� 2.)5J/( ;��������� �� ��� ��F���� �� ����������� ��� �� ��� �������� ��� ���� ����� ����� ��������� ���� 2.)5 )� �������� ��� ��������� ��� ���� �������� ����������� ��� �� ������ ��� ���4 �������� � �������� �� ���������� /� ��� ������� %�� ��� ������������ � ��������� �� ����� ������� 7��� ����������� ��� �� ��������� ��� �9��� �������4 0:�� ���������� � ���1 �� %�� ��� ������� ��� ��! �� ������� 7��� �������� ���� � �%�� ���� ������������ ��������� ������ ������ �� ��� ������ ������� 0������ ������ ��� �'���� ���1/� ���� ������ ����������� �� ����� ��� �������� � ���� ������� %��� ����� �� ��������� ������� �� ��������� �� ��� �������� T;) +>OV ����������� ����\� � �� ��������� �� ������ �������������� ���� �����������

(��� TE��>AV� �������� ������� �� ���������� �� ��������� �� ����������� ����� � �� ����������%��� ���� � ������ ��� �� ������� ������ �� �� ���� ������� �������� /� ������ �� ���������� �� ���� �� �7�� ������� ���������� ��� ��� ���� ��&� ������� �*� �� ����� ���*� ������������ �� � �����,������� �������� ���� �� ������ ��� ��9������� ������� ��� ���� ����������� ���������� /�� � �������������� ���4 ������� �������� ��������� ��� ,�� ������ �� ������ ��� ���4���������� ��������� �� ������������ ������� ���� %�� �� ������ �� ���������� �� � ���������� �� ��������� ����������� �� �������� ��� �� ��� ������ �� ��������� �� ������������ �� ���������

,�� ��� ���� ��� ���� ������� ���� ������� �� %�����*�� ��� �������������� ���� ��� :�4����� ��������� �� �� �������� �� ����������� ����� ���� ��� ��� ���� ������ ��� ���4�������� ����������� ��� ������������ ����� �� ����������� ����� ���4 ������ ������������ ��� ������������ ��� ������� ,������� ����� ���4����� �� �� ������� ��� ������� �������� ��� ��9������� ������������� �� � �%�� ��4�� ���� ���� ��� ������� �������� ����������� �� �� ����� 5�� ����������� ��������� � �� ����� ���� �������� �� �� �������� �� ��� �� ����������� ������ 5��������� �� �������� ����!7��� ������ ���� �� ����� �������� �

z(k, k + 1) =1XY

X∑x=1

Y∑y=1

Dk,k+1(x, y) 0�1

���� Dk,k+1(x, y) ={

1, �� |Ik(x, y) − Ik+1(x, y)| > T1

0, ������� I(x, y) ����������� ��������� ��

����� �� ����������� (x, y)� T1 �� ����� �����*�� �� X �� Y ��� ���������� ������� �� �����������������

,�� ��� ���� %�� �� ���� ����������� ��� �� ����� ���� ������ ������ ��� �� �������������� ��������� ���� ���� ��� ������� �������� �� �� ����� ��� ������� ����� ������������ ����������� �� ���� �����%��� ��� ��������� �� ���� �� �������������� ��� ����� ����� ������������� k ���� ��� ����� ����� �������� k + l ,� ��� ��� �� ���� �� �������������� ���

Page 39: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

���� ������������� �� � ��� �� ������� A�

����� ���� 7��� ���������� ��� ���%������ �������� �

Dk,k+l(i) = D(bi(k), bi,m(k + l))= minj=1...ND(bi(k), bi,j(k + l))

0�I1

���� D ��� ������ �� ��9������ �������� bi(k) �� ���� �������� i �� ������� �������� k� N �������� ����� �� ����� �� �������,���%�� ���4 ������ ������������� �� �7�� ���� ����� �� ������Dk,k+l(i) ���� ����\� ������� ��%�� �� ���� ��� �� ��� �� ��� ���������� ����� ���������� ����� ��� ���4 ������ �������� k �� k+l$����� ��� ���������� ��� ������� �� Dk,k+l(i) ���� �� ���� ������� �� �� �������� �� ���������������� /� ��� ����� �������� �� �������� �������� ������� �� �� ������ ������ ��� D ;����������� ��� ��� %�� �������� � ���������� ��� ������� �� D �������� 5�� ��������� ������� ���������� ds

k,k+l(i) ��� �� �����%�� �� ���F����� ����������� ci ��� ��� �7��� ������� )�*���� �������� ������ �� �������������� z(k, k+ l)� ����� ������� ���� 7��� ���������� �� �� ��������������� �

z(k, k + l) =N∑

i=1

cidsk,k+l(i) 0�P1

���� N �� ������ ����� �� ����� ���� �������

$���� ����� ������� �� �������� �� �� ��������� ��� ���������� ��� ����� �� ������� ������������ ��� ��9������� ��� ���� �4�������� ���� �������� �� ��������� �������� ������� ����������� ������ � �� ������ ������ ��� ��� ���� ��&� �4��������

$����� �� ��� ��� �������� ��� �������� ��� ����� ��� �� ������ ��������%�� ,� ��������������� ��� ����� �� ������ �� ��4���� �� ������������� ���� ���4 ���� ���� ������� �*��� ������� ��%����� ��� ���4 ���� ���� ��� �� ���� �������� ,�� ���4 ���� ���� �������������� ���� �

Z E���� ��� + � ������� ����� ���������� ����� ��� ������ k �� k + l

Z E���� ��� S � $������ ����� ���������� ����� ��� ������ k �� k + l

,������� ��*��� ������� ��� ������������ �� ���%��� ��� ���������� �� �� ������� ��������������� �

PM =∫

ZS

p(z|S)dz 0�H1

PF =∫

ZS

p(z|S)dz 0B>1

���� ZS �� ZS ��� ����������� ��� ������� �� ������������� ������������ ��4 ���� ���� S �� S�p(z|S) �� p(z|S) ��� ��������� �� ������������� ��������� ������������ ��4 ���� ���� S �� S,������� ������� �� �������� �� ����������� �������� ������� �� ��������� ����� ���� �

PE = PE(k)= Pk(S)PM + Pk(S)PF

= Pk(S)∫ZSp(z|S)dz + Pk(S)

∫ZSp(z|S)dz

0B�1

���� Pk(S) �� Pk(S) ��� ������������ ���� ��� ���� ���� S �� S ���� �� ����� �������� ��������k �� k + l

Page 40: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

AB ������� �� ���� �� ���� ���� � ������ �� ��������� ����

5���� ��� ���� ���� S �� S ������� ��� ��������� �� ���������� ��� ���� ���� ����� ��������� �

Pk(S) = 1 − Pk(S) 0BA1

���� �������� ��*��� �� ����������� Pk(S) ����� �� ������� �� �� ����������� � � � �� P ak (S)�

���� �� ���� ��� S �� �� �� ����������� ��������������� Pk(S|ψ(k))� ���� �� �7�� ���� �������� ��� ������ k �� k + l (��W �� ����������� �������� �

Pk(S) = P ak (S)Pk(S|ψ(k)) 0B�1

���� ψ(k) ��� ������������ ��������������� �4������� �� �� �����$���� ���� ��4������ �� ���������� �� ���������� �� ���� ��������� �� ����������� ��������������� PE ��� ����� �� ���� �������� �� ������� ����� ��� ��������� �� ������������� ���������� � ����� ��� ���� ���� 5� ������� ��� ����� ������� � �� ����� ������������ �*� �� ���������%����� ��� ���4 ���� ���� ��� �� ���� �������� ���� �� ��������� ������ ,� ����� �� ��������*���� ���� 7��� �������� �� �� ������� �������� �

p(z|S)p(z|S)

S<>S

1 − Pk(S)Pk(S)

=1 − P a

k (S)Pk(S|ψ(k))P a

k (S)Pk(S|ψ(k))0BB1

���� P ak (S) �� Pk(S|ψ(k)) �������� � ������ �� ���%������ 0B�1

,�� � ���� �� ���� �� �� ���������� �� ��������� ������� ��� ��� ��������� ��� ��� ������ ������� ����� ���������� O ��%������ �� B ������ ����� ��9������ � *��� ���� �� ����!����� &������ �������� �� ������������ ,��������� �� ��� ��%������ �������� �>B ������������������� �� A� ���������� ,�� ������������ �������� �F� ��� ��� �� ��������� ������� ������������ ���� �� ������� �� �� *���� A 5�� ��������� ���� ���� �������������� ��������� ��� ���

.����� ��������2���������� �������� �>>% �>>%2���������� ���������� P�% IH%

��� A Z ����������� �������� �� ��������� ��������%��

��� ������� ��� ��� ���� �� ������� �� ������ ������ /� �������� ������� ��� ��������� � ���������� �� ����� ��� ��� ����� �� ������� �� 2.)5J/( ��� �4�����

�'� ��(��������� �� ��)���

$���� ����� �������� �� ��������� ��� �������� ���������� �� ����� �� �������� ���������� ���������� �������� �� �������� �� �� ������������ �� ������ ����� ��� ��������� ���!%������ �� :�4 ����� (��4 ������ �� ����������� ���� �������������� ��������� ���� �� ���!�������� �

Z �������� � ����� ��%����� ��� ����� ��� ��������� ��� �� ���������� ��� ����� �� ���!���� ���� �� ������� ��� ��������� ����� ��������� T2U>B� J.->>� G,HO� GG,HV

Z �������� � ����� ��%����� ��� ����� ��� ��������� ��� ���4 ���������� �����������T;,- +>B� RKDK>�� RKK+>�V

Page 41: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

���� ���������� �� ��!��� AO

$����� �� �������4 ������� ������� ��� � �������� ��� ������� �����*%��� �� ����� ����������� ������� ��� ��������� ��� ������ �� �������� T$$X>�V� ��� ������ ����������� �� ���4��!����� T�E/+>AV ,�� ������ ���� ������� ��������� ���� ������*��� 2����� ��� ������ �� ���������������� ����� �������� ��� �� ������������� ��������%�� �� ��������� (�� ������4 ��� �������� ����� %���� � �� ������������ �� ������ ������%��� �� �������� ���������� �����*%������� %�� ��� &������4 ��������� TE5�R+>�V ���� �� ��� �� �� �������� ������������ 2.)5J/(��� ���� ��� *��� T.+>�V� �� ������ ��� ��������� �������� T,� >B� E+>�� RKDK>�� RKK+>�V ������� ��� ��� ���� ������ ��� �� ������ �� ����� ������%�� ���� ����������� ��� �� ������������������ ��� �� ���� � ������� �������*%�� T$$(+>�� 5+,U>A� ,X5HPV

/����0 1�����0 ��������0 ���+� �� 1��2* 3/1�+4(5

,� ��� ��� �������� ���� T�E/+>AV �������� � �������� ��� ���������� ��� ����� �� ����������� � ������*�� ��� ����� ����� ��� ������ ����������� �� ���4������� ,��������� �� ���������4 ��� ��� �������� ���� �� ����� �� �� �������� ������������ 2.)5 A>>A 2��� ���������� ��� ��� ������� �� ������� �� �� ��������� ��� ����� ����� ���� �� ������� ������ ������4�������� �� ������������ ����� ����� ���� �� ������ ������ ��� �� ��������� ��� ����� �������� ��� ������������ �4������ ������������ ,��4�������� ��� ������������ ����� ����������� ��� ���������� ��� ������ �������� �� ������ �� ������4 �� ���� ���� �� ����������� HG���� ������� ����� %�� �� ����������� HGDiff

� %�� ���������� � �� ��9������ %�������%�� ��� ����������� �� ���4 ������ ������������ 5���� ������ ��� ��*��� ��� �

HGDiff(n, n− 1) =

255∑i=0

(HG(n)(i) −HG(n− 1)(i))2

Max(HG(n)(i),HG(n− 1)(i))0BO1

���� HG(n)(i) �� ������ �� �� ���������� �� ������4 �� ���� � ������4 i �� ������� n�Max(HG(n)(i),HG(n− 1)(i)) �� ��4���� ����� ��� ���4 ������� ��� ����������� HG(n)(i)�� HG(n− 1)(i)5� ��4���� ��� ����� ������� ����� ������� �� ������������� ,�� ������� �� HGDiff

������������ ����� ��������� � �� ����� ��������� ��*�� ��� �

Th =Max{HGDiff

(1, 0), . . . ,HGDiff(n, n− 1)}

1000B1

(��� �� ��� ��� ����������� ����������� �� ��� ��� ������ ��������� ������� ������� ���� ���7�� ���� ���� ��� ������� ��������� ��� �������� %�� �������� � ���������� ��� ������� ������������ ����������� �� �7�� ���� ��� ����� �� ��� ��� �������� ������� ��� �������� ���!������� ����� ��� ������� ������� �� �������� ������ ���� �� �������� ���������� ��� ����������� �� ����� ,������ ������4 �� ���� ������ ��� ���������� ����� ������� �� ����� �� �������������4 �� ���� ���� ����� ������� �� *� �� �� ���������� ��������� ����� ������������

,������ �������� �������� � ������*�� ��� ����� �� ������� ������������ �������� �� ����������������� �� ���4������� ,�� ������������ �������� ���� ����� ������*������ ���� �� ���������� �������� �� �� ������ �� ���� ���� � �%�� ���������� � �� ���������� ��� � ������������������ 0.K-1 �� �� ���������� �� ������4 �� ���� ,�� ������� ��������� �� ������ �� ��������%�� � ���� ���� �� ������� ������ �����'�� ���� ��� ������������ ��������%��� ������� ��!������ ��� ������� ������*�� ��� ����� � ������ ��� ������������� �� ��� ��� �������� � �4������ n������ ���� ���� �� �7�� ���� ����� i ���� � ��� ��������� �� ������ �� �������� � ���4

Page 42: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

A ������� �� ���� �� ���� ���� � ������ �� ��������� ����

�������� ��� ������ ��� ������ 2��������� ��� ������� �� ����������� ��� ��� ������ �� ������������ ����������� �*� �������� ������������� ������� �� ������*������ ���� �� ��� �� ��������������������� [ �� ������ �� ������ �� ��������� ���4 ������ �� n ������� ������������� � � �������� ������� �� ������ ���� �������� ,� ������ ������� ��� �������� ���� � ����� ��� ������ �*����������� ���� �� ���� i� ��� ������������ �������������� � �� ������ /�������� �� )4�������)�*�� �� �������� *���� ��� ����� � ������ �� ������ �� �� ��9������ ����� ��� ������� ����������� ���4 ������ +� ����� ��9������ ��� ���������� � �� ������ ����� �� ���� ��� ������*� ��������� ������ ���� �� ����������� �������������� ��� �� ���� ������

,�� ��������� ��������� ���� �� ������ �� ���� ��������� %���� ��������� �� ���������� �������� �� �������� �� ������*������ �� ������ ����������� �� ���4������� ������� ��� �����������,�� �4�������������� ���� ������������ ��� ������������ �� ��������� �� ����������� ����� ������ ������ ��� �� ������ ����� ���������� �BB ����������� ����� ,�� ��������� ������� ������ ������� �� % �� ������ ���� HB% �� ��������� 5�� ��������� �������� �� ��������� �������������� �������� �� ���������� ���� ����������� ,� ������ ���4 �� ������ ���4���%�� ��� ���������� �� ��������� ��� ����������� ����������

6��+��� �� ��+�+ 36�4-5

(��� T.+>�V � ��� ������� ��������� ��� ������ � ���� �� ��������� ��� ������ ���� ���*��� ����?������� �� ��� ���������� �� �������� ,� �� ��� ������ �� �� ��� ��� ��� �4���� ����� *���� �������� � 5���� �� ������ �� *���� �� �� �������� ������� �� �� ��� ��� �������� ���� ��� �� ��� ���������� ��� ����� �� ������� ���� � �4������ ��� ������������ ���!������ ������� �7��� ����� [ ������ �� ��� ������������� ��� ������� ��������� ��� ������ � �� ���4������ ���� ������� ��� ���������� �� ����� ,� �������� �� ��� ������ �������� � �������� ��������� �� ���������� �� ������� ����� ��� ����� 0-+51 ,�� ������ ���������� �� ��� ������� ��������������� ����� ��� ��������� ���������� �� ����� 0 +-1 5���� ���� �� �� ������� ����� %�� ������������ ���������� �� ����� ��������� ������������ ���� �������� �� ��&����� ��� �������������� �� ������%�� ��� ������ ��������� ���� �� �� �������� ����� ,� ������%�� �� ����� ������������ ����� ��� ����������� �������� ����� �� �������� �� �� ����� �� ������������ ����������� � ������ ��� ����� �� �� ����� 2����� ��� ������� ���� ����������� ��� �� ����� ,���� ��� �������� ���� �� ��������� ��� ���������� ��� ����� �� ������� ��� ����� ��� �� �������� �������������� ��� ����������� ������� ����� ���4 ������ ����������� �� �� ����� 5���������� ��� ��*��� ��� �

D(f i, f j) =∑

b∈bins

min(Hi(b),Hj(b)) 0BI1

���� f i,j ��� ������ ������4 i �� j �� Hi,j ��� ����������� ������������� ��4 ������ ������4i �� j(� ������� ������� ��� ��������� �� ���� ��� �������� ����%�� �

D(f i, f i−1) < Tcolor 0BP1

���� Tcolor �� ����� *4�$���� ����� ����������� ��� ���������� ��� ����� �� �������� ��� ������� ��������� �� ������� �����4�������� ��� ������ ���� ���� � ���� ��� ����� 5�� ������� �� ��������� ���� �� ������������ ������� �������� �� ���� ����� �� �������� ����� ���� K1 ,�� ������ ���� ������������� �4������� ����� �� ����� �������� � � �%�� ����� �� ���� ��� �������� � � �%�� ����� ���

Page 43: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

���� ���������� �� ��!��� AI

Détection plans

Plan 1 ...

Données Vidéo

Plan n

Sélection

Image clé

Estimation du mouvement du Plan

Durée du

plan

Entrée vidéo

Extraction

des descripteurs

Passe 1

Passe 2

Résultat dela segmentationScène A Scène C

Estimation de la

& Fusion PSB

Estimation BSC& Détection

PSB

Dynamique de Scène

Scène B

��� � Z +� ��� ������� �� �� ��� ��� �� ��������� ��� ���������� �� ������ � -+5 S -��@?���+ �� 5� ������ �� +- S �������� +���� -���������

��&� �������� +� ������� ��9��� �� ���� ��� ������� ��4 ������ ���� ������������ �������������� ���� ��� �&����� � ���������� ��� ������ ���� ����� ���� ��� ������� 5�� ������� �� ������������ ���� �� ����� �

∀j ∈ {a, a + 1, . . . , b},max(D(f j , fk)) < Th ∀fk ∈ Ki 0BH1

���� a �� b �������������� �������� ��� ������ �� ����� �� �� *� ���� ����� Ki �� i!�me �������� �� ���������� ��� ������ ���� �� Th �� ����� ������� *4�

,������ �������� 0���� *���� �1 �������� �� ���4�������� ��� ������������ ����� /� ���� ����������� ������� �� ��������� ������ �� �� ������� ���� ���� ��� ������� ��������� �� �������F�� �� ��������� � ���������� ��&� �������� 0���� �%������ 0��11 ��� ��� ��������

Page 44: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

AP ������� �� ���� �� ���� ���� � ������ �� ��������� ����

����������� �� �������� ������������ ��"�� � ���%������ �������� �

εj =∑

k∈blocs

√(u�k − uk)2 + (v�k − vk)2 0O>1

���� uk� vk ��� ����������� �� ������� ������� ������ �� u�k� v�

k ��� �������� ��� ������������� ������� ������� �� ki�me ���� ���� ������� ������4 j)�*�� ��� ������� ��*������� �� ����������� ������ %����� ��������� �� ������� �� ������������� ����� ��*�� ��� ��� ������ ��� �

SMCi =∑j∈Si

εj 0O�1

,� �������� � ��� �� �� ��� ��� ��� ���������� �� ��������� �� � ���4 ������ �� ������������ ������ ,� �������� ����� ������� ��� ������ �� �� ������ ����� ���4 ������ i �� j� ��*������ �

SCji = maxfx∈Ki,fy∈Kj

(D(fx, fy)) 0OA1

���� Ki,j ���������� ��� ������ ���� ��� ����� i �� j<�� ������� ������ ������� ����������� �� �� ��������� �� ������ �� �� �� ������ �� ���� ������������� 5���� �������� ������ ���������� �� ��4���� ��� ������� �� SC 0���� �%������ OA1��������� ���� ��� ���7��� �� ������ N (��W �

BSCi = max1≥k≥N (SCi−ki ) 0O�1

���� BSCi �� �� ������ �� ���� ���� ��������� ���� �� ���� i

[ ������ �� ��������� ��� ������� �� BSC 0���� �%������ O�1� ��� ������� ��� �����%��%������� ������� ����= ������� �� ����� ����� ����� ���� %���� ��������� ����� ����������� �������� ���������� ���� �� ��� ���� � �������� �� ����� $����� ��� ������� ���������� ��� ��4��������4 �� ��� ���%������� ����� ����� ��� ��������� �� ����� ����������� 0 +-1 (��� ������������ ����� ��� ��� ������ ��� ������� ������� ��������� ���� �� ��� �W �� ��������� ��������������������� 0�� �������������1 �� ���� ���� �7�� ���� ��� *����� ��� ������� �������� ���������� ��������� �� ���� ������� �

D(f i, f j) ≥ Tcolor 0OB1

���� f i ∈ Sc�nek �� f j ∈ Sc�nek+1+� �����%������ OB ��� ����*��� ����� �� ��������� �� ����� �������� ��� ���������� ����� ��������� ������ �� ���� ��� ����� �������

)�*�� ���� �� �� ������� ������ ��� ������� ��������� ��� �������� ������ �*� ������������ ������ ���� ��������� �� ������� ���������� )� �9��� ��� ������ ���� ���������� �� ���!������ ��� ����= ����� ���� ����= ���� ������������� ���� �� �� �������� ����� )� ������ ����� ������ ���� �� ������� ��� ���� � ����%�� �� %�� ����������� ��� ������� ���� ��� =���� ������ ��������� ����������� ��� ������� ������� %�� ����� ��� ��� ��������� ���� �� �� ���!����� ����� ��� ����� ��� ������� ��������� �� ������%�� �� ����� ���� � ����� ��� ������������������ ��������� ���� �� �� �������� � ��� 5� ����������� ����� ��� ������� � ������ �� ��������� �������� �

SDi =

∑j∈Sc�nei

SMCj∑j∈Sc�nei

Lj0OO1

Page 45: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

��"� ���� ���� AH

���� SDi �� ������ �� �� ������%�� �� ����� i� SMCj �� ������� �� ��������� �� ���� j���� �� �7�� ����� �� Lj �� �������� �� ���� �������������(��� �� ��� �W �� ������ �� SMC ��� ������ ���� ��� ������ ������ �� L ��� ������ ������� ������� ���� SD� �� %�� �����*� ��� ����� ������%�� ���� �� ����� $����� �� ������ ���� ������%�� �� ����� ��� �������� ���� � ����� ��� ������ ������������ ��� �� ���4 ��������� SD ��������� � ���4 ������ ������������ ��&������� ���� ����������� � �� ����� *4� ����� ����������� ����� ��� ���4 ������ ��� ��������

,�� ��������� ��� ��� ������� ��� ��� �4������ �� O *��� ����?������� ���� �� ����� ���������� �O �� > ������� 5�� �4������ ��� ��� ���� � ������ �� ������ �� *�� ������ (��������4������ ��� ��� �������� �� ���� ����� �� ������ ���������� �� ����� �������� �� �������� ,�������������� �F� ��� ���� ���� �������������� ����%������� ������� �� P � PP% �� ������ �� ��� � P�% ���� �� ��������� 5�� ��������� ���� ���� ���� ������ ���� �� �� ����� �� �� �� ���������� �������� ������ 2��������� ��� ������� �� ���� ���������� � ��� ������ ������ ������������ ������� ��� ����� �� �������� ��� �������������� �� ���� ��� ��� � �������� �������� ����� ����������� �������� �� ���� ��� ����� �������4

7����0 /�����0 8���� 9�����0 ����� �� 8��:� 37/89+4;5

(��� T;�- +>BV� ��� ������� ��������� ��� ��� ��� �� ��������� ��� ������ ��� ������!������ ��� ����� �� ������� ,� ��� ��� �������� ��� ����� ��� ������������� ��� ����Q%����( ����� ����������� ����� ,� �������� �������� � ������ � �%�� ���� �� ������� ��������� ��������� �� ����������� ������������ ����� ����� �� ��� �������� ��������� ��� �������� ��������4 ����� 5���� �������� ��� �������� �� ����������� ���� �� �������� ��� ������� ���� �� ��!�������� ��� ���4 ����� ���������� ��� ������5���� ��� ��� �������%�� ��4 �������� �� ���� ������� �� ���� &������4 ��������� ��� �������� �� �������� �� ��� ���� ��F���� �� �������� �� ������ �� ������ ,�� ��������� �4�������!���4 ������� ��� ����� ��� ��� ���� ����������� �� ��������� � 7��� ������� ��� �� ����������� �� ���� ���� ��� �

�'! *���������

(��� �� � ������� ���� ����� ������ �������� ��� ���� ������4����� ��� ��������� ������ ���4������� ��� ��� ���� ��������� �����!����� ���������� ���� �� � ������ ������� �������� �������� ����������� �� ��������� ������� �� � �������� ��� ������ ��� ��� ���� ����!��4����� ������ � �������� � �� ����� ������ �������%��� ����� ��� ������ )� ��������������������� ���������� �%�� �� ��� ��� ���� ���� ������� ������� ���4 ������� ��������� �

Z ��� ��� ���� ��� ������������ � ������ ��� ������ �� ���� 0����� �� �������1 ��

Z ��� ��� ���� ������*��� ����� ������ ��� ���������� ��� �������� ������ ������ %�� ������!������� ��4 � ��������� �� ������ 5���� ������ � ���� 7��� %����*�� �� ��9����������

)�*�� �� ����'� ��������� �� ��������� ��� ������������ ��������� ��� :�4 ����� �� ����� �*��� �������� ��� ������������ �� ������ ���� ������� %�� ��� ������ �� ��������� (��� ��� ������ B� ���� ���� ����������� ���� ��4 ������4 ������� ��� ��������� �����!����� ����� ������� ���� �������� ����������

Page 46: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�> ������� �� ���� �� ���� ���� � ������ �� ��������� ����

Page 47: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� �

# � �� ��� �� ��������� � �������� � ��� ��� $� �����

(��� ����� ������� ���� ����������� �� �������� ��� ��9������� ��� ���� ��������� ���� ������������� ���� �� ������� �� ��������� �� �� ������4����� ��� :�4 ����� ,�������� ����� ����������� �� ���4 ������4 �

Z �� �����0����� �� ��� ����� @ ��������� ��������� ����������� ��������� �������������

Z �� �����0����� �� ��� ����� @ ����� �������� ��� ��� ��� ���������� �������� �������� ���

,�� ������������ �� ��� ������ ������� � ��������� ��� ����������� ���� �� ��� �� ������������� �� ������� ������� ���� �� ������� �������� ��� ���������� ���4������ ��� ������������%������� ������ ����� [ ������ �� ��� ������������� �� ��� �������� �� ������ �� ����� ��� ��� ��������� ��� �4����� �

Z �������'��� ����%��/;��!����%��� �����/;��! �����

Z ������*�� ��� ����� ������ �� �����/����%��/-����/+������

)� �� %�� �������� ��� ������������ �� ��� ������� ��� ���������� �� ��������� �� ������� ������%�� &��� ��� �� ���������� �� ���� ������������ �� ������������ �� ������� ����� ������ ������������ �� ��� ������ �������%�� � ��� �� �������� ���� �� ������� �� ����%���� ���� �� ��� �� �������� ���� �� ������� �� ������� ��� ��� ������������� ��� *� ���� �� ������� ��� ���%���� ���� ����� ��������� ���� ��� *� ������ ������ X$J 5� ���� �� *� ���� %�� ����������� ��� �� ��������� �� ������ ������ ������� ������� �� ������ ��� ������������ �� ��� ������ ��������� ������������� ��4 *� �����/(/ %�� ����������� ��&� ��� ����� 0������� ������� �����1 ���� ���%���� ��� ������� ��������������� �� ��� ������ ����� ��� ����������

(��� �� ������� ��� ���� ���������� ��� ���������4 ������������ ��� ������ �������� ����������4����� ����� (��� �� ������� �������� 0������� �A1� ���� �������� ��� ����������� ��!� ���� ��������� ���� ������4����� ��� :�4 �����

��

Page 48: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�A ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

!'� "������ ��� #�� ����� ������+���

(��� ����� �������� ���� �������� ��� ��9������ ������������ ����� ���������� �������� ������ ����������� ;��� ���������� ����� �������7� �� � ���� �� �������� �� �������� � ��������

,� �������� ����!������ �� ����� ������� ��� ��������� � �������������� �� ������� ����������� ��� :�4 ����� ������%��� (��� �� ������� ����!�������� ���� ���������� %���%����������� �� ���������� �� ������ ������%�� 5���� ����������� ���� ����� ����!������� %������ ���������� ��� ��9������ ������������ ����� ��� ���� ���������� �������� ���� �� �������!���� )�*�� ��� ����!�������� ��������� ���� ���������� � �� ������������ ��� ������4 �4���������� ��� �������� �� �� ������� �� �� ����%��� �� ������� �� �� �����

-)")" ���������

,� ������� ������ ��� ������� �� %����� ������� ������� �

Z �� �������

Z �� ����%���

Z �� ������� ��

Z �� ����� %�� �������� ���� �� %�� ����� �� �� �� ������� �� �� �� ����%��� �� �� �������

,�� ���4 ��������� ������� ��� ���� ����&�� �� ���� ����� ������ �� ������4 T25HH� �->��UR>�� U >BV � �� ���� �������� ,�� ������4 ������� ��� ��������� ��� �������� ��� �������� �������� �����7� T8)$HH� +��P�V �� ���� �� �� ���������� �� ����� ������ �� �� ������ ����������������������� )�*�� ������ ��� �� ������4 ���� �� ����������� T- 8>AV �������� �� ����������� ����� 5��� ����� �]� �� ��&������ � �������� ������4� ����� ����� ������ ��� �� ��� ��F������ �� ��������� �� ���� �� �� ������ ��� ���� �� ���������

-)")( <������� �� ���������� �� ��*��� ���������

<� ��� ��� ��� �� ������ �� ����� ������Q����� �� ���%����� �� ����������� ���������� ������� ���4������ ��� � ������ �������� �� �� ���� ��� ������� %������ ��� ����������� �������!��%��� )� �������� ��� ���� %�� �������� � ��� �������� ���� �������� �� ��������� ������Q��� �����%������ �� ������������ ��9������� 5�� ���%������ ���� �������� �� ���!��� �� ����� ������������� �� ������ %�� ���� ��������� %�� ��� �� ������%�� � �� ���������� ,�� ����������� ��� �� ���� <� �4����� ����� ��� � �� ������%��� �� �� �������� ��� ����� ����� ���� �5�� ������%��� ������� �� ��� �������� ��4 �7��� �������� �� ������� ����� �� ���������� (��� �� ��� �� �� ������� ���� ������� ���� �� �������� �� ������� �� ������ �� ������������ <� � ����� ��� �� ���� ������ ������ �� ������� �����

<� ��� ����!7��� ���������� ���� ���4 ������ � ���������� �� ���%��������� (��� �� �������� �������������� ����������� �� ������ ��� �������� ����� ��� ���������� ��������� ������������� �� �������� �� ������ t� �������� �� �������� ,� �������������� ���%������������ ������� ��"�� � �� ����������� �� C������ )� �9��� �� ��� �������� �� ���������� �������� ������4� ������� �� ��������� �� �������� �� ����� �� ��� ����� �� ������Q��� ������ ����� ��� ���%����� �� ��� ��������� ������� ���� �� ����� 0*���� B1 ,� ������ ������ ����� ����������� ��� ����� ������ �� ���� � ,� ������� ������ �� ���������� �� �� ������ ������������� ������ ������ �� ���!��� ������������ �������� ���� ����� ������ ������� ��� �������

Page 49: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� %�� #�� ��� $ �� ���� ��������� ��

����������� �� ����� ������ ����� ���!�� ,��������� ��� �������� �� ������� ���� ��������� ������ ����������� ��������� 0���� *���� O1

Temps

Amplitude Amplitude

Fréquence

��� B Z (��4 ��������������� � ���������� �� ���%���������

Amplitude

Fréquence

Formants

: Enveloppe spectrale

��� O Z )4����� ����������� ���������

$*� �� ������� 7��� ������ �� ������� ������%��� �� ������ �������%�� ���� 7��� ����!���� ,� �������� �� �� ���������� ��� ����� ��� ��� %�����*������ ��� ����������� ����� %������ ������ ������ � ��� ����������� �� ����� ��������� 5�� ����������� ��*������� �� ���%��������� ������������ ,� ������ ������ ��� �� ������ ������� ��� ���������� �� ������ ������� ������ ��� ���� ������ �������%��<� ����� ������� ���� �� ��������� �� ������������ ���� ������ ��� ���� ������������ )� �9������� %�� �� ������ ������ ��������� ��� ���������� ��������� �� � � ��� ������ � ��������� ,������� ������ �� ���� ��� �� ��������� ������� �� ����� ���4 �� ��������� ��� ������� �� ������ ��������� ��� ������������ ��F������ ���������� ��� ���%������ %�� �� ��������� 5���� �� ���������� ��%����� �� ���� ��������� %�� �� ���%����� ���� ������������ ���� �� ����� �� ������ �� �����%����� �� ������ �� ���������� ,� ���%����� ������ ��� ������� � �!����� �� "�!��� T.��HPV5���� ��������� ������ ����� ��� �������� ��4 ���%������ ����������� � A>@E=� �� ���%��������� ������������ ���� 7��� ���������� � B>@E=

,�������� ����� ��������� ��� ������� �� ���������� �� ������ ����� �� ����������� ��C������ <�� ������������ �� ��� ������� ������������� ��� ������ �� ����4� 0���� $���4�$1

Page 50: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�B ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

-)")- ����������� ������������ �� ��*��� ��� ��������� ����

(��� ����� ������� ���� ���� ����������� ��4 ������������ ��������%��� �� ������ ���� �� ��!���������� ��� ������4 ������%��� ;��� ���������� ��� ���������4 �������� ��� ���� ������������ �� ����������� ����� %�� ���4 �������� ���� �� ����� �� �� ��������

A������ ! �����!��0�

,� �������� ��� �� ������ ��������%�� ������� A ,� �������� ������ �� ������������ ������������ ��� ������� ���� ������ ������ �� �� ������� ,������!���� ��� ������ �� ��������� ������ ������ �� �� �������� (��W �

σ =√V (X) =

1N

√√√√ N∑i=1

(X[i] − μ)2 0O1

���� V �� ��������� σ �������!����� N �� ������ ����� ���� ��������� �� ������ X ���� ��������� ���� μ

94�B����

5���� ������� ������ ��������%�� ������� �� ��� ��*��� ��� �

SX =1

Nσ3

N∑i=1

(X[i] − μ)3 0OI1

���� SX �� ������ �� �@�?���� ���� �� ������ X ��������� N �� ��������� ���� �� ���������� μ �� �������!���� σ5���� �������� ����������� �� �������� �� �� ������� �� ����������� <�� �������� ��������� ��������� �� ����������� �������%�� � �� �@�?���� ��� ��� �� ������� �� ����������� ��� ���!�����%��� ���� �� �@�?���� ����� ��� ������ ������ 6���%��� ������� ���� ��� �������������������%��� ���� ������� ��� �� ������� �� �� *����

>������

,� @������� ��� �� ������ ��������%�� ������� B ��*�� ��� �

KX =1

Nσ4

N∑i=1

(X[i] − μ)4 0OP1

���� KX �� ������ �� @������� ���� �� ������ X ��������� N �� ��������� ���� �� ���������� μ �� �������!���� σ

,� @������� ������ �� ������������ �� ����� �� �� ������� �� ����������� ��� �� @������� ������������� ���� �� ����� �� �� �������� �� ������� �� ����������� ��� ������� $� ���������� ������ ������ �� @������� ��� ������ ���� �� ����� �� �� �������� �� ������� �� ����������� ��� �����6���%��� ������� ���� ��� ������������� ������%��� ���� ������� ��� �� ������� �� �� *����

Page 51: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� %�� #�� ��� $ �� ���� ��������� �O

(����������� +@�?���� R�������<������� >> �PK��������� >> �>.������ > �A

��� Z )4����� �� ������� �� �@�?���� �� @�������

3� -�����C�� 90�����

5���� �������� ����������� �� ���������� �� ������� ���� ������ /� ��� ������� �� �� ��������������� � ∑N

2i=0X[i] × i∑N

2i=0X[i]

0OH1

���� X[i] �� i!�me ������� �� ������� X ���� ������ ��������� N �� ���������

,� ������Q�� �������� ��� ���� ������� ���� �� ������� �� �� ������� �� ������ �� ��������������� ������� ������� ��� ������� ���!������� /� ������ ����� �� ������� ��� ������� ������� �� �����T .�$D>�V

$:--

,�� ���F������ ��������4 �� ���� ���� ��� 0���� ������� ��O1� ������� �C55 ���� ���!C��%����� 5������� 5��F����� /�� ��� ��� ���������� ��� .������ T.8H�V ���� ��������� �������� K������������ ����� ��� ����=� �������� ���F������ ��������4 ���� ���������� (����������� %�� �� ������� ���F����� ���������� � ��������� �� ������ 0���� ������� ��O1 � �� ����������� 5���� �������� ����������� �� ����� �� ������� ������ ��� �� ����������� �� C������ ,���������� �� �� *���� I �������� �� ������� ���� ���� �������� ��� �C55 �

Bandes

Mel

LogDCTMFCC

FFTs(n)

��� I Z +� ��� �� ������ ��� �C55

3� 5� !2& 90�����

,� .���!D9 �������� �� ����� �� ��������� �� ������� ���������� � �� ���%����� ������%����� HO% �� �� ������������ �� ��������� ��������� ��� ���������� � ����� �7�� ���%�����5� ����������� ��� �������� ��������������� ���� ���������� ��� ������� ������� ��� ������� ���

Page 52: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

� ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

������� �� �� ������ �� �� �� ����%�� ,� ����!�9 �������� ��� ��*�� ��� �

fc∑i=0

X[i] = 0.95sr/2∑i=0

X[i] 0>1

���� fc �� ���%����� �� ����� �� ��������� �� �������� X[] �� ������� �� ������ �� sr/2 �����%����� �� ;�%���� T.��HPV

3� ���� �� 0����/� 0�� ;���

,� ���4 �� ������� ��� =��� ��� �� ������ �� ���� �W �� ������� ���� �� ������������������������� ����� ���4� ��� ��������� 0�4� ��������1 5���� ������ ��� �������� �� ������Q����������� �� ��� ���� ����� ������� ���� ��� ������4 �� ������������ �� ������/����%�� T,8U>�V �� �4����� ���� �� ��� �� �� ������� ��� ������� ������� ��� ����\� �������� � ����� �� ���4�� ������� ��� =��� ������ 0���� *���� P1� ������������� ��4 ������� ��� ������� %�� �F� ������ ������ ������ 0���� *���� H1 ,�� ���4 *����� P �� H ���������� ��� ������� %�� ���� ��������� ���4 �� ������� ��� =��� ���� ���4 ��� ���������

��� P Z )4����� �� ���4 �� ������� ��� =��� 0������1 ���� ��� =��� ������

-)"); 7���� ���������� �������

(��� ����� ������� ���� ������ ���������� ��� ��9������� ������������%��� ������� � �� ���5�� ������������%��� ���� ��������� �� �4�������� ���� ��� ��� �������*%��� %�� ��� ��� ��������/� ��� ���������� �� ���������� ��� ��������� �*� �� ������� �9������ ������������ ������������������� ������%��� �������

Page 53: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� %�� #�� ��� $ �� ���� ��������� �I

��� H Z )4����� �� ���4 �� ������� ��� =��� 0����1 ���� ��� =��� ��� ������

1�0 ����

,���������� A �� ������ s ��� ���� � ��� ������ )� �9�� ���� �� ������� ��O� �������������� �� �������� �� �� ���������� �� ����������� ������ ��� �� ������� ������� �����,���������� ���� ������� s� ���4����� �� �- �� ��� ��*��� ��� �

AdB(s) = 20log(A(s)A0

)0�1

���� A0 ����������� �� ��������� 0>�-1 �� A(s) ����������� �� ������ s

,� ������%�� ���� �� �������� ������ ��� ���������� ��� ��� ��������� ����������� ���������� %�� ��������� ��� �� �������� /� �4���� ��������� ����� �� ���������� )���� �������7��� ��������� ���� �� ��� ���� ����� �� ���� �������%��� ���� �� ��� �� �������

D����

,� ������ ���� ��� ��� �� %���%�� ����� �� ������� ������ �� �� ��� /� ����� �� �������� �� �������� ������ (� ����� �� ��� �������%��� �� ������ ��� ��� ������ ���� ������4� %�� �������� �� ����������� ����� �� ���%����� ������������� �� ��� ������%��� 0�� �������� ������� ������������� ���� �� ���%����� ������������1 ,���������� ���������� �� � �%�� ������%�� ��������������� ���� �� ��������������� �� ������ ��� ��� ���%������ �� ��� ������%��� �������� �� ��� ��������� ������� �� �� ���%����� ������������� ���� �� ��� ��� ��� �� ������%��0��������1 ��� ����� ����������� ��� ��������� �������� ���� �� ��� ��� ��! ������%�� 0���������� �1

(��� ����� �� ��� �������� �� ������������ ���&����� ������%�� �� ���� %�� ��� ����� ���������������� ���� �� ������� �������� �� ����������� �� �� %�� �������� �������������� ,������ ��

Page 54: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�P ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

������%�� ����� ��� ����� ��� ������������ ������%��� %�� �� ������������� ,� ������ �� ������%����� ���� ���� ���������� ��� �4����� ��������*�� ���� �� ���� �� ���������� �� ����%��%������%��� �� ������� �� �������'��� �� ����� ��� �� ���4 ����� �������� ��������� ����� %�������!�� �� �� ���� ��������� ,��4�������� �� ���������� �� ����������� ���� ��� ���� ������%����� ��������� ������ %�� ���� ������� ���������� ��������� �� �������'��� �� ������� �������������� �� ����%��

����� �

<� ��� ������%�� ��� ���� ������������ ������� ����� ���%����� ������������� F0� ����������� ������%���� Fk� %�� ���� ��� ���%������ ��������� �� F0 � ∀k, Fk = kF0 ,� ���������� ���� ������%��� �� �������� ���������� ��� ����������� �� ����%�� � ������ � �������� �� ���4 � ����� �� ������

(��� �������� ���� �� �������� �� ���������� ����� ��� �4�������� �������� �� %�� �����*�%�� ��� ���%������ ��� ������%��� �� ���� ��� �4�������� ��������� �� �� ������������(��� �� ������ �W ��� ������ ������� ������� �� ��� ���� �� �7�� ������������ �� ������������ ��� ����� ������%��� ���� %����*��� ��� ���� �� !������� ���!��� ,�� ���� %����! ������%��� ������� 7��� ������� ���� �������� ����������� �� ����%�� ���������� �� � �����

,� ��*������ �� ������� ��� ��������� ���� � ��������� ������� /� ��� �������� �� ���������� ������� ��� ���������� )� �9��� �� ��� x ������� ���� ������� ���� ����������� ��� ���������� ��� ������Q��� ��� �%�������� � ���4 ������Q��� �

x(t) = sin(2πft) sin(2πFt+ θ)

=12

cos(2π(F + f)t+ θ) − 12

cos(2π(F − f)t+ θ)

=12

sin(2π(F + f)t+ θ +

π

2

)+

12

sin(2π(F − f)t+ θ − π

2

)0A1

$����� �� ������� ��� ��*�� ����� ��� ������Q�� ���� �� ���%����� �� ����������� ���������������� �� ����� �� ����� (��� �� ��� ��� ���� ������%��� �� %����! ������%��� ����������� ������������ �� ������������ �� ��� ������%��� ��������� (� ������� ��������� ����������� ���� ��� �������� �� ������� ���� ��� ������ ��� �� ����������� �� C������

D���������

,�� ������������ ���� ���������� � ���� ���� �� ���������� ����%��� ����������� ��������������� �� ������ )���� �� ���������� ��������� ��4 ����%��� %�� ��������� �� ���� ������ ����������� ��%����� �� ��� ����� �� ��������� ����� ����������� �� ������ ��4����� 5���� ����������������� � ��� ����� ������ �� ��������� ���� ���� �� ������� /� ��� �������� �� ������������� ����������� �� %����� ������� ������ � ������%��� �� ������� �� ������� �� �� ���"� ����� ,�*���� �> �������� ����� �������� � ��� ����� ����������� ,�����%�� ���� ������� 7��� ���� ����������� �� ������ �� *���� �� ,� ������ ���������� � �� ������� �������� ����� �� ����� ���� ��������%�� �� �� ������ �W �� ��� �������� � ��������� ��� ��������� ��������� ,� ���������� �� � ��� ������ ��%����� �� ��� ��� �������� � �� ������ �������� &��%��� ��� ���"� �����)�*�� �� ���"� ����� ���������� � �� � ��� �� ������ ����������� ������ &��%��� ���4������������� �� ������ 0�������1

Page 55: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� %�� #�� ��� $ �� ���� ��������� �H

,� ������� �4������ ����� ��� �� *���� �>� ���������� ��� ����%�� ���� ����%�� ����� ������4�������� ������ ����� �� ��������� ����� ����� ���� ��������

��� �> Z .������������� �� �� ��������� �� ������ �� �������� �� ����� ���� �4����� ����!��%�� ����%�� � ���� �� ��������

,� ���4���� �4������ ����� ��� �� *���� ��� ���������� ��������������� ���������� �� �������� ����� ���� �4�������� ����%�� ����� �� ����� � ����

,�� ������������ ��� ��� ���������� �����%������ ����� ������ %�� ��� ������%��� ���������������� ��� ������ ������ /� ��� ���� ��������� �� ������ �� %����� ������� ��� ������!������ ���� ��������� �� � �'�� �������%�� <� ��������� ����������� ���� ������ �� ������������ ��%����� �� ������ ����� ����� ������� � ��� ������ �� ����%���� �� ������ S� �4������������������ �� ������������� ��� ����

(������� ��������� ���������%��� ����� ��� ��������� �� �������� ���������� �������!��%��� ���������� ��� ������������� ��� ������������� �� ���������� ��� �������������

-)")� 9��+��������

(��� ����� �������� ���� ��*������� ��� ���������4 �������� �� ��������� ���� �� ��������� �� ���������� ,�� ������ ������ �� ���� ��������%�� ���������� �� ��*��� ��� �������������*�� �� ���������� ��F������� �� ������ ���� �� ���� �� �������������� ���� ���!���4� �� ��������� ������ 5������� ������4 TE��HI� UCHHV ��������� ��� ������ �� ��� ������ ��������%�� ���������� �� ��*��� �������� ������� ���� ������4��

Page 56: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

B> ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

��� �� Z .������������� �� �� ��������� �� ������ �� �������� �� ����� ���� �4����� �����!���������� ���������� � ���� ������� � ����

�����0��� �� ��������

,���������� ���� ���� %���� ��� ����� �������� �� ������ � �� �� ������ ������!��� ����� ������������%�� ���� ���������� �� ���������� �� ��� ���� ���� ��� ������ 0��� ���������������� �� �������1 /� ������� �� ������ �������*%���� �� ����������� �� �� ���������� %�� �������� �� �������� 0�-1 (��� ����� ���������� ����� ���� ����� �� �� ������� �� ��� ��������� ��� ����� ��F������� ������ ���� %�� ��� ��������� ���� ������������ ��������� )��9��� �� ��������� �� ��������� %�� ��������������� �� �� ��� ���� ����� �7�� ���� ��� ����������� ���3� ����� ������ 5� ����� %�� �� �� ����� �� �������� %�� �� ���� ���'� ,� ����� ������ ������ �� �� ���������� �������%�� �� ����������� )��� ������ �� ������� ����������� ������� ����� %������ ��� ���3�� � �= �� ���� )��� ��� �4������ �� � ���� �� �� ����� ,� ����� ������������ ���� %�� �� ����� ����������� � ����������� ������� ���� �� ��� �� *����� ��� �������� 1/10��� �� ������� 5� ����� �4���%�� �������� � �������� ������� �9��� �� ���%���������%���� ��� �������� ���3� ����������� ���� �� ���%��� �� ����� %�� ��� �������� �� ������ ����� �� �������� �� ������ ��������

,� ��9������ ����� ����������� ������ ���� ��� �� ����������� ���3�� ��� ��������� ������ ����4���%��� ��� �� �������������� �� ������� ������� %�� ����� ������ �� �������4 ����������������� �� ���%�������� )� �9��� ��������� ����� ��� �%����������� �������� ��4 ���%������� ��*���� �A ������ ��� ������� �� �7�� ����� �� �������� �� �� ���%����� 0������� �� C���� ��!������1 (� ����� ��� ������ ���� ��������%��� ��� �������� %�� �� ���������� �� �������������� ��������� ����� ��� �������� ���� ����\� ������� ��%�� ��� ����� ���� ���� ������� 0�-1 � �����*��� ��� �

L(x) = 20log(P (x)P0

)0�1

Page 57: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� %�� #�� ��� $ �� ���� ��������� B�

��� �A Z 5������ ����������� ���3�� �� �������� �� �� ���%����� 05������ �� C���� ��!�������HH�1

���� L(x) �� ������ ������ �� ������ x �� �-� P (x) �� �������� �� ������ x %�� ��� ����� �� ������� ����������� �� P0 �� �������� �������%�� �� ��������� 010−5 �1 ������������� �� ����� ������������ � �>>>E= ,��%������ ���������� 0�1 ����!7��� ��!������ �� �������� �� ������������A(x)� �� ������ ����%�� �����!�� ��� ��������������� � �� �������� �������%�� (��W �

L(x) = 20log(A(x)A0

)0B1

)�*�� �� ������ �� ������ ���� ��� ��� ���������� ���� �� ������ ������ L 0���� �%������� ��� B1 � ��� ����� %���� ��� �������� ����������� ��� ���4 ��������� ������

3�����/�

,�������� ���� ������� �4������ ����� .�+ 0.��� ���� +%����1� ��� ��� ������ ������������� �� �� ������ (��� �� ��� �������� �� .�+ ��� ��*��� ��� �

RMS(x) =

√√√√ 1Ws

Ws∑n=1

x2[n] 0O1

���� Ws �� ������ ����� ���� ��������� �� ������ x

Page 58: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

BA ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

�����0��� �� � ������

,� ������ ��� �� ��������� ��������� �� ������� ������� �� ��������� � ���%�� %������� ���%����� ,������ �� �� ���������� �� �� ������ ��� �� ������� ������� ����� ��� ����������4� ��� �������� �� ���������� ������� �� &��

(��� �� ��� ���� ��� ������%�� �� %����! ������%��� �� ������� ������� ����� �����3��� %����� ����� ������ %�� ���������� ������������ � �� ���%����� �� �� ������������5��������� �� ���� ������� %�� �� ������ ���3�� �� ����������� � ������ ���%����� ��������(��� �� ���!��� �� ������ �� � ������� �� �� ������������ ���%�����

)�*�� ���� %�� �� ������� ������� ���� �������� � ��� ����� ����� �� ���%������ ������������ A>E= �� A>>>>E=� �� �� �� �7�� ���!�!��� ��� ������� T.��HPV

�����0��� �� � (��������

5���� ���������� ��� ���� �� ������� ����������� �� ������� ������� ����� ��� ����������4 ���%������ ������� �� A>E= � A>>>>E= 2��������� ������� �� �� ���������� �� ��� ���%����������� ��� � ��� ������ )� �9��� ��� �4�������������� ��� �������� %�� ����%�� ���4 ���%���������� ���� ���������� �� ������� ������� ������ � ��� ��������� )� ������ �� �� ����� ���� �������� �� �� ������� � �� ��� � ��� ��������� ;��� ������ ����� �� �������� �� � ��������� ����� �� %�� ����� ��� ���������� �� ���������� T ��>>V )� �������� ������ ��� ��������%����� %�� ����� ��� ����� ���3�� ,� ��9������ �� ������ ��� ���%������ ���������� ��������� ��� ��������� ����� ��� �������� �� ������ ����� ��� ������� �� ��� ���%������

*����� �� *��4�

,�� ������ �� -��@� ���� ��� �� ���� �� ������ �������� ���� �� ������� ���%������� TUCHHV/� ������ ����� �� ���� ���!�������� )� �9��� �� ������� �� O>> E=� �� ������� ��� �����������%��� ��� ��������� $� ������ �� O>>E=� ����� ������� �������� ���� �� ���%����� /��4���� ��� �������� %�� ����������� ��� ����� �����4������� ���� �� ���������� ��� E���= ��-��@� +��� b �� ����� �� -��@ �� f ��� ���%����� �� E= ����� �

b(f) =

{f

100 ���� f ≤ 5009 + 4log2

(f

1000

)���� f > 500

01

f(b) =

{100b ���� b ≤ 51000 × 2

b−94 ���� b > 5

0I1

/� ��� ����� �������� ��������� �� ������� ����� ����� �����%�� �� �������� �� �� ���%������������� �

Δf = 25 + 75

[1 + 1.4

(f

1000

)2]0.69

0P1

���� Δf �� ������� �� �� ����� �����%�� �� E= �� f �� ���%����� �������� �� E= ���������

Page 59: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� %�� #�� ��� $ �� ���� ��������� B�

�� � � $�

<������� ��� �������� ������� T +$D>A�V ���� �� ����������� �������*%��� ��������� ��� ������� ������ �� �������� �� ����� �� ��� ������� ���3��� )��� ���������� � ��� ������������ �� ������� ��� �� ������� %�� �� �� ����� � ����M )��� ��������� ��� ��� �������������� �������� ���%������ �� ��� ���� ���� ����� ��������� �� ���� ����� ��� ���������� �� ������� ���3���)��� ��� �������������� ��� � ��� �� ������� ����� %�� ��� �� ���� �� �� ����������� ��� ����������� ���4 ���� ������� AO> �� O>> E= ��� �4����� 0AO> ����1� ����'� ���� ������ %����� ����������� ���4 ���� ������ �>>> �� A>>> E= 0�P>> ����1

-)")= ������� ���� �� ������ �� �� ����� �� �� �� �������

(� �������4 ������4 ��� ��� ��������� � ��������� �� �� ������ �� �� �� ����%�� D� ����� .������ T.8H�V �� �������� �� ������4 ��������� �� ��������4 ��� ������� �� �� ������ (���T25HHV� �������� ������� �� �������� �� ������������ ����� ��� ������ ���� �� ���������������� ���� ��� ������� ����� �� ������� ����� ��� ����� �������� ������� ��� �������������������� � �� ������Q�� ��������� �� ����!�9 ��������� �� ���4 �� ������� ��� =���� ���������� ��������� �� �� �������� ��������� � � ���� ��� ������������ ������������ ������� ,������� ���������� ���� T$DHPV �������� � ��������� ��� ������ ������� ��������� �� �� ������ � ����������� ��� ��� ��������%��

2��������� ���� T�->�V� ��� ������� ��������� �� �������� �� ������������ ���� �� ������*!������ ����� ���� ����� �� �� ����%�� /�� ��������� �� ������������ ��9������ ������ �������4 �����%�� 5�����%�� �� ����%�� �������� ��� ���� ��� ������� ���� ����� � �� ����������� ����������� ���� �� ������� �� �� ������ ���� %�� ���� 7��� ������ �� ������� ������� � ��� �C550���!C��%����� 5������� 5��F������1 /�� �� ����������� %�� ��� ����=� �������� ���F������(��� �� ����� ��������� ��� ������� �� TK (>>V ��������� ��� ��� ��� �� ������*������ ������� ���������� � ������ �� ������������ ����� ��������� �� ���4 �� ������� ��� =��� ,������!������ ��� ������4 ��������� ���� TU >BV ������ ���� �� ��� ��� ���4�������� ��� ������������)� �9��� �� ��� ������� ��� ��� ��� ��������%�� ���4�������� ��� ������������ �������4 ���������� �� �������� ���� ,�� ������4 ��������� ���� T, .>�V ��� ���� ��� �� ����������� ������*������ ��� ����������� �������� ���� �� ������� �� ����%�� 5��������� �� � ��4��� ������������� ��� ������� ��� ������� ���4 ��������� ���� TK.>AV /�� ���� �� ������ ���A� ���� ��������� ��� �C55 �� �� ���4 �� ������� ��� =��� )�*�� ���� T25>AV� ��������������� ��� ������ � ���� �� ������*������ ��� ������ �� ����%�� ,������� ������� ��� ���!��������� ���� %�� ��� �C55� �� ������� �� ������ ������ ��� �������������� �� C������� ������!�9 ��������� �� ���4 �� ������� ��� =���

,�� ������4 TC��HI� (XHH� (X>>V ��������� ��� ���F������ �C5 ���� ����� ������4 ����!��4����� �� �� ����� ������ 0���� ������� �A1 (� �7��� ���� ��� ������4 �� T +$D>A�� .�$D>�V ��� ����!�������� �� ������*������� ���� �������� � �����Y;�� ����� �� ��!��%��Y;������%�� ����� ��� ��� ���F������ ��������4 (������� ������4 ��� ��� ����� ����������4����� �� �� ������ �� �� �� ����%�� (� ���� ������ ������� ���������� ��� ������4 ������������ ���� �� ������� �������� (��� T 2>BV� ��� ������� ��������� �� ������� ������4������� �� ����� ������ �� �����Y����%�� ���%������ ���� ��� ��������� 0.�+1 �� ��� �� ���4�� ������� ��� =��� (��� �� �7�� ��������� T)�R R>>V ������� ��� ��� ��� ������4������� �� ����� ������ �� �����Y����%�� ����� ����� ��� �� ���4 �� ������� ��� =��� )�*�� ���������4 �� T +$D>A�V ���� ����� ��� ������������� �� ������Q�� �������� �� �� ���4 �� �������

Page 60: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

BB ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

��� =��� ���� ������4����� �� �����Y����%�� ,�� ������������ �������� ���� ��� ������4 ������&����� ���� �� ������� ���� ������������ ��� �������� �� ������ �� �� ����%�� �� :�4 �����

-)")% ������� ���� �� ������ �� ������

5���� ��� ������������� ��� �������� ����� ��� ���� �4������ ���� �� ����%�� �� �� ������0���� ������� ����������1 2��������� %���%��� ������4 ��� ��� �������� ���� �� ��������� ����������� �� ������� ��� ������ 0���� ������� ��������1 5��������� �� ��������� ��� �������� �������� ��� *� �� ��� ��� ���� ��� ������� �������� ���� ��� ������ ����� � �� ������ T$.I� ,..XP��;��P�� .+IIV

<� ��� ������4 ���� �� ������� ��� �������� ���� T+��P�V -��� %�� ������������ ����������� ������4 �������� ������� �� ���� ���� ��������� %�� ���������� ������������ ���� ��� ���!���4 ������� T8)$HH� X.>>V ,������� ������� ��� ��� ��� �� ��������� ��������%�� � �������� ������������ ���� %�� ���4 %�� ���� ��������� ���� T.+IOV ���� ��������� ���������� ����C55� �� ���4 �� ������� ��� =��� �� �� ���F����� ����������������� ,� ���F����� ���������!�������� ����� ����� %�� �� ������� ����� ��� ������� ��� ���4 �������� ��4��� �� �� �������������������������

(�� ������4 ���� ������� ��� �� ��������� ��� �������� ��� �� �� &��� ��������� ���4�� T-55HHV 5�� ������4 ������������ ���� �� ������� �� ������������ �����Y+������ �� ������� ����� ���� ��� ������������ �������� �� � � �� ���4 �� ������� ��� =��� ���� ������� ������ ������� �� �� ������ (������� ������4 �� �� �7�� ���������� T8)$HH� X.>>V� ����������� ��������� �� ������� ���� �� ������� �� ���������� (��� T8)$HHV� �� ��� ��� ����������� ���%������ ����� ��� ��������� �� ������ �������� ���� �� ������� ������� ��%�� )�*����� TX.>>V� �� ��� ��� �������� ��� ��� � ��� ��������� �� ��� �������� ���� ��� �������� �������� ��� ������ ����� ,�� �������� ���� �������� ����� ����� ��� =���� %�� �� �������������� �� ������� ��� ��� %�� ��� ������� �� �������� %�� ��� �4������ �� ������ ,�� ���������������� ���� ���� ��� �������� ����� ��� ���� �� ��� ���������

-)")! ������� ���� �� ������ �� :����

,� ������ ��� ������ � ������� ��� �������7� ���� �� ������� �� �� ��� ��� � 2������������ ������4 ��� ��� ������ 0����� ���� ��� ��������1 ���� ������� �������� ���� �� ������*��� �����Y����%��Y-����Y+������ ���� �� ������������ ��� ��� *� �� ���

(��� ��� ������4 ��������� ���� T(-$CHH� URHH� ,8U>�V� ��� ��9������ ������� ������������ ��� ���� ������4����� �� �� ����� ������ %�� �������� �� ������ �� ������ ��� ������ 5����� ���� ������4����� ������ ����������� �� ������ ���� �� ������� �A )� �� %�� �������� ��������������� �������� ���� ��� ������ �� ��� �� ���������� � ���4 ���������� ���������� ����������� �� �� ����%��� �� �� ������ �� ��� �������� /� ������ ���� �� ������������ ���� %�� �� ���4�� ������� ��� =���� ��� ���F������ �C5� �� ������Q�� ��������� �� ����!�9 ��������� ��� )��9��� � �� ����� �� ��������� ������4� ��� ������������ ������� ��!������ �� ���� ������� 7��� ������ ��������� ���� ������������ �� ������� �� ����%�� �� ��� �������� (� ����� ��� ��������������� ���� ����� ����������� ���������� �� ��9�������� ��� ��9������� ������� ����� ����� �����

5�������� ���� T(-$ >>V� ��� ������� ��������� ��� ��� ��� ���� �������'��� �� ��!������ �� ������ %����� ��� ������������� ��*�� ���� ��� ������� �� � � ��� ���%������� ��

Page 61: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� ��������� ���� BO

������ ��� ���� �� ������ ��� ���� ������� ��� �4��������� ��� ����� �� ��������� ��� ,�� ��!����� ��� ���� ����� � �� ����������� %�� �� ������� �� ��������� ����������� 0N1� �� ������ ���� ������� �� ��������� ��� N ������ ���������� �� ������ ��� ������� �� ������������ �� �������� ������� ��������� �� ������� �� ������� ������ ��� ����������� �� C������� ���� ���������� ������� �� N ������ �� ���%������ �� ������� *4�� �� ��*� �������� ��������� �� ������� ����� ����� �� ��� ������

)�*�� �� ��� � �������� ���� �� ������� �� ��������� �� �� ������4����� �������� � ����������� ������������ ����� ��� ����4 ������� (��� T- 8>AV ��� ������� ��������� ��� ��� ������� �4������ ��� ������������ ���������� ���� ������� ��� ������ 5���� ��� ��� ���������#�� �� #��� ������ $������� 0(($1� ���� ����������� �� ��� � �� ��� ��� ��������� ����TU >BV ���������� ���4�������� ��������%�� �� ������������ ���� �� ������� �� �� ����%��,� ��� ��� (($ ������� �� �������� �� ��$������ ��� 5��������� ��������� 0 5$1 ,����������� ������� ����� ��9������� �4�������������� �������� %�� �� (($ ������ �� �������� ������������ ���������� ���� ������� ��� ������

!'� ���������� �����

(��� ����� ������� ���� ���������� ��� ��� ���������� ��� ��9������� ������������ ����������� ������ ��������� ���� �� ������� ���������� ,�� ���������4 ������4 �� ����4���������� ���������� � ������������ ��� %����� ������� ������� ����� ���� ��� ������ ��� �� �������� �� �������� ����� ��� �4����� ���� TUR>�� ,8U>�V 2��������� �������� ������4 �����T25>BV ������������� � ��� ����� ������������ �� �������� ����� /� ��� ��������� �� ��������%�� ���� ��� ������� %�� ������� ����� �������� ������4 �� ������� ���� ��������� )� �9��� �������� ��������� �� ������4 �������� � �� ������� ������� ���� �� ����������� ��������� ������������ ���������� ��� �� ������ ���� ��F���� ���� ����� ��� ����� ������������ �4 �������

-)()" ,�����>���� ���� �� ������ *���������

(��� ����� ������� ���� ���������� ��9������ ������4 �� ��� ��� � ���� �� ������� �� ��������*������ ����� 5�� ��������� ������� �� ����� �� �� ��� ��� � � �� ������� �� ��������� ��� ��� � %�� ��������� ��� ���� ���������� ��� ������������ ����������� ����� ��4 ������������ ���� �� ������� �� ��������� ����� $����� ��� ����!������� %�� ������� ���� ����������� � ���� ��� ������4 %�� ���� ����� ������������ ����� ���������� ��� ������4 �������� ������ �����������

E ��/ �� >�� 7E>,�8

(��� ��� ������4 TUR>�V� ��� ������� ��������� ��� ��� ��� �� ������������ ����� ������ �� ����� ������ ��� ���������� ����������� 5���� ������������ �������� � ��������������9������� ������� ����� ������ %�� � ������� ����%��� � ������ ��� ����������� ������ ��������%�� �� ����� ��� ���������� ���� ����%�� �� ����� �������� ���

��� ���������� �� ���������� �� ���������� ����� ����� ��� ������� ��������� ������������� ������������ ������� ���� %�� ���������� �� ���4 �� ������� ��� =���� ���4�������� �� �������������� ,��� ������� �� ����� ���� �� ������ ��� ������4 ���������� �� T+��H� RXHV

Page 62: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

B ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

(��� TRXHV� �� ��� ��� �������� ���������� �� �� ������������ ����� ������� �������� ����� ����� ������ ,�� ������������ �������� ���� ��� ���F������ �C5 �� ��� ������� �� ���@�� ��� ������ �� ����� �� �������� )�*�� ���������� �������� � �������� ��� T C)HV ���� �� ��� ����� ������������ ��� �������� %�� ����%���� �� �� �������� �� ������ �� :�4 ����� � ���� ��� ����������� �4�������

��� �� %�� ��� �� ��������� ������ ��� ������� ���� ����� � ��������� � ����� ����� ��*������ �

En =1N

∑m

(x[m]w[n −m])2 0H1

���� x[m] �� ������ ����� ���� �� ����� ��������� n �������� �������� �� ��������� � �����!������� w[m] ��� ���7��� ������������� �� �������� N (��� ��� ������4� �� ����������� � ��� ������� ���� ������� ��� ������� ������� �� ��� ��������� �� ������� ���� �������� ��� =���� �� ������� �� ��*� ���� ������������ ��� � ��������� ������� �� ����%�� ���� ��� ������ ������������ �������� ��� ������� ��������� �� ���4 �� ������� ��� =��� � ���������� ��*�� ��� �

Zn =12

∑m

|sgn[x[m]] − sgn[x[m− 1]]w[n −m] 0I>1

���� w[n] ��� ���7��� ������������� ��

sgn[x[n]] ={

1, x[n] ≥ 0,−1, x[n] < 0

5� ����������� ��� �� ��� �������� ���� �� ��������������� ��� ������� ������� �� ��� ��������� �� ������ ����� %�� ���� �� ������*������ ��� ���� ���������� ��� �� ����� �� �� ������ ���������� �� ���4 �� ������� ��� =��� ��� ��9������ �� ����� �� ����������� ������������ ��������� ���� �� ��� ���������� ���������)�*� �� ������� ����������� ��� �� ��������� �� �� ������������ ������� ���� ���������� ���� ��������� ������� 5� ����������� ��� �4����� � ������ �� ������� �� ������ ,� ��� ��� ������������ �� ��������� �� �� ������������ ��������� ���� �� ������� ������ � ��������� ��� ��4����� ������� ���� ���� �� ������ ������ ��������� �� ����� �� ������ �� ����� �� �������������� ���� ���������� ��� ���%������ ��������������� ��4 ��4��� ������������ ������������ �� ������� +� �� �������� ������ ����� ��� ������ ����� �� ���%����� �� �� ��������������� *4�� � =���

,�����4����� ����� �� ��������� �� ���4 ������� ������� �

Z ,� ��������� ��� ���������� ��� ��9������ �������� ����� ��

Z ,� ������*������ �� � ���� ��� �������� ������������ ��������

<� ��� ������ ����� �� ��� ������4 ��� �� ���������� ����� ���� *4�� ��� ��� ������� ,��������� �4������� �� ��������� ��� ������������ � �� ����� ��� ��� ������� ����� ���������5 �%�� � �������� ������ ��� ������� �� ��������� %��� ����������� ��� ��������� �������� ��������� �� ������� ����� (� ����� �� *���� �� ��!������� �������� �� �������� ��� ���7�������������� ������� ���� ������� ��� ���������� �� �� ����� ��� ������� ��� ������������ (���� ����� ��� ���4 ���7����� win1 �� win2� ��� �������� ��� ������� ���� ��������� �� ���������� Ave(w1) �� Ave(w2) ���� ��� ���7���� win1 �� win2 �������������� $����� ���� � �%���������� ������ �� ����������� ��������� ���������� ��� ��� � &��� �� ����� ���� ,�� �������

Page 63: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� ��������� ���� BI

Ave(w1) �� Ave(w2) ���� ��������� +� ��� ���� ������ ��9������ ����� ����� ��� ������������� �� ����� ������������� �� ���� ������ ��4 ���4 ���7����� ���� E ��� �� *���� ��� ������������ ����� ��� ��������� �� ������� ����� ��������� (��� ����� �4�������������� ���������� ��� ������� ��� ������ �� ���7��� �%��������� � �>> ������� �� ������������ $���� �����

��� �� Z ������� �� �� ���7��� ��������� ���� ������4����� ����� TUR>�V

������� ��� ���������� �� ������� ������ ������� �������� �������� � ���%����� ��� �������� ������������ ��� ������� �����*���� �� ������,� �������� ����� �������� � �������� ��� �������� <� ������� ��� ��*�� ����� ����� ��� ���������������� �� ������ ����� ��� ����������� ��� ��������� ������ ,�� ������� ��������� ������������� �� ��������� �� �� ���4 �� ������� ��� =��� )� �9��� ����� ��������� ����� �����F������� ������������� ���� �� ��� �� �������� �������4 �� �� ����� �� ������ ���������+� ��� ������� ��� ������� �� ��������� �� �� ���4 �� ������� ��� =��� ���� ����������� � �� ���������� �� ������� ����� ��� ���%���� ����� �� �������,� ������� ����� � ���� ��� �� ������������ ��� �������� ����� ��������� ��� ������������������ +���� ��� �������� %�� ����� ��� ��� ���%����� ����� ������� ���� �� ������� �������������� ���������� ,� ��� ��� �������� ��� �������� � ��� ��� �� ��� ����� �� ���� �� ���%����������� �� �������� ���� �� ������� �� ������ $*� �� ���9���� �� ��� ��������� �� ���!������������� � �� �������� �� ������%��� ���� �� ������ �� ���� ��� ������ ���%������ ��� ������� ��������� ���%������ ��!���� �� O>>E= ���� ����������� (� �7�� ��� ������4 ���� ��������� ��� ���������� ���� ������� <�� ������ ��������� 0> �� �1 ��� �9����� ���� ��� �������� ��������%�� ������������ �� ���� ��� ���������� �������� ,� ���������� ��� ������� > �9������ ���

Page 64: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

BP ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

������� �������� �� �������� �� ������ ����� �� �������� ������*��� ��� ������� ��������� ��������������� �� %� �� ��� ����� ���������� ��� ������� ����� �� ������ ��������� ����������� ���������� �������� (� ������'�� ��������� �� ����� ���������� ������ ����� �� ���������� ���������� ��������� �

Z &� �� � ,� =��� ����� ��� ���� �� ����� ��������� � 0.95

Z ��� ���������� � ,�� ���� ��������������� ������%��� ���� ���������� ����� �����!���� ��� ���������� ��������� ������������� �� ��� ��� ���� ��� ������%���

Z ����!�� �� � � ,� =��� ����� ���� �� ��� �� �� ����%�� ���� ��� �� ������� �� 0.3

Z '������ � ,� ������� ��� �������� ��������� �� �� � ����� ��� �� =��� ����� ���������� 0.5

Z &� �� ���� ����!�� �� ��� � ;������������ �� ��������� �� �� ���������� ������ ����������� ���� ������ %�� ����� �� �� ���������� ����%�� �� ������ ����� �� ����%�� ������ ��� ���%��� ��� �� ������ �� �� ���� ��� 7��� �������� (��� �� ��� ��������� ���4��� ���� ������������� ,�������� �� �� ���������� ����%�� ��� ���������� � ����� �� ��������� ���� �� ��� �� ������ �� =��� ����� ��� ���������� � 0.6 (��� �� ��� �W ����������� �� ���������� ������ ��� ���������� ����� �� ������ �� =��� ����� ��� ���������� � 0.8

$���� ���� �� ����� *4� � 0.7 �� �������� �� ��������� ������� ��� ������� �F����� 7��� �� �������� ������������ ��� �������� ��������� ��� ���������� ��������,� ��������� � ��� �������� �� ��������� ��� ���� ���������� ������%��� ��� ����� ���������� ��������� �� ������� �� ������ �*� ���4������ �� �� ������������ ��� ���%����� ���!��������� ����� %�� ��� ������%��� ��������� +� ����� �� ��� ����� �� ������� ��������� ������%���� ����� ���,� %�������� ����� �������� � ���������� ��� �������� ��������� ���%������ �� �� ����%��,� ��� ��� �������� ��� ����� ��� ��������� ��� ������� �� ���4 �� ������� ��� =��� �� ��� ����������� �� �� ������������,������ �������� �������� � ���������� ��� �������� ��������� ���%������ �� �� ������ ,��������� ���� ����� �� ���4 �� ������� ��� =���� � �� ��������� �� �� ������������ ����� %������������ (��� �� ������� ������ ��� ������� ������������� � �� �������� %���� �4���� ����� ������!��� �� �� ���4 �� ������� ��� =��� ���� �� ������� �� �� ������ )� �9��� ���� ��� ������� ���������� �� ������ ��� ������� �� ���4 �� ������� ��� =��� �������� ��� ���� ����� %�� �� �������� ��������� ����� ��� ����4 $� ���������� ���� �� ��� ��� ������� ������� ����� �� ������ ����������� %�� �������� ��� ���� �� ����� �� ���4 �� ������� ��� =��� %�� �������� ��� ����4 (����� ���4���� ������ ��� ������� ��������� �� ������� �� �� �������� �� ���4 �� ������� ���=��� ���� � �%�� ������� �� ����� ������ )�*� ��� ������� ��� ��� ��� �� �������� �� ��!�������� ���� �� �������� ��� �� ������ ��� �� ������� �� ���������� �� �� ��� ������������� � � ���� �� ������� ����������� �� ���������� %�� ����� �� ������������ ��� ������� (� ���7�� ������� %�� ���� �� ��������� �� �� ����%�� ����� ��� ������� ��������� ��� ��9�������������� �� ����� ������������ ���� ��� ������ �� ��� ������ �� �������� �������� ����� 0 �� 1 *4���� �� �7�� ������� %�� ������������ +� ����� ������ ��� ���������� � 0.5 ����� �� ���������������� ��� ������*� ����� ����� ������� �������� �� ������)�*� �� �������� � ��� � ���� ��� �� �������� ��� ������*������ ��� ���� ���������� ��� ������%��� ,�� �������� ���������� ���� ���4 ������� ��� ��� ������*�� ������������ ,��������� ��������� %����� ������� �� ���� ���������� ��*��� ��� �

Z ������%��� �� %����!�������%��� � +� �� ������ ��� ������� �� ��������� �� �� ���4 ��������� ��� =��� ����� ��� ���� � ����������� ��������� �� %����!���������

Page 65: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� ��������� ���� BH

Z ������� ������%��� �� ��� ������%��� � +� �� ���������� �� ���������� ��� ����� � ��������� ����� 0���� ����� %�� �� ����%�� ���� ���� ����� %�� ���� ���� ��� ������%���1

Z ;�� ������%�� �� ������ � +� ��� ������� �� ���4 �� ������� ��� =��� ���� ������������� �� ����� ���������� ��� ������� �� ���4 �� ����������

Z ;�� ������%�� �� ���������� � 2��� �� %�� �� ��������� ��� ��� ����� ���������� ���

,�� �4�������������� ��� ��� ������ ��� ��� ���� �� ������� ��������� �>>> ���� 5 �%���4����� � ��� ����� ������� �� %���%��� �������� � � ������ ,�� ������� ��� ����� ����������� ���� �� ���� ���� ��� �4������ �� ����� ������ �� ���������� ������������ �� ���� ����0*��� ������� �������������� ��� 1 $����� �� ���� *���� ��� �������� �� �A>> ���� �� �����,�� ������������ �� �� ������*������ ��� ���������� ��� ���� �� �� ���� �� ���� ������� ��!���������� ������� ��� �� ������� �� �� *���� �B ,�� ��������� ���������� %�� �� ��� ��� ��������

5����� $���� .����� ��������+������ �>>% �>>%

$��� ��� ���������� �������� �>>% HO�%+��� ��� ���������� �������� HIP% �>>%

��� ����� H�H% H�% ��� ����%�� HIH% HBO%

+��� ���������� ��� ������%��� HO�% HPO%

��� �B Z .�������� �� �� ������*������ ����� TUR>�V

��� ���� ������� )��� � ��� ������ ��� �� ����� �������� �� ���� ���� ������ �� ��� ������� ��������������� ���� ���� ������ (� ������'�� ����� ��� ��� ��� ����� ���� �� %�� �����%�� %���������� ����� � ��� ������������ ���� �� ������ ��� ��� �������� �� ����� �� ���������� $��������� ������ ���� �� ��� ��� ��������� ��� ������������ �� ���� �������������� �� �������� �������4��

3�< F��/ �� E ��/ 73FE,�8

5� ������� � ����� ��&����� �� ������*������ �� �� ������������ ��� ������ ������� ,��������� ��*���� ��� ��� ������� ���� ������� ����%��� ����� �� ������� ,� ��� ��� ��������� ����������� �� ���4 ������� ������ ,� �������� ������� ����� �������� � ������� ��� �������������� ��� �������� �� ��� ������ ,� ������� ����� �������� � ����!������*�� ��� �������� ��������� ����� ����%��� ����� �� ������� ��� ���� ��� ������� ����������� �� �������4 ������4�4������� ����� TX-XH� C��HIV

(��� ��� ������4 �� ������������ ��� ������� ��������� �� :�4 �������� �� ��� ��������� �������������� ������ � �� ���4 �� ������� ��� =��� �� ��������� (� ����� �� ����������� �� ������� �� ���������� �� ���7���� �������� �� ������ ���� ����� ���������,� �������� �� ��� ��������� ��� �� ���������� ���� �� ���4 �� ������� ��� =��� 0EU5..1/� ������ �� �� ���������� �� ���7���� ��������� ���� �� ������ �� ���4 �� ������� ��� =������ ���������� � 1.5 ���� �� ������ ������� �� ���4 �� ������� ��� =��� ��� ��� ����� �����

Page 66: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

O> ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

������� ,� EU5.. ��� ��*�� ������������ ����� �

HZCRR =1

2N

N−1∑n=0

[sgn(ZCR(n) − 1.5avZCR) + 1] 0I�1

avZCR =1N

N−1∑n=0

ZCR(n) 0IA1

���� n �������� �� �� ���7��� ���������� N �� ������ ����� �� ���7���� ��������� �%�������� � ��������� sgn[.] �� �������� %�� ������� 1 �� −1 ������� �� ����� �� ZCR(n) �� ������ �� ���4�� ������� ��� =��� ���� �� ���7��� �������� n5� ����������� �� 7��� ������� ���� �� ����������� ����� ������ �� ����%��� �� �9�� ��� ��������� EU5.. ������ ���� ������� ���� �� ������ %�� ���� �� ����%�� ,� ������ �������� �� ����������� �� �� ������� �������� �� ������� ������� �� ��� �������� %�� ��� ��� �� ����%��,� ���4���� �������� ��� �� ���������� ����� ��������� � �����!����� 0,+2).1 /� ������ ���� ���������� �� ���7���� ��������� ���� ��������� ��� 0.5 ���� ���� ������ %�� �� ������� ����������� ��� ��� ����� �� ��� ������� ,� ,+2). ��� ��*��� ������������ ����� �

LSTER =1

2N

N−1∑n=0

[sgn(0.5avSTE − STE(n)) + 1] 0I�1

avSTE =1N

N−1∑n=0

STE(n) 0IB1

���� N �� ������ ����� �� ���7���� ��������� �%�������� � � �������� STE(n) ��������� ������ ���7��� �������� n �� avSTE �� ������ ������� �� �� STE ��� ��� ����� ����� �������,� ,+2). ��� �������� �� ���������� �� EU5.. ���� �� ����������� �� �� ������ �� �� ������%�� ���� ����� ���� �� ��������� ��� ��������,�� ������� ��������� ����� �� :�4 �������� ��&� ��*�� ���� �� ������� ����������,� ����������� �� ����� ��� ��*��� ����� �� ����������� �� � �%�� ����!����� �� �������,�� ����!������ ��*���� ���� � O>>!�>>>E=� �>>>!A>>>E=� A>>>!�>>>E= �� �>>>!B>>>E= ,������������ �� � �%�� ����!����� ����!7��� ��*��� ��� ���%������ �������� �

bpi =1N

N−1∑j=0

max(ri,j(kp), ri,j(kp) − c),∀i = 1, . . . , 4 0IO1

���� bpi �� ������ �� �� ����������� �� �� ����!����� i� N �� ������ ����� �� ���7���� �����!���� ���� �� ���� ������ c �� ��������� ������� ���� �������� ���9�� �� ������� �] �� *�����������!��� T�-HOV� ri,j(kp) �� ��4���� ����� �� �� �������� ����������������� ���������� ������ ����!����� �������� i �� �� ���7��� ��������� �������� j �� kp ������4 �� ��4���� �����[ ����� ���4������ �� ����������� �� ����� ���� 1 ���� ��� ������Q�� �� 0 ���� �� ��� ���� ���������� 5� ����������� ��� �� ��� �������� ���� �� �������������� �� �� ����%�� �� �� �����)� �9��� ��� ������� �� �� ����������� ������ ������� ���� �� ��� �� �� �������� �� ����%�� ������= ������� ���� �� ��� �� ������,� ������� ����������� ������� ���� ��� ������4 ��� �� ���������� �� ���7���� �������� <�����7��� ��������� ��� ���������� ����� ������� �� �� ��4���� ����� �� �� �������� ���������!�������� ���������� ��� ��������� � �� ������� ����� ;������������� ��� ������� �� �� �����������

Page 67: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� ��������� ���� O�

���� ���� ������� �� �������� �� ����� %�� �� ����%�� /� ���� ���� ����� ���� �� ������������������� �� ����� �� �� ����%��

(��� ���� ������ � �� ������*������� ��� ������� �������� ������� �� ������ �� ������ ������� ������*��� ���� *������� �� ����%��� -���� �� +������� ��� ������ �� ���!������ ,� �� ����� ����� ������*������ ��� �������� ��� �� *���� �O ,� �������� � ��� �� ������4����� ��������

HZCRR LSTER SF BP NFR

Extraction descripteurs

Signal d’entrée numérique

Discrimination Parole/NonParole Musique, Bruit et Silence

Classification

Silence

Parole ?

Segmentation finale et lissage

Parole Musique Bruit

oui

non

��� �O Z +� ��� �� �������������� �� �� ��� ��� �� ������*������ �� �� ������������ �����T,8U>�V

� ������������ ��� �������� �� ������ �� �� ��� ������ ,�� ������������ �������� ���� ���� ��EU5..� �� ,+2). �� �� +C 0���� *���� �O1 5�� ������������ ���� �������� ��� ��� ��� �� ����������� �� �������������� �� �� ����������� ��� �� ������ ���������� ���� 7��� �4������ ,��������� ��������� ��� ��� ��� �� ������*������ ����� ��� �� �������� �� R!;������!;��� ���0R;;1 TCEOAV ���� �� ��������� k = 2 �� ��� ��������� %�� ��� ������� ��� ������������ ��������� ������ �������� ,� ������� �� ������*������ ������� ��� ����� ����(��� �� ������*������ �� ����%��� -���� �� +������ 0�-+1� ��� ������� ��������� �� �������

Page 68: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

OA ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

������ �� ��������� ���� ��� ������ ��� ��� ������� ��� ������������ ������ �4���������������,� �������� � ��� �� ��������� �� ������������� ����� �� ������ �� *���� �O� �������� ��F��� �� �������� �� �� ������������ ������ ������������ ,�� ������� ��������� %�� �������� ����� ��� ������� �� %�� ��� �����%���� �� ��� ���� ��� �������� %�� ��� � �������������%��� �� ���%����� �������� ������'��� $����� ��� ������� ��� ��*�� �� ������� ������ �������� %����� �����%���� ��� �� :�4 ����� �� ����� ����� %�� �� �� ����� �� ���� �� �������!����� �� ��� ������� �� ������� ���������� ��� ��������� ���7���� ������������ ����� ��� ���7�������� ����������� ����� ����� ���%������ �� ���� �� ��

,�� �4�������������� ��� ��� ������ ��� ��� ���� �� ������� ���������� ��� �� ����������� ������ ���� ��9������� ����������� ��� �� ��������� �� ����%�� �� ��9������ ������ �����%�� ��9������ ����� �� �����,� ����� ������ ��� �� ��4 ������ ���4 ����� ��� ��� �������� � ��������������� �� ��������� %����� ����� ���� ��� ����� ,�� ������������ �������� ���� �������� ��� �� ��������� �� *���� � 2��� �������� �� ��� ������� %�� ��� ������� �� ����������� ��� ��� ���

5����� $���� .�������� �� �������������� ����� ����%�� -����

����� HIBO% �OO% �>>%����%�� ��% H�>B% �P>%-���� �>BH% O>P% PBB�%

��� � Z .�������� �� �� ������*������ ����� T,8U>�V

������������ �� �� ��������� ��� �������� 5��������� ��� ��������� �F� ��� ��� ���������7��� ���� ���� ������������ � �� ��� ���� �� � �� ������ ��� �������� �� ������ �� ���� ,�������*������ ��� ������ ����� �� ������� ��� ������� � �� ����%�� %�� ��� ����� �����������%�� �� ������

1����� ��� ����

-��� �������� ��� ���� �4������ ���� �� ����������� ���� �� ������� ;��� ������� ���������� ������ T$-,>�� E5$>�� ,U8>AV 5�� ������4 ���������� �� ������������ �� ������4�!���� ��� :�4 ����� � ������ �� ������������ ������%��� ���� %�� ���4 %�� ���� ����� ����������� �� ������� ���������� �� 6���� ��4 ��� ���� �� ������������ ���������� ����� ���� ����!��%��� � ����� ���������� ������������ ,�� ��9������� �������� ���� ������������� �� �������������������� �� �������� �� ������� ���� ���� ��������� ������� ��� ������������ �����������

-)()( ,������������ �� ����� ���� �� ��������� �� ���������� �� ������

(��� ����� ������� ���� ���������� ��� ����� ����������� �� ������4����� �� :�4 ����� /������� �� ��������� ��� ������ ����� �� �������%��� �� ������ �� ������� �� �� ����� �������� ���� ����������� ����� ������� ��� ������4 �� TJ.+-HHV

Page 69: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� ��������� ���� O�

A���/�0� < 5���4�� ���< 9����� �� *� �4�� ��� 7A59*��8

(��� ��� ������4 ��� ������� ��������� �� ������ �� ����� ����� ����� ����� ��� ��%������� ����� �� ������� ����� ������ ���%���� ��� ������������%��� ����� �� � ������ ��� �� ��������� ��� ������� ��������� ������� ������ �� ���� �������%�� ��4 ��9������� ������ ���������������

,�� ������� ��������� ��� ��� ��� �� ������������ ����� �� ������� ����%�� �� ������������ ��� ��� ������4 �� TEXHB� +��H� ++HIV ;�������� ���������� ��� ������������ �������� �

Z 2������� � 5�������������� �� �� ���������� �� �������

Z -���� �������� � ,� ������ ������ ��� ����� �� ���%����� ������� ���� �� ��������&��%��� ������� P@E= 5������������ � �� ����%�� %�� ������ ���� �� ������� &��%���A>@E=

Z E������ � ,� ������ ���� �� ������ ���� 7��� ���3�� ��� ��������� ����� �������� �����%�� ���� �� ��� �� �� ����%��� �� ������ ���� 7��� ���3�� ��� ������� �������

,�� ������������ �������� ���� �������� � ��� ������� ������ �*� �� ������� ������� �� ���������� ��������������

,�� ������� ������������� ���������� ��4 �������� %����� �������� �� �������� ����� ��!���� /�� ��������� ��� ��� ��� �� ������������ �� ��������� � ������ ����� ��� ��� �4�������T..HOV %����� ��� ������� 5���� ��� ��� ��� ����� ��� ������������� �� ������� �� ��������� ����������� 0K���1 �� ��� ���F������ �C5 ����� ������������ <� ������ K�� ������� ���� � �%�� �������� %�� ���� ��� ���� ������������ ,� ��� ��� �������� �9�� �� ������������������ ���� ��� ����� �� ������ �� ����� ����� � O!�> ��������

)�*�� ��� ������� ������������� ����� � �� ������������ ��� ����� ����� %�� �� ���� �������� �� �� ���� %�� ����� ,� ��� ��� ���� �� L���� ���� �������� �� �������� ������������������ ��� ������4 �� T 5HV [ �� ��9������ ���� %����� ��� ������� ��������� � ������� ���K��� �� ���� ��� ������� �� ���@�� ��� �� 0E��1 ,�������� �� �������� � ������������ �� ������ �� �� ������ �� ������� �� �������� ��� �� ����� ��� ��� %�� ���� �� ���� �� ���4��� ���� ����� ���� �������� ���� ��� ����� �� ���%������ �%��������� � >!�A>E= ����� %������ ��� ������ �� ����� �� ���%������ ��� �� ������� �� �A>!A>>E=

,�� �4�������������� ��� ��� ������ ��� ��9������� ������ ������� ,�� ������� ��� �9��!��� ��� ������ �� ��� �� ��������� %����� ����������� ���� ��������*������ �� �� ���������������� ����� <�� ����� � ����� ��� ����������� ���� %����� ��������� � ���4 ����� �� ���4������ ,�� �������4 ��� *����� �I� �P� �H �� A> �������� �������� ��� ��������� ��� ��9������������� ��� ���������� �� ����� �� ��� ������� ,�� ������������ �F� ��� ���� ���� ��������!

;�� �� �������� ;�� �� �������� �������� ;�� �� �������� ���� ���������� ���� �O H;�� � �� ��,���� � � �> ��@�� H I

��� �I Z .�������� �� �� �������������� ��� ��������� ���� O �������� �� ����� ��������*�������� �� K�� ������� � TJ.+-HHV

������� ��������� �� ������ �� �� ���� �� ���� ��� ������ (�� ����� � ���� ������ �� ���� �������7��� ����� �*� �� ������� ��� ��� ����

Page 70: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

OB ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

;�� �� �������� ;�� �� �������� �������� ;�� �� �������� ���� ���������� ���� �O H;�� � �� ��,���� � � �> ��@�� H I+���� �� ��

��� �P Z .�������� �� �� �������������� ��� ��������� ���� �> �������� �� ����� ��������*!������ �� �� K�� ������� �A TJ.+-HHV

;�� �� �������� ;�� �� �������� �������� ;�� �� �������� ���� ���������� ���� �AA ��O;�� � ��> �>H,���� � �AP HA ��@�� P� IO+���� ��> �AA

��� �H Z .�������� �� �� ��������� ��� �������� �� ������ TJ.+-HHV

;�� �� �������� ;�� �� �������� �������� ;�� �� �������� ���� ���������� ���� 0E1 �O ��;�� � 0C1 �I �B,���� � 0C1 �I �� ��@�� 0�1 � �O

��� A> Z .�������� �� �� �������������� �� ����� �� ��������� TJ.+-HHV

G��� �� - �� 7G9,�8

(��� ��� �������� ��� ������� ��������� ��� �������� ������ � �� ����������� ��� ������ ������� ����� �� ��������� ������������ �� ��� ���� $����� ��� ������� ��������� �� ������ �� �%�� ����� ��� ��������� ����� ��� ��� ������*������ �� ��� �� ������Y����%��Y�����Y�������5���� ��� ��� ����������� ��� �������� �� ������ � �� ��� ��� ���������� �� J�������� ���� TJ.+-HHV �� �� ����� %�� J�������� �� ����������� ��� �� ������ ����� ���� �� ������*������

,� ������*������ ����� ������ ��� ���4�������� ���� �������� �������������� �� ��� �������������%�� � ������ �� ������������ ��� ������ ,�� ������������ ��� ������ �������� ���� �

Z �� +������ 5������� .���� 0+5.1 � ,� ������ �� ���� �W �� � � �� �������� ���� ����������� ��� ���7��� ����� ����� �� ���4 ��������

Z �� +���� �� C��%����� 0C21 � ,� ��� �� �� ����������� ��� �� ������� �� ���������� ����������� ����� ���� ��� ���7��� ��������� ����� ����� �� ���4 ��������

Z �� (������� ����� /����� $���� 0(-$/1 � /� ������ �� �������� ��� ������� �� ������������ ������ �� 40× 40 ��4��� ������� ����� ��� ������ $����� ��� ������� ��������� ����������� ����� ��� ������ �*� �� ������������ ����������� � ��������� ���� �� �������(� ����� ��� ������� ��������� ��� ������ �� ����� �� 8 × 8 ��4��� �� ��������� ������7�� �������� ���� � ���� ���� ���4 ������ ������������ ,� �������� *���� ����� ���4������ ��� �� ����� ��� ��������� ���� � ���� 5� ����������� ��� �4����� ������ ��� ���4

Page 71: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� ��������� ���� OO

�������� ���������

Z ��� J��������� �� 5�����Q�� +������� 0C5J1 � ,� ������Q�� �������� ��� �� ������ �� ��������� ������� �� ���� ������ ��� ���������� �*� �� ������ �� ������ �� ������%�� �� ������� ��� ������������ ��� ������� ����������� �� ������� ��� �������� �� ������Q�� ����������� ��� ����� �� ���4 ��������

,� ��� ��� �� ������*������ �������� ��� �� ������ �� �������� ,� ��������� ������� ��� ��������� ,�� ������� ���������� �� ����� � �� ��������� �� ������ T�$5>�V �� ������������� ���������� �� ����� �� �� *� ���� � �%�� ����� �������� ,�� ������ ���� ��������� ���������� ����� ����� �� ���4 ��������� �� ���� � �%�� ������� ���������� ��� ������������������� ��!������ ��� ������� 5� ������� �� ������������ ��� ������ �� ������ �� �������� %���������� �� ����������� �������������� � � ����� ��� ������� ������ ����%��� -���� �� +������,� ������ ������� ��� ����� %�� ������� �� ���� ��� �����������

,�� �4�������������� �� ���� ������� ��� �� ������*������ ����� ����� ������� � ������ ��!��%�� �� -���� ,� ������ �� �������� � ��� �����'�� ��� �� ������ �� �> ������� ������� ���> ������� �� ������� �> ������� �� ����%�� �� �> ������� �� ����� ,� ������� �� �� *���� A������� ��� ������������ �� �� ������*������ ���� �� ��� ����� ,�� ������� �� ���� �����������

5����� ����� 2���� �� ������� 2���� ������*� �� ������� .���������%�� O P�% ����� �A �>B PI%-���� �A ��A H�%

��� A� Z .�������� �� �� ������*������ �� ������ ����%�� �� -���� TE+>AV

��� ��� �� ���4 �� ������� ������� �� ���� ��� ��� �� ������*������ )� ������ � ��� ������� �������� ���� ����= ����������� ���� %�� �� ������ �� ������ �� ���� ���� ����= ������ 2����������� ������ �� ���� ����� %�� ����� ��������������� ��� ����= ����� �� ������������� (�� ����� ����� ������ �� ���� �������� ���� �� �7�� ������������

-)()- ��������� ���� � ����� �����������

(��� ����� ������� ���� ���������� ��� ����������� ������� �� ������4����� /� ������ ���� ���� �� ����� ���� ������ ������4����� ���� �� ��� �� ����� ��� ���� �� ������� ��!��� �� �� ������� ����� ��� ��%�7��� � ����� ���� �� ������� ���� ��9������� ������ (��������4 ������4� ��� �� � ���� ���� �������� ���� �� ����������� ����� ��� �4�����TE5>��� ��>A� ��>A� +-G>BV 5���� ��� ��� ���� ��������� ���� ��� ������ ���� ���� ����!������� ���� ���������� ��� ������4 �� TE5>��V � ����� ���4�����

(��� ��� ������4 �� TE5>��V� ��� ������� ��������� �� ������ ������4����� �� �� ����������� �� ���������� ������������ %����� ��� ������ 5G;(/ ,� *���� AA �������� ����� ���������� 5G;(/ 5���� �� ������ �� *���� AA� 5G;(/ ��� ������� �� �

� <� ������ �� ����������4��� %�� ������ �� ������ ������ ���� ��������� ����������� ���������

A <� ������ �� ������������ �� ������ �� ����%�� �� ����� ���� ���� �� ����� �� �O��������

� <� ������ ������4�����Y������������ �� �� ������

Page 72: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

O ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

Vidéo

Indexation Parole

Segmentation en

phrase

Indexation Musique

Segmentation

Musique

Fichier MPEG−7

Extraction Audio

Classification

Parole/NonParole

��� AA Z $�� �������� �������� �� ������ 5G;(/ TE5>��V

B <� ������ ������4����� ��� �� ������� ��� �������� �� ����%��

O <� ������ �� ���������� ��� *� ���� � )K!I

)� �� %�� �������� �� ������*������ ����� ������ �� ��� ������� ��� ������� ��������� ����� ��� �� ������*������ �� ������ ����� ��������� ���� TE5>AV $���� ��� ������� ������������� �������� ������ �*� �� ��� ����4�� ,�� �������� �� ��� ������ ���� ������� ����!������*���� ����%�� �� ��� ����%�� �*� �� ����� ��� ����4����� �� �� ����%�� ���� ����� ���� ��������

,�����4����� �� �� ������ �� ��������� �� ���4 � ���� � �� ������������ �� �������� ����� ��������� ������%�� �� �� ���������� ��� ���� ���� ,� �������� � ��� ��� ����� ������4�������� �� ��������� �� ������������ ��� ������ � ������ �� :�4 ��� ��������� ��� ���!��������� ��� ������� ��������� ���� �� ������� ����� ���������� ��� ������ �� ��������������� ���4 ���7���� ��������� �� ������ ,���%�� ����� ������ ������� �� ������� ����� �����

Page 73: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"��� ��������� ���� OI

��� ��������� ��� �������� 5���� ������ � � ��&� ��� ����������� ����� ������ ���� T+8-+HIV���� ����� �������� � ���� ������������ ��7��� ���������� �� ������� ,�� ������� ������������� ��� �������� ��������%�� ����� ��� �� ������� ������������� �������� 0-/51 �������� ���� ���������4 �� TK,$>�V 5���� ��� ��� �������� � ��� ��� �� ��� ������ �� ������ %�� ���� �� ���������������� ��� ������ �� � �������� �� ������������%�� �������%��� ��� %�� �� � ���������� �������� C���������� ��� ������� ����������� �� ��� ��� ����� ��� �� ������ �� ������������ ��������� �� �������� �� R���-��@!,������ 0���� $���4� -�1 ���� ��� ��� ��� �� ������������%�� �� �����,� ��� ��� �� ������ �� ����� ������%�� ��� ����� ��� ������� �� �� ������������ ��� ����������� � ���� ,�� ��������� ��� �������� �� � ���� ������������� ��4 � ��������� �� ���������� �� ����� ����� %�� �� � �������� �� � ���� ������%�� ���� �� �7�� ��������

,� ���������� ��� ���� ���� ��� ������� � ������ ���� ������ �� .������������� $�����!��%�� �� �� ����� 0.$ 1 ��� ��� �������� �� � ���� ������� ������������ ��� ���������������� ��� ��� ���������� ���� ���� �������� ���� �� ��� ������� ��� �� .$ $����� ���� %������� ���� ���� ������� �� ���� %�� �� ��� ���� ������ ���� �� A ���� �� %���� ��������� ���� �� A��������

,� �������� � ��� �� ������4����� ����� �������� ������4����� �� �� ����%�� 5���� ����4�!���� ��� �������� ���� �� ��� �� ����� ��� ���� �� ������� �*� �� ������� �9������ ��� ��%�7����� ���������� ��� �� ���� �� ����%�� (��� �� ������ 5G;(/� ��� ������� ��������� �������� ������ ��� �� �������� R���-��@!,������ 0R,1� �� �7�� ����� %�� �� ������� ���� ������4�������� �������� ��� ������ ,� �������� R, ��� �������� ��� ��� ���7���� ��������� ����� ��������� %�� ������ �� �������� ������4 ���� ��� �������� �� �� ������ ��� ��� �������� �� ��������� �� �������� �� ������� ���� ��� ���7���� ����� �������

)�*�� ��� ������� ��������� ��� �������������� �� �� ������ %�� ������ ��� ������� ����� ����4����� �� ����� ����� ���� ��� ����� �� %����� ����� ��� &���� ��� ���������� ������ �'�� ������������ �������������� ,� ���� �� ������� ����� ���������� �������� ��� ���� ������ B>> ����� �� ���������� ����4�� ��� ���� ���� ���� ����������� �� ���������� ����������������� ��� �������� �� ���� ��������

-)(); ������ ������� ����������� �� ����������� ����

(��� ����� �������� ������� ���� ���������� %���%��� ���� ��� ������ ������������ �� ����!��4����� ����� ���� �� ��������� ��� ������4� ���� ��������� T$DHP� +$D>A�V� ������������ �� ������������ ���� ����� ����������� ��� ������4 �� T25>B� )��>�� E5>��V

(��� T25>BV� �������� ������ �� ������������� ���� ������� �� �� ������*������ ������ �������������������� �� �� �������������� �� ����� �� ��������� ���� ��� ������ ������� �� &���!���4 ��������� ���� �� ����� �� �� �������� ������������ 2.)5 A>>� 2��������� ��� ������� ������������ ���� ��� �� ��������� �� ������������ �� �� ������*��� %�� ��� �� �������� �� ���!�7��,� �������� ����� �������� � �4������ ��� ������������ ����� ���� ��� ���7���� ����� ����� ��A> ������������� ,�� ������������ ��� ������ �������� ���� �� ������Q�� ��������� ��� ���F�������C5� �� .���D9 ����� %�� ��� 5��F������ �� ��������� ,������� 0, 51 T��@HOV 5����������� ������*������� ��� ������� ��� ������� �� ������ ��� ��� ��� ����� ��� ������������� ��� ���!����� �������� ��� ��� 0+J�1 T(E+>>V 5���� ��� ��� �� ������*������ ��� +J� ��� ������ ��� �� ������*������ ����������

Page 74: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

OP ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

,�� �4�������������� ��� ��� ������ ��� �� ������ ������ ��� 2.)5J/( A>>�� �� %�� ���!������� � �A> ����� �� ����� �� &������4 ���������� ��� ��������� ���� �� ������� �� IP% �������� ���� �� ��������� ��� ���4 ��������� �� IB% �� ������ ���� ��� ���4 ���������� 5����������� ���� ���� �������� ������ ���� �� �� ������ �� �� �� ��� ���� �� ������ �� 2.)5J/(,�� ������� ��������� %�� ��� ��������� ���� ������ ���� �������� ���� TE�>�V

(��� �� � ��� �� T)��>�V� �������� ������� ��������� ��� �������� ����������� �� ����!��4����� ����� )� ������������� �� �������������� ��������%�� ��� ����������� �� ����%��,� �� ��� �� �� *���� A� �������� �� ���� �� �������������� �� ������� ��� �� ����� ����

d’entréeSignal

traitement

Pré− Extraction

Descripteurs

Entrainement

du système

Classification

Résultat

��� A� Z +� ��� �� �������������� �� ������� �� �������������� ��� ����������� �� ����%��T)��>�V

��� ������������ ��������� �� � � ��� ���F������ �C5� �� ������Q�� �������� �� �� ������� �� ����������� �� �� ������������ ��������� ��� T2��HOV(��� ��� ������4 �� � ��� �������� � �4����� ��9������� ��� ���� �� ������*������ ������ %���� ��� ��� ��� R!������� ��� ���� ���� �� 0R;;1� �� ���� ��� ������� �� ������� ��������0K��1 ,������� � ����� ������� �� ������� �� C�� �� T���HPV ���� ������� �� ������� ������������������ ��� ������������ � ��������� ��4 ��� ���� �� ������*������,�� �4�������������� ��� ��� ������ ��� ��� ���� �� ������� �������� %�� ���������� �BHP����������� � �������'��� ,� ������� �� �� *���� AB ������ ��� ��������� ������4 �������,������� ���� ����� ��� ������������ ���%������ ���������� �� ������ ���� �� ���� ���������

��� ��� �� ������*������ .�����R;; II%

K�� 0������� B1 HI%

��� AB Z .�������� �������4 �� �� �������������� �������������

��� ��� �� ��������� �� �� ��� ��� �� �������������� � ������ ��� ������� ������� 5����� ��������� ���� �� ���� ��F������� ��� � �� �� ������ ����������� ���� ������� �������� ��� ������������ �� ������� �������� ���

)�*�� ���� TE5>��V ��� ������� ���� ���������� ��� ��� ��� �� �������������� �� �����

Page 75: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

"�"� ���� ���� OH

��� ��������� ���� ��� �������� �� ������ ��� ������ ����� ,� ��� ��� �������� ��� ��������� ������*�� ��� �������� ������ �� ���4 ������� � �������� ���� �� �����,�� ������������ �������� ��� ���� ��������� ������� � ������� �� �� ������ /� � � ���� ��� ��!�F������ �C5 �4������ ��� ��� ���7���� ��������� �� �>�� ,�� ������� ��������� �� ������ ���������� � ��������� ���� �� ����� ��� ��� �� ������*������,�� �4�������������� ��� ��� �9������� ��� ��� ���� �� ������� ���������� �� ��������� ����!����������� �9������ ��� ��� �������� �� ����� ����3����� �� ��������%��� ,��������� �� �� ������ ������� �� ���� � ��� ����� ������ �� �A> �������� ���� A ����� ,� ������� �� �� *����AO ������ ���������� ��� ��������� ������� ,�� ������������ ���� �%���������� %���� ��������

+����� .����� 5����� E���� .����� 5����� C����.���� ����3���� HBI>% PPIO%.���� ��������%�� H��B% PH�B%

��� AO Z .�������� ������4 �� �� �������������� �� ����� �� ��������

�� �� ������ ����3���� �� �� �� ������ ��������%�� /� ��� �������� �� ���� %�� �� ������� �������� ��� �� ������� ����� (� ����� ��� ������������ �������� ���� ������= ����� ��������� ������ �� �� ���� �������� �� ��� �� ������ �� �� ��� ����

!'! *���������

)� ����������� ���� �� � ������� ���� ����� �� ������ ������������ ����� <� ������� ��!������ �� ������������ ��� ������ � ��������� ������4 �� ������ ��� ������*������ ���������� ������ ����%��� -���� �� +������ (������� ������������� ����� �� @�������� ���� ���� ���!��*%��� ���� ��������� �"� �� ,� � ��4 ��� ������������ ��� ����������� ��� ��� ��&������ ��������4����� �� �� ����� ������ ;��� ������ ���� ���� �� ����� �� ����� � ��� �� � ��4 ��������������� � ����� ���� ����� �"� � ������4����� �����!�����

Page 76: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

> ������� "� ���� �� ���� �� ���� #�� �� �� ��������� ��� $ �� ����

Page 77: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� �

# � �� ��� ��� �� %���������� � ��� ���&�����

(��� �� � ������� ���� ���� ����������� ��4 ��� ���� ��������� ���� �� ����������� ���������� ������4����� ��� �������� ������������ ��� ��������� �����!����� � ������� ���&����� ���:�4 ����� �� ����� 5���� �������� ��������� �� � ��� �� ��� ��� � ��������� ���� �� ������������ �� ������4����� ��� �������� ���������� �������%��� ;��� ������3��� ����� �������� ��� ��������� ���������� �� ������ ��� :�4 ����� �� ����� T+,HIV� ���� �������� ������ �������!����� ������4����� ����� %�� ��%������� ��� ������� ��� ��������� �� ������4����� ��������� ������������ ���� ���������� ��� �� ����� T2 HH� E5�R+>�V

�������� �� �������� ,��-./

(��� T+,HIV� ��� ������� ��������� ��� ��� ��� ������4����� ����� �� ������ ����� ������������ ���&����� ����� �� ����� 5�� ������4 ���� ����� ��� �������� ���� �� ������� ��������4����� ����� �� ������ ��� ��������� �����!�����

,� �������� ������ �� �� ��� ��� ��� �������� ��� �� *���� A � J+5( ���� J���� + �� 5��(�������� +5( ���� + �� 5�� (�������� JC) ���� J���� C������� )4�������� +5 ���� +������������ ��� 5 ��������=����� +( ���� +������ (�������� + ( ���� +���� (������� �� �(���� ����� (������� � 5���� �������� ��� �� *���� A� ��� :�4 ����� �� ����� ���� ������� ��������� ��������� �� ������������ 5��������� �� :�4 ������ ��� ������� ��������� ��� ����!��*������ �� %����� ������� � +������� ������ ����%�� �� -���� 5��������� �� ������*��������� ��� ��� �������� ��� �����!������ 2��� �������� ��� �������� �� ������� ���� �������� �������� �� ������ ��������� ,��� �� �� ������� ������ ��� ������� ��������� �� ������ ������!����������� ���� ���������� ��� �������� �� ������ ����� ���4 %�� ����� ������������ ������ ���%����� ����� ������� $���� %���� ���� �� �� ��������� ����� ��� �������� �������4 ���������������� � ������ �� �� ������ ����������������� )�*� ��� �������� ������� ���� ��������!%������ ���%��� ����� ��� �������� �� ����� 5��������� ��������� �� ������4����� �� :�4������ �� ������ ��������� �� ��9������ ��� ������� �� ��������� ����� ���4 ������ ������������*� �� ������� ������������ ��� ���������� ��� ����� �� �������

,� ���� ���� ����� �� �� ��� ��� ��������� ���� ��� ������� �������� �� ������ ��� ��!���������� ������ ��� �������� ����� �� ����� $����� ����� �� ������ �� *���� A� �� ����

Page 78: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

A ������� &� ���� �� ���� ��� �������� ���������� �����'����

SignalVidéo

AudioSignal

VSCD

SC

Silence

SD

0

1

1

SCD

VFE

MDBruitNon

SPDSilence Parole

Non

cuts

ParoleMusique

��� A Z +� ��� ������� �� �� ��������� ��� ������

J+5( ������� ���4 ������� �� ����������� ���� � ����� ��� ������ �� �� ����� 5�� ���4������� ������������� � �� ����������� ��7��� ��� ���������� ������� �� �� ����������� ��7������ ���������� ��������� 5�� ������� ������������� ���� �9������ �� �������� �� �� ������ �� ����9������ �� ��������� ����� ���4 ������ ����������� (��� �� ��� ���� ���� ��� �� �� ����������� ������� �� ���������� �� ����������� ����� ���������� ������� �9����� � ������� ������������ ����� ��� �� %�� ��� �� ������������� �� �� ����������� ����� ����� ����������� � ������������� ���������� �� �������� ����� �� �7�� )������� �� �������� ��� ������ �� ���� +5(����� %���� ������� ������ �� +( ����� %�� ������� �������� ��� �������� �� ��� � �� ��������� ������� $����� � ������ �� ���4 ������� λ1 ���� ��� ����������� �������� �� λ2 ���� ��� ������!����� ����������� ��� ������� ������������� �� ������*��� ��� ����������� ����� ��� �� �������� ���� ��������� ��� ����������� �������� ��� ������ �� ������ JC) 0���� *���� A1 %�� �� �4��������� ������������ ����� ��� ��������*������ �� ����&�� �� ���� ��������� ���� � �%�� ���� ��������� ,� ��������������� �� ����&�� ��� ������� � ������ �� �� ����������� ���� ������� ���� ������������ �� �� ����� ,� �������� ��� ������ �� ������ +5 ����� %�� �� �������� �� ��������*������ �� :�4 �����

)�*�� �� �������� � ��� �� �� ��� ��� ��� �� ������ ��� ������������ ����� �� ����� ,��������� �� ������� ���� ��� �� ������ +5� �������� � ������� ��� ������ �� ����������� �������� ����� �� ������� ��&������ <�� ���� %�� ������ ��� ������ ��� ��� ������� �� ������ �������� �4����� ��� ����� ��� �� � ����� ��� ������ ����� %�� �������� ������������ ������������ ��� ������������ 5�� ������������ ���� �� ������ ����&��� ��������� �� ������ �� ������������ ���� �� ����%��� ��� . . .

,�� �4�������������� ������ ���� �� ����� �� ��� ������4 ��� ��� �9������� ��� ��� ������ ������� ����� �������� �� �

Z O ������� �� &������4 ��������� ���� ��� ���������� ������ �� ��� ����������� �������� ^

Z O ������� �� ����� ��������� �� I ���������� ������ ��9������� ���� ��� ����������� ������������� �� ���������� ��

Z �> ������� �� *�� ���������� ��� ����������� ����� �������� �� ����������

Page 79: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

,�� ������� �� ���� ����������� ��� ��� ��� ������� �� ������ �� ��������� ;� ���� ����������%�� �� ����������� �� ����������� �������� ��������������� ���� �� ������� �� ��� ������������� ������������ �� �� ��� ��� ������� �� �������� �� ���� �� ������ ����� $����� ��� ���������������� ��� �� ���� %�� ���&��� �� ��������� �� :�4 ����� ��� �� ������ ��������� ���� ��������� ������ ������������ �� ��������� (� ����� ��� ������� ��������� %�� �� ��������� ��� ����������� ���� ��� &������4 ��������� �� ��� ���������� %�� ���� ��� *���

"�����0 "1���� �� 2��� ,""23�/

(��� T$$X>�V� ��� ������� ��������� ��������� �� ������ �����*%�� �� ����� � ��� �������� �������� ,� ��� ��� �������� ���� ����� � �� ���� � ��������� �� :�4 ������ ������������ ���������� �� ����� ��������� �� ������� � ��������� �� :�4 ����� �� � �� ������*����������� ,�� ������� �� ���@�� ��� �� ���� �������� ���� �� ��������� ��� ���������� �� ������ ���������� ,�� ������� ���������� ��� ��*��� ���� ������ �� ����� �� �������� ����� �������� ���������� �� ����� �� ������� %�� ����������� ��� ������������� ����� ��������� $�������� ������� ���������� ��� ��� ��� %��� ���� ������� ������ ������� ��� ���������� �� ����� ��������� ���� �� ���������� �� ��� ��� ����� �� �������� ��� ������� ������ �������� ������ ����� ����� %�� �� �������� �� ������ ���� �� :�4 ����� ,������� � ���� ���� ������� ������������ �������������� � �� �������� �� ���������� �� �������� �� ������ ���� �� :�4 ����� �� ������ �W �� ������� �� ����� $����� ��� ������� ��������� � ������4 �� ������4��� �� ��������� ����� ����� �� ��� ��� �� ������ �� ������4��� ��� ����� ��������� ��� �� ��������� ��� ��������� ���� �������������� ��������� �� ��������� ��� :�4 ���������� ���� �4������� (��� ������� �� ��� �������� ��� ������� ���� ���������� �� ������ ����� �� ������4��� ����������� ���������*������ ����� �� ������� ����%�� �� ������� ���� �� ������ ���� �� ��� ��������� ��� ������� ��� ������� ���� �� ������ ����� ��� ����� � ���� ����� �"� �� ��� ������� ��������� ���������� �� ���@�� ��� �� ,�� ������� ��������� ���4 ���������� ��9������� ���� ������������ ������ �� ��������� 0���� *���� AI1 ,� ������������ ���� �� *���� AI ��� �� �������� � )+2���� ����������� ����� ������ (/$ ���� ����� �� �������� 2.$ ���� ����� �� ������ ��;D; �� "������� �� �������

5��������� �� ������ ���� �!�!������� ��� ������� &����*��� ���� � ��4 �� ������ %�� ���*��� ������� 7��� ��������� ����� ��� ���������� �� ������ �� �������� �� �� ���������� 0����� ��������1 ���� �� ���� ������ ������������� �� ����� �� ���� ����� ,� ������ ������������� ���� ������ ����%���� ������ �� *�� ����� ����� ������� �� ������ �� �������� �� �������� ���� �������� ,������������� �� ������� ������ ����� %���� ���� �����'��� �� �������� ������ �� ������� � ������ ,�� ��������� %�� ���� ��������� ��������� ��� �������������� ������������ �� ��������� ��� ������ �� �������� �� �������� �� �� ��������� �� �������� ���@�� ��� � (��� ���� ��� ���� ��� ����� ��� ��� �9������ ��� �� ������ ����� � )K!I���� ��� ������� �� ���� ����������� ��� ��� �� ������ ��� �� %�� ��� �� �� ����������� ��������������� ����� ��� ���4 ���������� ��� ������� �� ���@�� ����� �9���� ������ ��� ���4 �������� �� ����������� �%�������� (������� ���� %�� �� ������ �� ����������� ��� ����= �����,�� ������4 ��������� ��� �������� ��� �� ������ ����������� �� ������ ��� �����%����� ����������� � �� ������ ��� �� �������� ������ ��� ������ ���� ������� ���������� (� ����� ������������� �� ��� ��� �������� ����� ��� ������� �� ��9�������� ����� ��� ������ �� ����������� ������ �� ��������

Page 80: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

B ������� &� ���� �� ���� ��� �������� ���������� �����'����

(1−Pe)

(1−Pe)

Pe

Pe

(1−Pd)

(1−Pd)(1−Pd)

Pd

PdPd

(1−Pt)Pt

(b)

(a)

(EST) (DIA) (TRA)

(NON)

(DIA)

(DIA)

.......

��� AI Z (��������� ������ ��� E�� ���� �� ������������ ��� ������ �� ��������� ���� ���*��� � ������� 0�1 K��� �!�!������ �� 0�1 5���������

4��0 *5��(0 4���(0 6������0 ��� �� ����(�� ,4*�6+3!/

(��� TE5�R+>�V� ��� ������� ���������� ��� ��� ��� �����!����� ���� �� ��������� ��&������4 ��������� �� ������ (��� ��� �������� ��� ������� ��*������� ���4 ����� �� ����� �

Z ,�� ������ %�� ������������� ��4 �������� ��������� ����� �������� �� &������ ���������� ���!�7�� ��

Z ,�� ������ %�� ���� ��������� �� ����� ����� ��� ����������� ��� ����������� ���

,� ��� �� ��� ������4 ��� ���� �� ��������� �� �� ������*�� ��� ���4 ����� �� ������ �������� �������� � �������� ��� ����� ��� �� ������ ��������%�� ���������� �� ������ ��� ��������*� ��������� �� ��������� � ���������� �� ������������ ��� ��������� �� ����� 5� ������������� ��� ������� �4������� ����� ���� ��������������� �� �������� ��� ������� ���� ���������� �������� ��� �� �������� �� ��� ����� ��������� �� ����� ,� ������ ������ ��� ������������� qλ(b|x)� �W b ∈ {0, 1} ��� ��� �������� ��������� ������������� � �� �������� �� ��� �������������� �� ����� ���� �� �����4�� x �� λ ���������� ��� ���������� ������� (��� ��� ������4�x ���������� ��� ����� ������� 7��� ���������� ����� ����� ��� ������ �� ����� ��� � �%��x� �� �������� �� ������������ ��������� fi(x, b) = 1{gi(x)=b} ∈ {0, 1}� ��� ������� DW 1{.} ������ �������� ������������ �� gi ��� ��� ������ ����������� ����� ��������� �� ����� ��������� ��i!��� ����������� 5� ������ ��������� �� ������ �� ���������� ��4����� ;��� ������� ������������ �� ������ ��� ���%������ �������� �

qλ(b|x) =1

Zλ(x)exp

Pi λifi(x,b) 0I1

����∑

i λifi(x, b) ��� ����������� �������� ��� ������������ �������� ���� ��� ���������� �����λi %�� ���������� �� �������� ������������ �� ����������� ������4 i �� Zλ(x) �� ������� ���������������

Page 81: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

O

,������ �������� �������� � ������� ��� ���������� �� ���%������ I ��� ����� ��� ���������������� ��� ��� ��� %�� �������� � ��������� �� ������ �� �� �������� �� R������@!,������ 0����$���4� -�1 �������� � ������ �� �� ���� ��������������� %�� ���� ��� ������������ ��������%��������%�� P 5� %�� ����� ���%������ �������� �

λ∗ = argminλD(P ||qλ) 0II1

���� D(.||.) �� ������ �� �� �������� �� R������@!,������ ��*��� ��� �

D(p||qλ) =∑

x

P (x)∑

b∈{0,1}P (b|x)log P (b|x)

qλ(b|x) 0IP1

,� �������� ���� ��� ���%������ ��� �%�������� � ��4������ �� ������������� �� �� �������������� ��%�� �

LP (qλ) =∑

x

∑b

P (x, b)logqλ(b|x) 0IH1

,� ��� ��� ������������ ��� ���������� λi ��� ��������� ,� ��������� ������������ ����� &��!%��� �� ������������ �� �� ���������� 0���� �%������ IP1 [ � �%�� ���������� ���� �����λ�i = λi + Δλi ���� �

Δλi =1Mlog

{ ∑x,b P (x, b)fi(x, b)∑

x,b P (x)qλ(b|x)fi(x, b)

}0P>1

�W M ��� ��� ��������� %�� ������ �� �����\��� �� �������� �� �� �����������

$���� %���� ��� ������� ��������� ��� ��� ��� �� ��������� ��� ������������ ����� �� �������� ���� ���������� ����� �� ����� �������� �� ������������ ��� ����� ����� ����� �� ���������� ������������ ��������� C �� �� ������ ������� ���������� ��4����� q� �� ������ ����!7�������� � ��� ���&��� ���� ������� ����������� h ∈ C �� �� �� ����������� �������� α 5� %������� �

qα,h(b|x) =exp{αh(x,b)}q(b|x)

Zα(x)0P�1

���� Zα(x) �� ������� �� �������������,� ����������� ����������� h∗ � � �%�� ��������� ��� ��*�� ��� �

h∗ = argmaxh∈C{supα{D(P ||q) −D(P ||qα,h)}}= argmaxh∈C{supα{LP (qα,h) − LP (q)}} 0PA1

���� ��� ������������ ���������� �� � � ��������� �

Z �� ���%����� ������������ �� ������������ �� �����������

Z ���� � �%�� ������ ��� ������� ���� ����%��� �� ���� ������ ���� ��� ������ �������!����� �� ���� ���� �� ��������� �� ���������� � ���������� ������

Z ��� ���������� ��� ������� ���� �� ������ ���� ��� =���� ������� ���������� �� �������!���� ������� ������������� �� ����� �� �� *� ��� � ����� ��� �4�����

Z �� ��������������� ��� ������ ���� �� ����� ����� ��

Z �� ����� ��� �������� �� ������� ����� %�� �� ����� �� ������ �� ��������

Page 82: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

������� &� ���� �� ���� ��� �������� ���������� �����'����

)�*�� ��� ����� ��������� ��� ��� ����� � ������ �� ���� ���� �� ����� �� �� �������������������� 2.)5J/( A>>� ,� ����� ������ �� �� ���� �� ������� ����� ��� �� ��� �����%�� ��� ��� ��������� �� �� ������� �������� � ����� ���� �������'������ �� ������� �� ���BO ����� ��������� ���� ��� ����� ,�� ������������ �� ��������� �� �� �� ������*������ ����������� ����������� ��4 &������4 �� ���4 %�� ��� ������������� ��� ���� �� ������� �� I�%�� ������ �� �� P>% �� ��������� 5�� ��������� ���� �������� ���� �������� %�� �� %������� ��������� �� �� ���� �� ���� ��� ������

�������� �� *5��( ,�*33/

,�� ������� �� T+5>>V �4������ ��� ������ � �� ��������� ��� ������ �� ��������� ��������� ��� ��������� �� ���4 ������������� � ����� �� ����� /�� ���������� ���� ���������� ��������� ���� ������ �� ����� ����� �� ����� <�� ����� ����� ��� ��������� �������� ���������� �� %���%��� ������� ������� ���������� 5�� �7��� ������� ���� ������������������� ���� �� ���� ����� ����� �� ������� 7��� ������������� ��� %���%��� ������������<� � �������� �� ����� ����� ��� ����������� ��� ��� ��������� ��� ������� ��� ������������(� �7��� ��� ����� ����� ��� ��������� ��� �� �������� �� ����� ����� �� �7�� ���� �����!��%�� ,�� ������� ����������� �� ���������� �� �� � ��������� ����� ������� �� �� ������ �������� N���������� �� � �������� �� ����� ���������� � ��� ��������� ���� ��� ������� ��� ��������� )�*�� ��� ������� ����������� ��� ����� ����� ����� �� ����������� ��������������� ����� ����� �� ����� ,�� ���������� ����� �� ����� %�� �� ���� ��� �� ������������������������ ���� �������� ������� ,�� ������� �4������ �� ������ � �������� �� ���� C/CD0C����!/�!C����!D��1� ���� ������� ������� �� ���4 ���������� �

Z ,� ������� � �� %������� ������� Tm� �������������� ��������� ���� �� ������� ��

Z ,� � ��� ����������� 0��������� ����1 � �� ����� ������ �� ������ Tas� %�� ������������4 ������� �������� ��������� ���� �� �������

,� �������� ������ ��� �� ���� %�� �� ������� ������� ��� ������� �������� 0Tas1 ���� �� ����������� ��� ������� 0Tm1 ���� ������� �� �� �������� �� ��� ����� ��������� �� �����

5��������� �� ��������� ��� ���������� �� ����� ������ ��� ������� ���������� �� ������� ������ ��� ���4�������� �� ��������� �� ������������ ����� $����� ��� ��������� �� ����� ����� ������������� ��� �� ��������� ����� �������� �� ��������� D� ��*��� ���� � �%�� ������� �� �������� �

D(t0) =∑

i

bi 0P�1

���� bi �� ��������� ���9������������ �4��������� �� ����������� ����� i,�� ���������� bi ���� ���������� ��� ��������� �������� �

Ci(t) = expbit 0PB1

���� Ci �� �������� �� ����������� ���� �� ����������� i5���� �������� �� ����������� ��� ��*��� ���� � ���� ��� ������������� f � ��� �

Cf (mδ) = 1 − d(f(t0, t0 − tas), f(t0 +mδ, t0 +mδ − tas)) 0PO1

���� f(t1, t2) ����������� %�� ���������� �� ����������� f ���� �� ����� [t1, t2]� m ∈ [−N...0]�W N ≡ (Tm − Tas)/δ� δ �� �������� �� �� ���7��� ��������� �� d �� �����%�� ����������� ���

Page 83: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

I

��� ���������� ,� �����%�� �������� ��� ��������� ����%���� ������ ����� ����������� ����� �������� ����� ��� ���4 ����������5���� �� ��� ��� ��������� �� ������ �� ����������� ����� ��� ������������� ��� ������� ��*!������� ����������� ���� ����������� ����� ����� ��� ������������ �� �� ������ �� ��� ������� ��� ���������� ����� ��������� ��� ������� ��������� � ��9������ ����� ������� %�� �� ��������� ������� �� ����������� ���� �� ���� ��������� ���������� %�������%��� �4������������ ����!����%�� �� ���� ��� ����� ���4������������ ��� ���������� �� ��������� �����4������� ���������� ���������� ����� %�� �������� �������� ��� �������� ������� [ ����� %�� ����� ��!� ��� ����������� ����� �����%��� %����4 ������������ ����� ��� ������� ��������� ,�� ����������� ��������� ���� ���� ������ ������

[ ������ �� �� ��������� ��� ������ ������ ��� ������� ��� ��������� ���4 ������� � ������� ��� ���� ,� �������� �� ������ ����� ���4 ����� �� ������� a �� b ��� ��������� ��� �

R(a, b) = (1 − d(a, b)) × fa × fb × (1 − Δt/Tm) 0P1

���� R(a, b) �� ������ �� ������ ����� ��� ����� a �� b� d(a, b) ��� �������� �� ����������� ��������� ����� ��� ������ ���� ������������� ��4 ���4 ����� a �� b� fi �� ����� ����� �� ������������ ���� i ���� �� ������ Tm �� δt �� ��9������ ���������� ����� ��� ���4 �����$����� ��� ���������� � ��������� t0 ��� �������� �� �� ������ �� ������ ����� �� ���� %�� ��������� ����� %�� ������� ��� ���������� � �� ����� (� ����� ��� ������� ��������� ��� ������ ���� ������ %�� ��� ��*��� ��� �

C(t0) =

(∑∀a∈Tas,b∈{Tm Tas}R(a, b)

)Cmax(t0)

0PI1

���� C(to) �� ������ �� �� ������ �� ������ �� �� ��������� t0 %�� ���������� � �� ����� ���������� �� ������ ����� ������ ��� ������ �� ����� �� ������� �� ������ �� �� ����� t0 ��Cmax(t0) ��� ������ �� *4��� d(a, b) = 0 ���� �� ������� P

)�*�� �� ��� ��� ������� �� ������ �� �� ������ ����� � �%�� ����� ��&������ ������������ +� ��� ���������� � ��������� t0 �������� ������������ ���������� � �� ������ ����� ��C ����� ����� ���������� ��� ���%����� ����� ���������� �� ����� ����� ,� �������� ����� �� ����� ��� ������� �������� � ��������� ��� ��������� ��� ������ ����� �� ����� �*� �� ��������������� ������ ��������� ��� ����� ��� ������� ��������� �� ������� �� ������ �� ��� ��� � �� �������� � ������ 5�� ������� �� ����� �� ������ ��� ��������� ��� ���������� �� ������ ������� ����� �� ��� ��� � ��� ���������� ����� �� ����� %�� ������������� �������������� ���� ������������ ��� �� �������� �������� 2��������� ��� ������� ��������� �� ����� ������� �� ����������� ������������� ����� ��� ��� ��������%�� ���� �� ����� �� �������� 5��� �������� � ������������ ��� ������ ����� � ����� ��� ���������� �� ������ ����� �� ������ ���� � ���%����� �� ���������� ��� ������ �� ��� ������ ���� �� ��� �� ���������� ��� ������������ ������%�� �*��� ���������� �����%������ �� �� ����� ����� ��� ��������� ����� �� ����� ���������� � ������������ �� �����

,�� ��������� �4����������4 ��������� ���� �� ������ ��� ��� ����� ��� �� �������� �������� *�� �� *����� ,�� ���������� ������������ ��� ��� �������� ���� Tm = 31 �������� ��Tas = 16 �������� ���� �� ��� �� �� ��������� ��� ���������� �� ������ ����� �� Tm = 32 ���������� Tas = 16 �������� ���� ��� ������ ����� $����� �� ��������� ��� ��������� ���������� �� 4������ ���� �� ��� ��� � ��� ���������� �� ������ ��� ������� ���������� �� ������ �� PB%5��������� ��� ������� ��� ������� ����� ��� ��� ���� ������������� ����� ��� ��� �� ��������

Page 84: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

P ������� &� ���� �� ���� ��� �������� ���������� �����'����

��������%�� �� ��� �������� %�� �� ������ ��� ���������� �� ������� �� IO% ���� ��� ����������������� %�� ���� ��� �] �� ���� %����� ����������� ��� �� ����� �������� �� ������ �� %������������ �� ���� ���� �����%���� ������������ ��� ������������

6�7�10 8������0 8���0 ���� �� 9��:�� ,688+3!/

(��� TRKK+>�V� �� ��� �������� ��� ��� ��� ���� �� ��������������� ��� ���������� �� �������� ������ �� ������ ����� ��� ��� ������� �� ���@�� ��� ��

,� �������� ����� �� ��������� �� �������� � ��������� ��� :�4 ����� �� ����� ,� :�4����� ��� �������� �� ����� �� ������� �� ����������� ��� ����������� �� ���� ��� �� ������ ����������� 0��������1 ��� � �%�� ����� ��� ����� ��� ��� �4������ (��� �� ��� ��:�4 ������ ��� ������� ��������� ��� ������*������ �� ������ �� ������ ��������������� ���� ��� )�*�� ��� ��������� ���� ������� ��� �� ������ �� ���@�� ��� � �� � �%�� ���� ��� �����������*� �� ������� ������ �%�� ������� � � � ������ �� ��� ����� ����� �� � ��( ,�� ���������� ��������� ����� ������*������ ������ �%�� � ������ ����� ��������� ����� ��� ���� � �������� ���� �� ����� ��� ��� ������������ ��� ������������ ��� ������� ������� �� ��������%�� ��� ��������������� ��� ���� � �� ������ ���� �9������� ���� �� ������ ������ �� �������%�� ������� *4�� (� ����� ��� ���� � �� ������ ���� �������� ���� ������ *�� �� ������ �����%�� ���� �������� ��������� ���� (��W �� � ��4 ��� ������� ���������� ��� ������ ����� 0������!������1 ,�� ������� ��������� ����� %�� ��� ���� � �� ������ ���� �������� �� ����� ������� ���� � �������� �������� ������� �� �� �� ������ [ � �%�� ���� �� ��� ���������� �� ������������ ��*�� ���� ��� )� ��� ������� ��*������� ��� �����4�� �� ��������� ���� ��� ���� ��� ������ � ������ ��� ������ �� ��� �� ��� ������� �� &��

��� �� %�� ��� �� ������� ������ �� ��� �� �� ��� ��� �������� � �������� ��� ������ ����� �������� ��� ���4�������� �� ��������� �� ������������ ����� ��� ���������� ��� ���������������� ��� ��*������ ��� ������ �� ��� �������� )� �9��� ��� ������ �� ��� �������� ����������������� ��� ��� ������� ����= ������� �� ������� 0�� ������� �� ����� �� ������1 (������ ���� ��� ������ �� ��� ��������� �� ��������� �� �� ������ ��� ������ ���� ��� [ �������� ��� ������������� ��� ������� ��������� ���4 ����� �� ������������ ����� ���� ��������������� ���� �������� �

Z <� ������� ��� �������� ���������� F �� �� �� ������ �������� C ��

Z ,���������� A� �� ��������� �� �� ������ �� �� ����� �� ���

/�� ��*������� ����� ��� ������ �� ���������� ����� ��� ������ �4������� ��� ��9������� ������������ �

v(K1,K2) = w1|C1 − C2| + w2d(F1, F2) + w3|A1 −A2| 0PP1

���� w1� w2 �� w3 ��� ������������ �� d(Fi, Fj) �� �������� ����� ��� �������� Fi �� Fj ����������� ����������)� �� %�� �������� �� ������� ������ ��� ������� ��������� ��� ��� ��� ��������%�� �� ������!*������ �� :�4 ����� �� ������� ����������������� ������� �� ������ ����� �� ����%�� 5������� ��� ��������� �� ������� �� ����������� ���� � ����� ��� ������� ����������� 5 �%������ �� ������� ��� ����� ������� � �� ������� �� ������� ������� %�� �����*� ��������������� � ����� ��� ������� �������� ��!������ )�*�� ������ ���� ��� ������������ ����������� ���������� ��*������� B ������� �� ����� ���� ���� �� ������ � A ����������� ����� ������� �������� �� ������ �� ����!�7�� 0*��� ������ ������ �� �����1 �� ��� A ������ �� ������� ��� ������ ��

Page 85: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

H

���� 0����@� �� �������1 5 ����� �� ��� B ������� ��� ������� ��� �� ������ �� ���@����� � �� � �%�� ���� �� ������ �������� ��� ���������� ����� �� ���� ��� �� ����������� ,��������� ��*������� ��� ����������� ����� ����� �������� �� �

Z <�� ������ �� ���������� vt ����� ��� ������

Z ,� ����� �� ���� dt ��

Z ,� ������� ����� at� ��*�� ��!������

(� ������� ���� ��������� ��� ������� ��*������� �� ����������� ����� ������������ ot� ��� ����� ����� j� ��� �

bj(ot) = p(vt|j) × p(dt|j) × P [at|j] 0PH1

���� p(vt|j) �� p(dt|j) ������ ��� �� ���������� ����� �� P [at|j] �� ������� ������� � �%�������� ����� k �� �� ����������� �������� P [at|j],� ������������ �� �� ������*������ �� �� ��%����� �������� ��������������� o = o1o2...oT � ���������� ����������� ���� �9������� �� �7�� ����� � ������ �� ��������� �� �� J������ ,���%����� ������� �� ���� ��������� s = s1...sT ��� ������� ��� �

s = argmaxs ln(p(s)) +∑

t

ln(bst(ot)) 0H>1

(��4 ����� �� ������ ������������� �������� ������������ ��� ��� ��������� (� �������������%��� �� �������� ������ �� �� ���� ����� � ��� �������� ���� ��������������� �� �������� ������� ������ ���� ��� ����� ,�� ��������� ���� ��������� ���������� �� �������� �� ����������� ��� B ������� ��*���� � C���� ������ �������� ������ �� ����@ ,�� ������� �� ������ �������������������� �� B�%� O%� PA% �� HA% 6���� ��4 ������� �� ��������� ����� ���� ���������������������� � I�%� PA%� P% �� P% ,�� ������������ �F� ��� ���� ���� ������������������������ �� ���� �� ������� ���������� ��� ����= ������� ���� ���������� ��7��� ����� �� ������ ������ ��������������� �� ���� � �� ������ ��� ��� �������� ��9������ 0����� ������� ��=������1

*5��0 �5��0 ���� �� ;5��( ,*��;3�/

<�� ��� ��� �� ��������� ��� ������ ����� ��� ���4�������� �� ������������ ����� �� �������� �������� ���� T5+,U>AV ,� ��� ��� ��������� ���� �� ������ ���� �� ���������� �� ���4������� ������� �

Z ,� ��������� ��� ���������� ��� ����� �� ������� ��� ��� ��� ��� �� ������������ ������������� ��

Z ,��4�������� �� ��������� �� ������������ ����� � ����������� ��� ����� ����� �������� �����������

)�*� �� �������� *���� �� ��������� ��� ������ ��� ����� ������� ������� �� �� �������� ����� �������� �� ��� ������������ ����� �4������ ,�������� �� �� ��������� ��� ����������� ����� ����������� �� �� ������� �������� �

Z N���� � � ,� ��9������ ��4�� � ��4�� ��� �������� ���� ���� ������ �������� ������������+� ����� ��9������ ��� ���������� � �� ����� ����� ��� ���������� ����� ��� �������� �������������� �� ����� � ������� A

Page 86: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

I> ������� &� ���� �� ���� ��� �������� ���������� �����'����

Z N���� A � ,� ��� ��� ������� ���������� � ���4�������� ��� ��&��� �� ��������� ���������� ��� ������ �������� ������������ T5+UR>�V /� ��� ������ �� ���������� �� �������� ������������ ���� � �%�� ������ �������� ������������ /� �� ����� ���� %��� ����������� �������� ����� � ����� ��� ������ �� ������������ ���� �����%��� �� ����� ��� ������������ ���� ���������� �� ������� �������� ��� ���������� ����� ��������� �� ���� ����� +� �� ����� ��� �� ���� ��������� �� ����� � ������� �

Z N���� � � (��� ����� �������� � ���� �� ��� ��� ���� ����� � �� ������� �� �� ���������&��� ����� ���4 ������ ����������� +� ������ ������ ������ ��� ��&��� ������ ��� ���������� %���� ����� ����� ������� �������� ��� ���%����� ����� ����� ��� ��������� �� ������ �������

,� ��������������� ��� ����������� ����� ��� ����� ��� ���4�������� �� ��������� �� ����������������� ���� %�� �� ������0J1� ���������0 1� ��������� ���� ��� ����!������ 0+��! 1� �� ���4 ��������� ��� =��� 0U5.1 � �� ������Q�� �� �� ���%����� 0C51� ��� ����!������ �� ���%����� 0C-1��� :�4 �������� 0+C1� �� :�4 �������� 05C1 �� �� ����������� %�� ����%�� �� ������ �� ���7������������� ���� �������� �� ���7���� %�� ��� ��� ������� ���������� � ��������� ������� �� ��������� ���7���� �� ���������� 0,+2).1 ,�� ������� ��������� �� ��������� �� ����!������ �����%������ ��������� 0���� fs �� ���%����� ���� ������������1 � > ! 1/16 fs� 1/16 fs ! 1/8 fs�1/8 fs ! 1/4 fs �� 1/4 fs ! 1/2 fs (� ���� ����� ������������� ��� ������� ��� �����%�� %���� �������� �� �� ��������� ����� ������� ���� ��������������� %�� ��� ������ ����� ����%��� ������ ����������� ��� ���4 ������ ���� �������� ��������� ���� ��� ����!������

��� ��������� �� :�4 ������ ��� ������� ��������� �� ����� ������ �� ���7���� ������������� ���������� ��� �7��� ���7���� �� ����� ����� ������� �� ��������� �� ����� �� ��������9����� ������������ ��� � ����� ��� ���7���� ��������� ��� �������� �� ������������ ��������� �������� +� �� ������ ��� ��������� � >>>� �� �� ���4 �� ������� ��� =��� ��������� �O> ����� ����� ���7��� ��� ���%����� ����� ������� (� ����� �� ���� �� I>% ��� ���7���� �������%������ ����� ������� ���� �� �7�� ���� ����� �� ���� ���� ������ ��� ���%���� ������������ (� �7�� �� �� ���� ��� ������� �� ��������� ���7���� ���%������ ����� ������� ������ ����� ������ ��� ���������� �� ����� � >�� ������� ����� �� ���� ��� ��������� ����� ������ ������� ,�� ����� ���%��� ������� ���� ������� ���� �� ����� �� ��������� ��������� $����%���� ��� ������� ��������� �� ������������ ��� ������������ ����� �� ����� ������ ������� �J������ �������� �� +������� ,� ������� ������� �������� �� ��� ��� ����� ������� ����� %������ ������������ �

;�� �� ������ ������������J����� V ec(shoti) = mean(Vi) + dev(Vi) + vdr(Vi) + diff(Vi) �������� Pvec(shoti) = dev(Pi) + dev(Sub− Pi) + lster(Pi)

+lster(Sub− Pi) + diff(Pi) + diff(Sub− Pi)+������� dev(FBu) + dev(FCi) + diff(SFi) + diff(CFi)

��� AP Z ������� ��� ������� �� ������������ �����

(��� �� ����� ����������� mean ���������� �� ������ ������� ���� ����������� ���� �� ���������� i� dev �������!���� ���� ����������� ���� �� ���� ������ i� vdr �� ������ ������%������ �� ���� ������ i �� diff �������!���� �� �� ��9������ ���7���!�!���7��� ���� ��������������� �� ���� ������ i K�"�� � �� ������������ �������� ��� �� ������� 0*���� AP1� ��� ���������*������� ��� �������� ����� ���4 ����� ������� �*� �� ������������ ��� ������ 5���� ��������

Page 87: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

I�

��� ��*��� ��� �

Tsv =(mean(dist(svi, svi+1)) + dev(dist(svi, svi+1)))√

(2)0H�1

�W sv ����!7��� ���� V ec� ���� Pvec �� Svec� svi �� svi+1 ���� ��� ������� �� sv ��� ���4 ������������ i �� i+ 1 �� dist ���������� �� �������� )����������+� ����� �������� ��� ���������� � �� ����� ����� �� ��������� �� ���� ���������� ��� �������������%��� ����� ����� ��� ��������� �� �����

,�� ����� ��� ��� ����� ��� ��� ������ ����� �� *�� �� ��� &������4 ��������� ,����������� ��� ������ �������� �H� ������ ,�� ��������� ������� ���� ��� ������4 ���� �� ������� PH%�� ������ �� HA% �� ��������� 5�� ��������� ���� ���� � ���� ����������� �������� %����� ������ ������� ��� ��� ������ �� ������ ��F������� �������������� 5��������� ��� ������� ������������� %���� ������� ������ �� ������ ����� 0*��� �� &������4 ���������1 �� ��� ����� �������� ���� ��� ��� ��� ��� �4������ �� ���� �� ����%�� �� ���� ��� ��� ������ ����������

�������� �� <�(������� ,�<33/

(��� T,�>>V� ��� ������� ��������� ���4 ������ �� ���� �� ������������ ��� ��������������������� ,� �������� ��� ����� ��� ������������� ���� �������� ������� *��� ��������� ��������������� ���!������ �4������ �� :�4 ��������� � )K ������� �� ��������� ,� ���������� ��� ���� ����� ��4 ������� �� ���@�� ��� �� ,�� ������4 ��������� ���� �� ������ ������ ������� ��� ��� �������� ��������� ���� ���������������� ��� ���� � �� �������� ,� ����� ��� ��� ��� �� ��� ���4������ �� ������� ��������%�� ��� ���������� ���������� %�� ������������ ���� ��� ���� � �� �������� ����� � ��� ����� ������� ��� ����� ��� ����� �� ���� ������ 0������1� ���

��� �� �������� ��� ��� ��� ��������� *���� �� ���� ��������� ��� �4������ ��� �������!����� ���!������ ���� %�� ��� �������� �� ��������� ����������� �4������ �� :�4 ���������� )K!A ��� ��� ������������ ���� ����� �������� ��� ��� ������� ��� �� ����� �� �������� ����� ��������� �� ������ ,�� ������������ �������� ���� ��� ������������ �� ��������� �4������������������ �� :�4 ���������� � ������ ��� �������� �� ��������� �� �� ������ �� �����!����� ����� �� ����� [ ������ �� ��� ������������� ��� ������� ����������� ����� ������ ������������� %�� �

Z ,� ���%�� �� ����������

Z ,�� ���������� �� ������ � ��������%��� �� =���� ��������� ��

Z ,� �������� ��� ����������� ����� �� ���� ���

,� ���%�� �� ��������� ��� ����������� ��� �� ��������� ��� �� ������ �������� μ� ���������� ��� �������� �� ��������� ���� � �%�� ����� �� ���� 5���� ������� ��� ��*������ �

μ =1

MN − I

M−1∑i=0

N−1∑j=0

√v2x(i, j) + v2

y(i, j) 0HA1

μ < Sno−motion 0H�1

���� M �� N ��� ���������� ����� ������ I �� ������ �� �����!����� ����� �� ������ vx �� vy

���� ��� ����������� �� ������� �� ��������� �� Sno−motion �� ����� *4� � B ��� ��� �������

Page 88: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

IA ������� &� ���� �� ���� ��� �������� ���������� �����'����

,����������� �� ��������� �� �� ������ ��� ������ ��� ������������ ��� ���������� ����������� ������� �� =��� �� �� ��������%�� ���=����� ,����������� ��� ������� � ������ ���� ��� ��� ��� �������� ������ �����%��� ��4 ������ �� ���� )�*� ��� ������� ����������� ��������� ��� ����������� ����� ���� ��� ��������� ��� ���������� �� ������ �� �����!���������� �� ����� ��� �� ������ ��� ������� ��������� �� ��9������ ��� ������ �� μ ����� ���4������ �� ���� ������������ 5���� ��9������ ��� ������ ��� �

Δμ(k) = μ(k) − μ(k − 1) 0HB1

���� μ(k) �� ������ �� μ ��*��� ��� ���%������ HA ���� ������� �� ���� �� ������4 k$���� ���� �� ��� ���� ���������� ����� ������� ��� ������� �� Δμ(k) ���������� ��������� ��� ��������� �� ���������� ��� ������� ��������� �� ������ ���������� ���� �� ������ ���!����� �

Cut(k) = Intra(k) + βΔμ(k) 0HO1

���� Intra(k) �� ������ �� �����!����� ����� �� ����� ���� ������� �� ���� �� �������� k�� β �� ���F����� �� �����������

)�*� �� �������� *���� ��� ����� ��� ������� � ���%������ 0HO1 +� ��� ������� �� Cut(k)���� ����������� � �� ����� Scut ����� ������� �������� k ��� ���%����� ����� �� ��� ������ ������4 ��������� ���� �� ������ ��� ������� ��� *4�� β � �> �� Scut � B>> [ �������� ���������� ��������� �� ������������ ��� ������ %�� ���������� ��� ���������� ���������% ������� ���� � �� �������� 5�� ���������� ���� ��� ����� �� ���� �� ���� 0������1� ����� ������ ������ ������� ��� ���� ��� ���� ��� ������� ��� �������� ��� ���������� ��� ��� ��������������� *��� ������ ��� ��� *����� AH �� �> ,�� ��������� ��� ��� ���������� ������������ ����

SI S1S2

CoupurePas de mouvement

S2Temps écoulé

Temps écouléS1

Coupure de scène

de

Coupure descène

Coupure

scène

Pas demouvement

SF

��� AH Z $������� �� ��������� ��� ������� �� ����� ������

���� ������������� ���� �� ��� �� �� ��������� ��� ���� ���� ��������� ����� ���� �� �� %���������� �� ��������� ��� ������� �� ��� ����� ������ ��� ������������ ��� ������� �� ��������������� ��� ��� �� ����� �� ������ ����� ������� ����� %�� ��� ��� ������������ �� �������� ������ �� ���������

(��� �� ����� �� �� ������ ��� ������� ���������� ��� ����� ������ � ��������� ��� ������� �����@�� ��� �� ���� ������4����� ��� �������� ���������� ,� ��� ��� �������� ������ � ������� :�4 ����� �� ����� �������������� ,� :�4 ����� ��� �������� �� ���7��� ��������� ����

Page 89: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

I�

SI S1S2

Peu de mouvement

S2Temps écoulé

Temps écoulé S1

Pan rapide ou zoom

Pan rapide

ou

zoom

Pan rapide ouzoom

SF

Coupure

Coupure

��� �> Z $������� �� ��������� ��� ����

���� � �%�� ���7��� �� ������� �� ������������ ���� %�� ��� ���!5������� ���F������ 0�C551�� ���� �� ���4 �� ������� ��� =��� 0U5.1 ��� ������� (� �7�� ���� �� :�4 ������ �W ����� �%�� ������ �������� ��&������� �� ������� �� ������������ ���� %�� ��� ����������� ������������ ��� �������� �� ��������� �� �� ��9������ ��4��!�!��4�� ��� ������� $���� %���� ����������� �� ������������ ��� ���4 :�4 ���� ������ � �� ������ �� ���@�� ��� � 0E��1 %���� ���������� ��� ���������� ��� ������ �� ������*�� ��� ��������� ����� %������� ������ �

Z �� ������� � �� ������ ����� ��� �������������� ������� �� ������ �� ��� � ����������� ������� ����� ���� �������� �� ���� $-$-

Z ������ � � �� ������ ����� ��� �������������� ������� �� ������ �� �� ������� �� :�4����� ��� ������� ���� ��������� �� �� ����� $-5$()C$K

Z ������� � ,� ������� ����� ���������� �������������� � ��� ������ �� ����� ��� �� �������� �� �� ������� ����� ��� ������� �� ����� ���� �� ������� ��� ���&���� ��9������� ���� $-5()C

Z ���� �!�� � ,� ������� ����� ���������� �������������� � ��� ������ ���� �� ������������ ��� ������ �� ������

(� ����� �� ��������� ��� ������� �� ���@�� ��� �� 0��51 ��� ������� ��������� ����� ������������ ��� ���������� ���������� ���� ��� ���� � �� �������� ����� ���4 ��������� ���� ��� $����� ��� ������� ���� ����� � ���4 ���������� ��9������� ���� ��� ��5 � ������!���� ���!��?� $��� �� ��������� ���!��?�� ��� ������� ��������� �� ��������� ��� �������������� %�� ��� �������� ��� ����� ������ �� ��� ���� 6���� � ������� ��������� ��������� ������!��� ���� ������ ��� ������������ �� ������ � ������ ��� ������������ ����� �� ����� �4���������������� ���� �� ������*������ �� ��� �7��� ������ ����� ��� ������� ��*���� ���� ���

,�� ������� ���������� ��������� ��� ��������� ������� ��� ��� ��� ���� � ���� �� ��5,�� �4�������������� ��� ��� ������ ��� A ����� �� ����� �� ������ ��������� � )K!A �������� �� �������� )� �� %�� �������� �� ��������� ��� ���������� ���%������ ��� ������������������� �� �B � IB% ���� �� ������ +�� ��� %�� �� ��������� ��� ���� ��� ���� ���� ������� %��

Page 90: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

IB ������� &� ���� �� ���� ��� �������� ���������� �����'����

����� ��� ����� ������ ,�� ������� �4���%���� ��� ������� ������������ ���� �� ��������� ���������� �� ��� ����� ������ ��� �� ���� %���� ��� ���� ��F���� �� ��������� �� �������� ���� ����������� ������������� ��4 ���� )� �� %�� �������� �� ������*������ ��� ������� �� ���������������!�� ����� �� ���� ��������� ,�� �4�������������� ��� ��� ������ ��� ��� ������������������� �� �������� ������ � &������ ��������� ��������� �� �������� ������������� ���5�� ��������� ���� ������ ��� �� ����� �� -��� %�� ��� ������� �� ���� ����������� ��� ���

2��� �� ����� .����� ��������(������� P�% B%$����� IH% IB%E������� I% H%K�����%�� H% I%

��� �� Z .�������� ������*������ ��� ������ T,�>>V

�� ����� �9������ �� ���� ���� �� ������� ����� �� ����� ���� ������� ���� %�� ��� ������������������ ���� ��� ������4 ���� ���� �� �7�� ���� �����������

9����(����0 =� ����� �� ���������� ,9� --/

(��� T-+ HHV� ��� ������4 ��������� �������� ����� ������ � �����!����� ���� ������4�������� ������ ���� �� ������� ��������� ,� ��� ��� �������� � ������� ��� :�4 ����� �� ��������������� �� ������� ��������� ���� � ��������� �� �������� ��� �������� ����������� �*� �������������� ��� ���������� �� �����

2��� �������� ��������� ����� �������� � �4������ �� ������� �� ������������ ���� � �%������� ,� ������ �� �� ������� ��� ����� �� ������ �� �����!����� �������� ���� ��������� �� ������ �� ���� ����������� �� ������ �� � ���� �� ��� �����!����� ��� ������� ���������������� $����� �� ������� �� ������������ ����� ��� �� �� ����� �

Ft = (f11 . . . fij . . . fmn)Tt 0H1

���� fij �� ������ �� ���� ����������� �� ������ �� �����!���� �� ����������� (i, j) ����������� � ��������� t �� m,n ����� ��� ���������� �� ������ �� ����� �� �������$���� %���� ��� ������� ��*������� ��� �����%�� ����� ��� ������ ��� ��������������� �� ����������� �������� ����� ��� �������� �� ������������ ��� ���4 ������ ������������ t �� t�� �������� �� �������� ���4����� ���� �� ����� �

d(Ft, Ft�) =

∑i,j |fij − f �ij|

Bt0HI1

���� Bt �� ������ ����� �� ���� ����������� ���� ����� �� �������� ��� �����!����� �� �������� ��������� t(�� ���� %�� d(Ft, Ft�) ��� ���������� � �� ����� Th� ������� �������� ��� ���������� �������� ��������� �� ���� �� ������� 2��������� ���� �������� �� ���������� �� ��� ������� �� ���������� ����������� ���������� �� ������� �� ������������ ��������� Ft ,�� ����������� �� ��������� ������� �������� ���� ���������� �� �� ����� �

fij = fij + wDCfDCij 0HP1

Page 91: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

IO

���� fDCij �� ����� ��� ��4 ���F������ (5 �� �����!���� �� ����������� (i, j) �� wDC ��

������� ����������� *4� �� ������� �4����������� � 0.8 ��� ��� �������

5��������� ��������� �� :�4 ������ ��� ������� ��������� �� ��������� �� ������ �� ��������� �������� �

a(t) = wss(t) +wmm(t) + wnn(t) + wσσ(t) 0HH1

5���� ������������ ���� 7��� ����������� ����� ����� ��� ����������� �������� �������� �����9������� ������� �� ��� ������ %�� �� ������ 0s1� �� ����%�� 0m1 �� �� ������� 0σ1 �� wk ������F������ �������� � � ����� ��� ����������� m, s �� σ,� ������ ����� � )K ������� �� :�4 ����� �� ����!������� ���� �����%�� ��� ���%�� ��*����� �*� ��������� ���� �� ����� ����� t ��� ������� ��������� ���� �� ���� ����� ������4i� %�� ���� ���� S[i] 2��� ���� ����!7��� ������������ ����� �� �� ������� �������� �

St[i] =N∑

n=0

a[t− n]hi[n] 0�>>1

���� N �� ������ ���� ��������� ��� ���7��� ��������� �� hi �� *���� ������4 i,� ��� ��� ��������� �� :�4 ����� ��� ���������� �� ���4 ������ ,� �������� ����� ��������� �������� �� :�4 ����� �� ���7���� �� ������ *4� ���� � �4������ �� �������� �� ���������������� � ����� �� ��� ���7���� 5 ����� ��� ���7���� ��� ����� ������*�� �� ������� ����%���������� �� ����� �� �� ������� �����,�� ������������ �������� ���� �� ������ ������� ��� �� ��������� 0���� �%������ �>�1 �� � �%�����7��� ��������� ����� %�� ��� %����� ���������� �������� ������� ��������%��� ������� 0�����%������ �>A1

M1 =1N

N∑k=1

xk 0�>�1

MCi =1N

N∑k=1

(xk −M1)i �i = 2, . . . , 5 0�>A1

���� N �� ������ ����� ���� ��������� ���� � ����� ��� ���7����� M1 �� ������ ������� ����� ���������� MCi �� ������ ��������%�� ������ ������� i �� xk ���� �������� �������� k(��� �� ����� �� ��� ������4� ��� ������� �� ����������� %�� P ����!������ ��� ��� �A %�������� �� ������ � )K!� ,���� A $����� � �%�� ���7��� ��� ������������ ��� �� ������� ��B> ������������ � O ������������ ���� � ����� ��� P ������ ����������� 5� ������� ���� 7�������� �� �� ������� �������� �

F ∗t = (f∗11, . . . , f

∗15, . . . , f

∗81, . . . , f

∗85)

Tt 0�>�1

5��������� �� ������� � ���� �� ������*������ ��� �������� � ������ ���� ������ �� ������������*���� ��� ������������ ��� ������� �� ������� %�� ���� ��� �������������� ��� �� ���!���� � ��� ��� �������'������� ��� ,� *���� �������� �� ������� �� ��������� ������� ��������� �� ������4����� �� :�4 ����� � <���� ������ ��������� �� ������4����� �����!����� ��� ���� ���������� �� ������ �� ���������!���� ,�� ������� ��������� ���� ��� ��� ��� ���������� � ��������� �� ������� � ��������%����� ���������� �� ������� ������ ��� ���� �� ��� ��� ��� ��� � �� ���������� ����� �� ���� ���� �

Page 92: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

I ������� &� ���� �� ���� ��� �������� ���������� �����'����

EntréeAudioMPEG Extraction

1

ArtificielNeuronesRéseau de

Musique

Parole

SilenceExtraction DescripteursStatistisiques

8

1

40Sous−BandesEchantillons

��� �A Z +� ��� �� ��������� �� ���������� �� :�4 �����

�� ����� �� �������� +� ����� �������� �������� ��� ���������� � �� ����� ������ ����� ��������� �� ����� �������� ��� ���������� ����� ��� ��������� �� �����

,�� ����� ��� ��� ����� ��� ��� ���� �� ������� �� �O ������ �� ������ � )K ����������� *���� �� &������4 ��������� �� �� ���������� ��� �� ������*������ ������ ��� ������� ���������� �� ������ ������� �� B> �������� �������� ������������� ��4 B> ������������ ������ ��A ���� �� ��� ��� �� �� � �������� �� ������� ������������� ��4 � ������� ����� �����������,� ������ ����� � ��� ���������� ����� �� ������ �� ��&��� �� %�� �����*� %�� �� ��� ���7��������������� �� � �� ������ �������� �� � �� ������ ����%�� ���� ��� ��������%������ ������*�� ������ %�� ����� ,�� ������������ ��������� ���� ���� ������� �� ������ ��� �� ������� �� H%���� �� ��������� ��� ������ ��� ���������� �� ������ D� ���� �������� ��������� �� ���4 ��������� ������� ������� � �� ��������� ��� ���������� �� ������ )�*�� ��� ������� ��������� ����������� ������������� ��� ��9������ ������ �� ����� �� �� ��� ��� �� ���*� �� ��� ���� ���������� ��������%��

*5������0 *5��0 6�50 ;5��0 >�0 ���( �� ?���,**6+3!/

(��� T55R+>�V� �� ��� ��� �������� � ��� �������� ���� ���������� � �� �������� �����!������� 2.)5J/( A>>� ���������� �� ������������ �� ������ ��� &������4 ��������� (������ ������4 ��� ������� ��������� ���������� ��� ����������� �� ������������ ����� �� ������*� �� ������������ ��� ���������� �� ������ ���� ��� ������� ��������� �� ������*�� ��� ������������������ ��������� �� ���4 ������� � ������ �� ���������� ������ ����� �� ������ ,� *������ �������� �� �������������� ������ �� �� ��� ��� �������� ��� � ,� �������� ����� ��������� �������� ��� ���������� �� ����� �� �������� ���� ���� ��� ������� ��������� ��� ��� ������������ �����!���������� ���������� ���� T,R5>>V 5���� ��� ��� �F� � �� ������ ������!������ ���� ���� �� ��������� ��� ����������� �������� %�� ���������� <�� ���� ��� ������������ ����� �� ������� �������������� ��� ������� ��������� ��� ������*������ �� ��� ����� ��������� ������� �A ���������� � /������������ ������������� (��4 �������������� C����� /�!������?Y ������ .�������� �� ������� +����� 5�������� �� ��4��� +������� C������� ����� �� �������� ��� ������������ ��� ������� �� ������� ��� ���� �� ���������� ��� ��� ��*���������� ��� ���������� ,�� ������� ����������� �������� �� �������� �� ������������ ����� �� ��!��� ���������� � �� ������*������ ��� ����� �� ������� �� ��� ������ 5�� ������������ ������������� �� ����� ������� �������� �

� (����������� ���!������

Z E����������� �� ������� � ���������� �� ����������� �������� ���� ���� <����������� �� ��������� ��� ����� ���� %�� ��� ����� �� ������ �� *������ ���

A (����������� ���������

Page 93: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

II

Vidéo MPEG

Segmentation en Scènes classfiées

scènes

Classification desplans de montage

Extraction descripteurs

Détection plans &

��� �� Z +� ��� �� �� ��� ��� ��������

Z 5 �������� �� ����� � /���%�� �� ������ ��� ������ ������������� ��4 ������������ ������ D����� ��� �� ������ �� �� ��9������ ��� ����������� �������� ��4������ ���� �� ���4 ����� �����������

Z $���� � (���������� ��������� ���� �� ��������� ��� ����� �� ����� �� ��� ������������������� (��� �� ��� �� ������ �� :�4 ����� ��� ������� � �� ���� �� ������0������������1 �� �� ����� �� ���� (��� �� ��� �� ����� �������������� 0����!��%���1� �� ������ ��� �������� � �� �� ����%�� �� ����

Z $������� �� ��������� � ,� ��������� ��� ������*� �� %����� ������4 ���� %�� �������� ����� �� ���

Z (���� ���� ���� �� ������� � 5� ����������� ��� � �� ���� ������� ���� �� ������*��������� ����� �� ������� ���� ����� ��� ������

� (����������� ���!������ ����� ��&��

Z J����� � ��� � �%�� ���� �� �������� ��� ������� �4������� �� ������ �� ��������������� ����� %�� ���� ������ 5� ����������� ��� ������� ���� �� ������*������ ��������� ���� ���������������� ���� ������������ ��� ����� %�� ����������� �� �� ���4�������������

Z 2��� �� ���� � ,�� ������� ��������� ����� ����� �� ����� � ��� ����� ������� ������ ����� ������ �� ��� ����� ��������

Z 2�4�� � ������� � <�� �����!��4�� ��� ��� ����� %�� �������� �������������� �� ��4�������� �� ������ D� ��������� ������������ �� ���� �� ������ � �� *� ��� ������������������� ���� �F� �� �� �������� �� �� ������ �� �� ���������

Z ���� �������� � ,�� ������� �4������� �� � ���� �������� ������������� ��������!���� �� ����� ����� ����� �� &������4 ��������� ,�� ������� ��� ��� ��� ����� ������� � �%�� ���� �� ������� �������� ����� � ���� ��� �������� �� ���

,� � ��� �������� 0���� �� ��� ��1 �������� � ������*�� ��� ����� �� �������� �������� ,� ������� �������� ���� ��%����� ��� ������� ��� ���� ��� ����� ��� �� ����� �� �������� ,� ��������� ������������ ������� ��� �� �� ����� �

Si = (a,m, d, f, s, t, c)T 0�>B1

Page 94: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

IP ������� &� ���� �� ���� ��� �������� ���������� �����'����

���� a �� ������ ������ m �� ������ ���������� �� ���������� d �� ����� �� ����� f �� �������� ������� ��������� s �� ���� �� ����� t �� ������ �� ����� �� ��4�� �� c �� ������� ������� ��� �������� �� ��� �� ��4�� � �������

5��������� �� ��������� ��� ���������� �� ������ ����� %�� �� ������*������ �� ��� �7���������� ��� ������� ��������� ��� ��� ��� ����� ��� ������������� ��� ������ �� ���@�� ��� ��<� ���� ��� �������� ��� ��� ����� �� ������� ������� �� � �������� �� ��� �� ���� �� ���������� �� ��� ����� � ���� �������� 5���� ������������ ���� 7��� �������� �� �� ��������������� �

S = [t, l, c] 0�>O1

���� t �� ���� �� ����� l �� ������� �� � �������� �� ��� �� ���� �� c �� ������� �� ���������� ��� �� �� � ���� ��������[ ������ ��� ����������� �� ������� S 0���� �%������ �>O1� �� ��� �������� �� ������ B��9������ �������� ��� t ���� ������� �I ������� ��9�������� l A �� c A ���W 17 × 2 = 34

��� �� ������*������ ��� ������� ��� ������� ��������� ��� �������%��� /�� �������� ��������������� �� ���� �� ���� �� ������� �������� ����� %�� ��� ������ ��������� � � ����� ������4 ������� �� ������ ����������� $����� ��� ������*��� ��� ������ ��������� ������������� �������� �� &������4 ��������� �� �� ����� ���� �� �����

,�� ����� ��� ��� ����� ��� �� ������ �� ���� �� 2.)5J/( A>>� ���������� �A> ������� &������4 ��������� ��9���� ��� 5;; �� $-5 ������ ������� �HHP ,�� ������� ��� ������� ���> ��������� ����� �� �� ���� �� ������� ���� �����'��� �� ������� �� �� ����� ���� ��� �����,�� ��������� ����� ���������� �� ������������ �� ������� �� ������� �� I>% ���� �� ������ ��IB% ���� �� ��������� )� �� %�� �������� �� ������*������ ��� ������ �� ������ �� &������4���������� �� ������ ��� ���� � H�% �� �� ��������� � HA% 5�� ��������� ��������� �� �� ������������ �� ��� ��� �������� ��� ��� ������������ ��� ��� �������� ��� �� ������ �� ������ ������2��������� ��� ������4 ��������� ��� ���� ��������� ���%������ ��� ��� &������4 ���������

?��1������ �� ���� ,? --/

(��� ��� ������4 �� T2 HHV� ��� ������� ��������� ��� ��� ��� ������4����� ��� ������������������ ��� ������������ ��� :�4 ����� �� ����� 5�� ������4 ���������� �� ���������� ���:�4 ����� ������%���� ���� � ������ ��� �� ������� ������������� � T;$2HPV %�� ���������������4 ������ �� �������� �� ���� � T;RHIV %�� �� ����������� �� ������4����� ��� &������4��������� ,���&����� �� ����� ����4����� �������� � ������*�� ��� ������ �� ������� ���� �� :�4�����

,� ���������� ����� �������� ��� ���4�������� �� ������������ ���!������ ���� %�� ������F������ �C5 �������� ���� �� ������������ ������Y����%�� ,� ��������� ��� �������� ���������� ��� ��������� �� ��������� ����� %�� �� ���4 �� ������� ��� =��� %�� ������ ��� �� �7���������� �� ������������ ��� =���� �� ������� ,� ������ ��� ������������ ����� ���!������ ��������� ���� ��� ���7���� ��������� ����� ����� �� �>�� ��� ��9�������� ��� =���� �� ���������� =���� �� ������� ��� ������� ��*�������� ������� ��� ������4 �� T.+IPV� ��� ������ �� ������������ ��� ��������� �� ������� ���� ���������� Mt,n� �� ���� �� ���4 �� ������� ��� =���� Zt,n5��������� ���������� ���4 ������ ��� ��� ��*��� �� ������ ��� ��� �%������� ��������� � ��

Page 95: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

IH

����� ��� 0�%������ �>1 �� �� ����� ��� 0�%������ �>I1

Mthr,up =E[Mt] −Mthr,low

20�>1

Mthr,low = max(Mt,n) 0�>I1

���� E[Mt] ����������� ��� �����%�� �� Mt� �� ������ �� ��������� ���� �� ���7��� ����������������� t

$���� ����� ������� ���� �� ������������ �� �����Y+������� �� �"� � ���������� ��������� ������������ ��� =���� ������� ��� =���� ��� ������� ���� ��� �������� �� ������� ��������!���� �������� ,� �������� �� �� ��� ��� �������� ���� ����� ������������ ��� ���� ��� �� ����%�� ��� ������� ��� ������� ����������� �� ������� �����*������ ��� ����� ���%������ �������!������ ��4 ������� ������� 5������������ � �� %�� ���� ����� �� ���� �� ������� ��� ���������� ��� ��� *����� H �� P� �� ���4 �� ������� ��� =��� ��� �� ���� ��� �������� ���� ����������������� ��� ������� ������� �� ��� ������� D�� ���� ��� ������4 ��� �������� �������������� ������4 ��������� ���� T.+IPV� ��������� ����\� �� ���������� ��������� ���� ��� ������ �� ����� �� ������ ���%������ �� ������� ,�� ������ ��� ��� *4� ������ �� A@E= �� �� ���%��������� ������������ ��� �� AA@E= ,� �������� ��� ����� ��� ������� � �� ����� ��� �� ������������ �� ���������� �� ��������� ���� ��� ����� ���%������ �� �� ���������� ���� ��� ���������%������ +� �� ������� ��� ��������� � 0.25 ����� �� =��� ���������� ��� ���%����� ����� ���=��� ���!������ �� ������� ���� �� ����� �� ���������� �� �7�� ����� %�� ��� =���� �� ����������������� ����������

,�� ����� ��� ��� ����� ��� ��� ������ ���� �� ����� ������ ��� �� ����������� � AA@E=�� ��� �� ��������� ����� ��� � ���� ,�� ������� ��������� �� ������ ������������ ���� �������������� �� �����Y+������ 2��������� %���%��� =���� ��� ��� ������*��� ����� ����� ���=���� ���!������� �� ���� �� ������� )� ������ � �� �������%�� ����� ��� ������ ������ =����� ������� ��� ��� ���%����� ����� ��� ������ ��� ������������ ��� ������� �� �������������� �� ������������ � �9���� �� ����� �� ������ �� �� ��������� (������ ����� �� ������ ������ ������� ���� ��������� ��� ������� �� ������� �� ���4 ������ ����� ����� �� �� B ��������� %�� �� ������ ��� �� ������� ��� ����� ��� ��� 5��������� ��� ������� �F����� ����� ������������ �4�������������� ���� �� ������ ���� �����%����

*���������

$���� ���� �� � ������� ���� ����� ������ �������� ��� ���� ������4����� ��� �������������� ��� ��������� �����!����� 5���� ����� ���������� �%�� � ������ � %��� ����� �� ��� �������%�� ��� ������ �� �����!������ ���� ��� ���� ������������ ��� ����� ���� ���������� ��������� ������4 :�4 � ����� �� ����� 5�� ��� ���� �4�������� ����� ���������� ������������� ������������ �� �������� �����������

Page 96: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

P> ������� &� ���� �� ���� ��� �������� ���������� �����'����

Page 97: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�� !���� ������

'����� �� ����(��� ��� ���&�����

P�

Page 98: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim
Page 99: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� "

)����� ��� ����� �����!�������� ������� �� ���� �����*����

5� � ������ �������� �������������� �� ����������%��� �� ����� ������� ������� ���� ����������� ������4����� ��� :�4 ������9���� )�*�� ���� ���������� �� ������ %�� ���� ���������

@'� ��:������+��

(��� �� � ������ A� ���� ����� �� ���� �������7� �� �������� ������4����� ��� ��������������������� �� ������ /� ��� �������� ���� :������ %��� �� &��� �� �4���� �� �������� �� ���!�������� � )K!I T���� ++>�V � )K!I ������� �� ����� ��������� ���� �� ����������� ������������ �������� ����� ����������������� ��� �������� ���������� � ������������� ���� ��������� ������� �� ������� ��� /�������� (J. 0(������ J���� .�������1 �� ������ ��� ��� ����!� ��� �������� ;��������� ����� ���� ��� ���������� � )K!I �� ��������� ��� �� ��)� ����� �� ���W �� ��������� ��� ������ �� ������ ���� ��� � ������� A �� �

(��� ����� ������� ���� ��������� � ����������� �� ������� �� �������� ������������ ������� � ��� [ ������� �� ������ �� �� ��� ��� �� ������ ��� ��������� ��� ���������� ������� ����� ���� �� �������� �� ����� ��� ������!�� ��� �������� ������������ ������9����,��������� ��� ������4 ��������� ������������ ���� �� ����� �� ���&�� 5$++$;(.$ T5��V���� �� ����� .������ ;����� 0;,1 (��� �� ���&��� ����� ��������� ��� ������� ������������ �� ������4����� ��� �������� ����������

(��� �� � ������ O� ���� ������������ �� ����� ������� ��������� �����!����� �� ���� ���!������� �� ������ �� ����� ��������� ,� � ������ �������� �� ������ �� ������ ��� ������������������ ��� :�4

(��� �� ����� �� ����� � ���� ���� ������� ��� ��������� ��� ��������� ������ �� ��������� ���� ��������� ��� ����� �� ���&�� 5$++$;(.$ T5��V ����� ��&� ��� ��������� -��� %���������� ����������� ��� ���������� ����� �� ���&�� 5$++$;(.$� ���� ����� ������� ��� ������������� ��������� �� :�4 ����� %�� ���� ��������� ���� �� � ������ I

P�

Page 100: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

PB������� (� )��! � ��� ��!��� �������� �� ���� �� �������� �� ��$$����

@'� *���� (������ ��������� ��� #�� ������A����

(��� ����� � ���� ���� ���� ����������� � ��������� ����� ���� ��� :�4 ������9���� ���� ���������� %�� ����������� ��� � �'��� �� ������������ 0���������� ������ ���=���1 ,���&�����*4� ��� ��������4 ����%���� �������� � �������� �� ������ ������%�� �� ����� ����������������� ���������� �� ��� �������� 5����� ���� �� �� ������� ��� �������� �� ��� ������ ������ ��� ������ ������� ������������� ��������� ��� ����� ����&����� *4� ���� �� ����� �� ���&��5$++$;(.$T5��V �� ��� �����%���� �� ����� �������� ������ �� � ���

(��� ����� ������� ���� ���������� �� ����� �������� ��������� �� ���� �� ���&�� 5$++$;!(.$� �� ��������� ��� :�4 ������������ ,� �� ��� �� �� *���� �B �������� �� ��������������������� �� ��������� ��������� �� ������4����� 5� ��������� ��������� �������� � ��������������� ����� �� ������� ������ ���� �� :�4 ������ �� ��� ���������� ��� ��������� ���� �� :�4 �����2��� ���� ��� �9����� � ������ ��� ������������ ��� ������ �4������ ��� :�4 ����� �� ����� ������� �������� ���������� �� ��� ����������

Données audio brutes

(Non compréssées)

Flux vidéoExtraction descripteurs MPEG−2

issus de la phase d’encodage

Flux vidéo compressé MPEG−2

Flux audio compressé MPEG−1Encodage :

MPEG−2 (vidéo)

MPEG−1 (audio)

Audio

Décompression

Décompression

Flux audio

Numérique Bande de base

changement de

plans

Détection des

frontières de

Fusion des

données

multimédia

Vidéo

Scènes

Scènes

Détection des

silences

��� �B Z (�������� �� ��������� ��������� �� ������4����� ��� :�4 ������������

Page 101: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

(�"� )��! � �� ��!�� ���� �� �������� �������� � �� ��$$���� PO

(��� �� �� ���� ���� ����� ����%�� ��� ����� ���� ���%���� ���� ����� ������� ����������������� 0������ �� ���������� ����1

5���� �� �������� �� �� �����%��� ��� �� �� ��� �� �� *���� �B� �� ���&��5$++$;(.$T5��V �4������ ��� ������������ ����� �� ����� ��� ������ �4������ �� :�4 ����0�����1 �� ���� �� ���������� �� :�4 ��������� 0����� �� �����1 5�� ������������ ���� ������������ ����&����� �� ������4����� �� :�4 �� ������ $����� ���� ������ ���������� ��*��� �� �������� �� ������ ����� ����� ���� ������� ������9��� ���� %����� ��� ��� ���������� ���� ����� �����

@'! <��)�� �� ��)�� &��� ��� �������� ������������ ������A����

5���� ������� ��� ��������� � �� ������������ �� ������ �� ����� %�� ���� ��������� �������������� ���� ��� �������� ������������� ��� �� ��� ��� ������4����� �����!����� ����� %����� ��*������ ����� ������ ���������� ����� ��� ����������� ����� �� �����

�)-)" ��>�����

2��� �������� ���� ����� ��*������ ��� ������ ���� ������ ������ ����� ����� ��������� �������� ���������� ������9���� ;��� �� � ��� ��� ��� � �������� ��� �������� ������� �������� ���� ��� ����������� � ������ ������ ������ %�� ��� ���������� ��������� &������4���������� ��� $� ���������� ���� ���� ����������� �� ����� ������� �� ������� %�� ����%����*��� ��� ���!�� � *���� ������ ����������� �������������� ���

5���� �� ������ �� *���� �� ��� �������� ������������ %�� ���� �������� � ���!���� ������������� ��4 �������� ��������� ��������� ��� ������������� ������ �%��(� �������4 ������4 ��������� ��� ������� �� ����� ����� �� ������������ �� ����� ��������� ���������� �� �������� �� ������� T.+>�� �E/+>A� R5,>>V 0�� � ������ A1(� ������'�� �������� ������4 ����������� �� ������ �����*%�� �� ������� ����� ��� ������ ����������� T$$X>�� (5- >OV �� ���� ��� ������ ����������� �� ���4������� T�E/+>AV$ �������� ���� ��� ������4 T;,- +>BV� ���� � ��� ��� � �������� �� ������ �� �����������%�� ���� � ������ ��� �� ���� �� ����� �� ��� �� ����� �� �������,� ������� ����� ����� �� ����� �� ���� �� �7�� ������� ������!��

,� �������� %�� ���� �� ������ �� ����� ��� �� ������� ��� ����� ��*������ �� �����������!�� ��� ����� ������ ��� ���� ���&������ 5���� ����%��� ���� ����� ����������� ���������� �� ��&��� ����� ��� �������� ���� �� ������� �� ������4����� ����� ���� ����� ��&���������� ��� ��� �������� ���������� ������ ��������� ��� �7��� ������� �� ������9�����%�� ������ ��������� ���� �� ������������� �� ����� ������ ;��� ����� ��������� ��� ������������������� ��� �� ��*������ %����� ������������� ����� ����� �� �������� �� ���� �� �������,�� ��������� ���� ��� ����� �� ��� ������ ���� �� ������� ��"�� ��� ��������� AO ������� ������������ �� ����� � �� �� ���������� %�� ��������� �� ���� ����� ����� �� ��������������9���� )�*�� ������ ���� �� ��]� ����� ����� ��%�7��� �� ������ �� ��&��� ���������� ���� ������ � B ,�� �������4 ��� *����� �O �� � �������� ��� ���� ���������� ��� ����� ����������,�� ������ ���� %�� #��������#� #�� �� ������ �� ����#� #����������#� ��� ����!��������� ������������ �� �� ������������ �� ����� ���������

;��� ����� �������� ��� ������������ ���� �� ��� ��������� ��� ��*������ ������� �� �� ��!���� �� ����� ���� ��� �������� ������������ (������ ��� ������������ ������������ ���� �������

Page 102: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

P������� (� )��! � ��� ��!��� �������� �� ���� �� �������� �� ��$$����

K���� J���� \ ;�� ��� ��&��� +�&�� � +�&�� AC���� ,��� �� N�������� ,���

8������4 +�&��� �� ,��� ,�������� �� .���������+����� N��������� �� ������� ������ N���������+����� ���������� ���������� �� ,���

(������ ������ ,��� �� ���������� ,���(������������ $����� �� ��&�� �� ,��� .�������� �� $����� �� ��&��

J������� /������ �� N��������� /������ �� N���������

��� �O Z /������������� �� �� ������ �� ����� ��� ��� ��&��� ����� ����� ��9������ ����� ���������� �����!�����

K���� J���� \ ;�� ��� ��&��� +�&�� � +�&�� BC���� ,��� ,���

8������4 ,�������� �� .��������� ,�������� �� .���������+����� �� ������ N���������+����� ,��� ,���

(������ ������ ,��� ,���(������������ �� ������ .��������

J������� �� ������ N���������

��� � Z /������������� �� �� ������ �� ����� ��� ��� ��&��� ������ ����� ��9������ ����� ���������� �����!�����

�������� ��� %���%��� ��*������� ��������� ���� ��� ������ �� �������� ��� ��9������ ������ ���������� ����� �

Z )�.���� � � ,� �� ������ �� ���� ���� ��*��� ��� ����� ���� ��� ������ �� ���� . ��<����� �� ������ ����� ,�� H������� ������� ����� 7��� ���������� ���� ���� �������� �� �������� ��������� ,� �� ������ �� ���� �����*� �� ������������ � ���%��� ���������� ������ �� ���� *��� ��� �� ������ �� ��� ��� �� ���� �W �� ����� �� ������

Z )�.���� � � ,����������� ����� ��� ���������� �� ��� ����������� �� ������������ ������������� �� ������������ ��� ������ ���� �� ��� ��� H������� �� �����

Z )�.���� � � ,�� ���������� ���������� ���� %�� ��� ����� ��� ����� �� ���� �� ����������� ������� ��� �������� ���� ��� �������������� ��������� 0�� ����������� ���� ��� ������ ���� � �� ��������1 ���� �� ���� ��������� ���� ������������ ��� ���������� �� ���������� ��� 0��/������ �0���(�

Z )�.���� � � ,�� ��9������� ������� ���� ���������� 0���������� ��Y�� �����������1������� ����� 7��� �� ��� ������� ���� �� ��� ��� ������ �� ���� ����� �������������� ������� (��� �� ��� ����� �������� �� ������� IH��J� ����%���� ����������� ����� ������ %������ �� ������� �� �������������� �� ������� ����������� ������'� 5���� ���������� �����*�� �� *� ����� ����� �� �� ����� ����� �����

Z )�.���� # � ��� �� ���� ����������� ����������� �� ������� ����� ��� H��� ��! ������ �� ����������� �� &�� �� ���!�7�� ��� ������� ������� �� ��������� ���� ��(��� �� ��� ������� � �%�� ���� � ���� 7��� ��������� � ��� �����

5���� �� �������� ��� ������ ��� *����� �O �� �� �� ��� ��F���� �� ������������ ��� �����

Page 103: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

(�"� )��! � �� ��!�� ���� �� �������� �������� � �� ��$$���� PI

���� ��� ��� ���� �� �������������� �� �� ������� �� �� ����%��� �� ��������� ����&��� ���!��*%���� ����&��� �������7�� [ ����� ���4������ �� ���� ����������� �� ��� �� � �������� ������������ ���� �����*� %���� ���� � �� ���� �������� ��� � ��������� �� ��������� ���� �� ���������� �� ���� �� :�4 ����� )�� ���� �� ������� �� �� ����� �� ���� ����� ����� � �� ����������� � �� �������������� �� ������� 5�� ������������ ���� ����� � ��� ��� ���� �� ������� ����=������4�� %��� �� ������'�� ����������� �� ������� ���������� �� ������ (� ����� ��� �����������*%��� �������� � � �%�� ���� �� ����� ����� ���� �����������

5���� ����%���� ���� ����� ������ �� �������� �� ������ %�� ��� �� ��� ��������� ����� ���� �� �� ����������� �� �� ���������� �� �� ��� ������ ������%��� �� ���� � ������ ��� ��������� $����� ���� �� ���� ������������ ��� ��� �� ����� ����!�7�� ���� ��� ��� ����������;��� ������������� %����� ����� ��� ��*��� ��� ���4 ���������� ����������� �� �����%��������� ��������� �� ������ ������� ��� ����� �� �������%��� ������ %�� �

Z )� ������ ��� ��9������ ����� �� ����������� ����� ��� ����� ������ %�� ��� ������ ����� �9��� �� ��������� ���� �������� ���� �� ������ �� ������� �� ���������� 5�������������� �������� %�� ��� ����� �� ����������� ������������ ���������� �� ���� �� ��������������%�� ��� ����� ����� ��4 $� ���������� ��� ����������� ����� �������� ! ��� !�����*��� ��� ������� ������!�� ��������� ;��� ������ ���� �������� !�� ����� ������ �� ������� �� �� ��� ��� ��� � ��� � �� ����� ����*

Z (��� �� ������� ������ �� � �������� �� ����� ����������� �� ����� ������ ����� ������!������ �� ���� ������ ���� ������� �� ����%�� ����� ��� ���������� 5���� ����%���� ����������� %���� ��� ����������� �� ���������� �� ��� �� ��� � ��� �� �� ����� �������� ��� ��� �������� �� ��� ��������*

)� ���������� �� ����� ������ ���� ����� ������ �� �������� ��� ����������� �������� ������� �������� 0���1 ���� �� :�4 ����� ���� �� �������� �� ������� ���� �� :�4 ����� ������������� ��� ���������� �� ������ ���� ��� ��������� ������������+� ����� �� � ��� � �� � ���� ������ �� ����� �� �,�������� ���� ������� ���� �� ������� ���� ��� ������ �� ���� �� ����/� ������ �� ��������� ��� =���� �� �������������� ���������� ����� ��� �������� ���� �� :�4 ������� ��� �������� ���� �� :�4 ����� (� ����� ����� ���� ����������� ��� ��� �������� �������%������ ��������4��� ����� ��� :�4 ����� �� ����� ��� ���� ����� ��������� �� ����!���������� %����������� �� ����� ,��� �� �������� ��� ������� ������ �������� �������������� �� �������������� ��� :�4 ����� �� ����� �*� ��������� ��� ����������� 5� %�� �����*� %�� �� ������������ �� �� ����� �������� ��� ������� %���%��� ��4����� �� ������� ����� 0�� �����1 �� ������������ ������� (� ��� �9�� ��������� �� ������� �� ����� �������� �������� ���� ��� :�4 �������� �������� ����� �� ��� �������� ����� ���� �� ��� ���� � �������� �� ����� ��� ������� ����������� ���� ����� ��*�� ��� ������ ������ �� ����� ��9������ ���������� %�� ���� ������������ ��� �� ���� ���� ������������ ��� �����*����� ���� �� ������� ��������

�)-)( /����� �� ������ ������� � ?�����

$���� ������������ �� ������ �� ������� �������� ����� ��� �������� �� ��� ���� ���� ��������*��� ��� ����� �� ����� ������� ���� ��� ���4 :�4 (��� �� :�4 ������ �� ������*��������� �������� �� ���� ��� ��� ���7���� ����������� �� %���%��� ������������� � ���7���� �� O�A�� ��������� ����� ���� ��� ���%����� ���� ������������ �� BB�>> E= �� %�� �����*� %�� ������7���� ��������� ��� ��� ����� �� �> �� (��� �� :�4 ������ ��� ����������� �� ���� ����

Page 104: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

PP������� (� )��! � ��� ��!��� �������� �� ���� �� �������� �� ��$$����

����������� ����� ���4 ������ ������������ ;��� ������ ���� ���������� ����� ����� ������� ������� �������� ����� ���4 ������ � 1/25 �� 1/30 �� ������� ������� �� �������� ����� $,Y+)5$� �� ;2+5 0���� *���� �I�,� ���������� �� ���4� �������� ���������� �� ������ ��� ������ ������ �� ����� �� ������������������� 8����� ���� ���� ��������� ����� ��� ��������%�� %�� ���� ��������� �� ������������ ��������� ����� �� �����

5���������� ���������� v(i) �� ������ �� �� �������� ����� ����� �� �������� �������������� �� i!���� ���� �� ������� �� :�4 ����� ������ %�� �� �������� I 0����� �� �������1����� i ∈ [1, . . . , I] 5���������� ���������� (ab(s), ae(s)) �� ������ �� ���%����� ���������������������� ��4 ���������� �� ����� �� �� *� �� s!���� ������� �� :�4 ����� %�� �� ��������S� ���� s ∈ [1, . . . , S] (������ �� ��*������ �� ab(s) �� �� ae(s)� ���� ������� ��������� ��������� �������� � ∀s ∈ [1, . . . , S]� ab(s) ≤ ae(s) ��� �� ������ (i, s) ����� ������a = v(i)− ab(s) �� b = v(i)− ae(s) $����� ���� ������� ��*��� ����� ������ J �� �� ��������������� �

J(i) ={

0 +� ∃s∗ ��� %�� ab(s∗) ≤ v(i) ≤ ae(s∗)mins(min(|a|, |b|)) × sign(argmin(|a|, |b|)) +����

0�>P1

���� sign(x) ={

1 �� x ≥ 0−1 �����

,������������� ���� �%�� �� ����� ��*������ ��� ��������� ��� �� *���� �I�

$*� ����������� �� �������� ��� ������� �� &����� ���� �� i!���� ������� ���� �� :�4 ������ ������� ��� ���������� �� ���������� ���������� ��� S �������� /� ��F� &���� �� ���������� �� ��������� ���� ���� � ��������������� %���� ���� ����� �� ����� �� ���������� ����� v(i) ����������5��� ���������� � �� ���4���� ��������� �� �� ��*������ ������ ��� ���%������ 0�>P1 �� ����W �� �������� �� ������ ��� ���������

;��� ���� ������ ������� ��� ���������� �� ���������� ����� ���� ���� �� ������ ��&����� �� �� ����� �� �������� ���������� �� ��������� ��� ���������� �� ����� ��� ����� ���������� �������� ��� ����� �� �������� ��������%�� ����� ��� �� ������ �������� �� ��� �� ���� ����4���� �� ������������� ;��� ���������� ��� ������ �� �������� ���� �� � ������ �������

Page 105: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

(�"� )��! � �� ��!�� ���� �� �������� �������� � �� ��$$���� PH

temps (sec)

Frontières de scène

Transitions vidéo

Silencestemps (sec)

Jitter < 0 Jitter > 0 Jitter = 0

temps (sec)

temps (sec)

temps (sec)

1/25 seconde (PAL/SECAM)

Fenêtres d’analyse audio (10 ms)

ou 1/30 seconde (NTSC) Images de la vidéo

a)

b)

��� �I Z +� ���� �������������� �� �� ��*������ �� &����� � �1 ������������ �� ������� �� ������� �1 ������������ �� ������ �� &�����

Page 106: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

H>������� (� )��! � ��� ��!��� �������� �� ���� �� �������� �� ��$$����

Page 107: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� #

)����� �� (����� �� ����(��� ���

(��� �� � ������� ���� ���������� �� ������ ������� ���� ��� ������4 ���� �� ������ ��������������� T;,- +>BV 2���������� ��� ��� ������� ������� ��������� �� ���� � ������ �� ������� ��������� ���� ����� ����� �� ��������� �� ������ ������%�� �� �������� ���������� �� ������ ��4���� �� ������������� ��� ���� ���� ������ $����� ���� ���� ����������� ��� ������������� �� �� ��� �� �������� �����%�� � �� �������� ��������� ��� ��*��� ���� �� � ���������������

)�*�� ���� ��� ����4�� -A �� -� ���� ��������� �� ������� ��� ���������� ��� �����%����� ����� ������ �

B'� C)(��� �� �������� ��� ��� ������)��� �� ��)���

(��� �� � ������ ���������� ���� ����� ������� ����� ������ �� � �������� �� ����� ����� ��� %�� ��� ��������� ��������� ���� ��������� ���� ����� ��������� ��� ������ �� ���������������� %�� ���� ����� ������� ��� ;��� ��������� ��� �������� ��������� � ����� ������ ��� ������� �� ����� ������ ��� �������� ���� �� ������ ������� ����� �� ������� ����� ������ ��������� ���� ������� �� ����� *4� ���������� � ��� ��������� �� ������ ���� ����������� �� ��� �� �������� ���������� ���� �� ��� � ���4 ���� ���� ,� �������� �4����� �� ����%�� �� ������ �������� �� &����� ��������� ��4 � ��������� �� ����� �� �� ���4���� �4������� ���������

(� ������� ��������� ���� ����������� X �� H ���4 ��������� ���� ����%��� �����������4 ���������� Pr(X) �� Pr(H) ��� ������������ ��������� � ��� ���������� �� Pr(X|H) ��Pr(H|X) ���� ������������ ��������������� (������ �� � ������ �� -����� ���� ����� �

Pr(H|X) =Pr(X|H) × Pr(H)

Pr(X)0�>H1

+� ���� ����������� ���������� ���4 ������������� x �� h� ��������� � X �� H ���%������0�>H1 ���� �������� ���� �� ����� �������� T5EIPV �

f(h|x) =f(x|h) × f(h)

f(x)0��>1

H�

Page 108: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

HA ������� *� )��! � �� $���� �� ��$�������

���� f(x) �� f(h) ��� ��������� �� ������� �� ����������� �� x �� h� f(x|h) �� f(h|x) ��� ����������� ������� �� ������������ ��������������� ���������

(��� ����� ��������� x ���������� � ����� �������� ������ �� &����� ������� � �� ������������������ � �� �������� X 5���������� ���4 ���� ���� �

Z H1 � 8����� ������������� � ��� ��������� �� ����� ��

Z H2 � 8����� �� ������������� ��� � ��� ��������� �� �����

;��� ��������� ����� %�� H1 �� H2 ��������� ��� ��������� �� ���������� ��� ���� ����(����

Pr(H1) + Pr(H2) = 1Pr(H1 ×H2) = 0 0���1

5���������� ��� ���� ��������� � ��� ���� ���� f(h1) �� f(h2) ��������������

+� ���� �����%�� � ����� �������� �� ������� ������ ��� ���%������ 0��>1 ���� �������� �{f(h1|x) = f(x|h1)×f(h1)

f(x)

f(h2|x) = f(x|h2)×f(h2)f(x)

0��A1

+���� �� ������������� ������%�� �� �� � ����� �� �� �������� ���������� T5EIPV� ����� ������ �� ������������ �� ��4���� ����� f(h1|x) �� f(h2|x) ���� ���%������ 0��A15���� f(x) �� ������ ��� �� h� �� ��� �%�������� �� ��4������ �� �������� �� ������������� �

L(h) = f(x|h) × f(h) 0���1

�� �� ������� �%��������� �� ������� �� ������ �� max(L1, L2) ���� �⎧⎨⎩L1 = f(x|h1) × f(h1)��L2 = f(x|h2) × f(h2)

0��B1

+� L1 > L2� ����� �� ���� ��� H1 ��� �������� ����� ����� H2 %�� ��� �������

2��� ���� ��� ����� �%�������� � ���������� �� ������� �� ������������� �� �� �������� ��������� ���� �� ������ l ≥ 1 0l = 1 ���� �� ��� �������� �� �����%�� �� ���� 7��� ≥ 11 ;���������� �������� ����� ��� ��� �� �� ������� �������� �

L1

L2

><l

=⇒ H1

=⇒ H20��O1

,� �������� =⇒ Hi �����*� %�� �� ���� ��� Hi ��� �������+� ���� ����� �� ������ �� ��������� ������ ��� ���%������ ���� �� ������� �� ����������������� 7��� ������� �� �� ������� �������� �

L1

L2=

f(x|h1) × f(h1)f(x|h2) × (1 − f(h1))

0��1

(��� �� ������ ���� ����������� %�� �� ������������ f(h1)� ���� � �������� �� ����� ��������� � ������ 5���� ������ �� ����������� ���� 7��� ������� ���� �� ��������������� �� �������

Page 109: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

*��� +!� �� �� ������ ��� �� $����!��� �� ��!��� H�

��� ��� ���� ��������������� ��� �� ������ �� ���� ������������� ������������� ��� �� �������������������� ���� ��� ��� �� ���������� �� ������ ,� ������ �� f(h1) ���������� ����� ��������� ����� �� ������ �� ��� �� � ��������� �� ������ �� �� ������ ����� �� ���������������� �������� ��������� (��������� ���� ������ P ����� ����������� (� ����� ���%������0��1 �������� 7��� ������*�� �� ���� ������������ ��� ���������� �������� ��4 ���� ���� H1

�� H2 �%����������� 5��������� ����� �� ������ �� �������� �� ���� ������ ���������� �� ����� ���������� ����� �%������������� ��� ���� ����

;��� ������ ���������� ���������� %�� �� �������� x� �������� �� &������ ���� ��� �������������;�������� N(μ1, σ

21) �� N(μ2, σ

22)� ��������� ��4 ���� ���� H1 �� H2 �������������� $����

���%������ 0��1 �4������� �� ������� �� ������������� �������� ���������� ���� �� ������������� �

L1

L2=

(2πσ21)

−12 × exp

(−(x−μ1)2σ1

)2

(2πσ22)

−12 × exp

(−(x−μ2)2σ2

)2 0��I1

+������ �� ������ � ������%�� T5EIPV� ���� ������ ���������� ���������� �� ������� �� ��������� �� ������������� ;��� �������� ����� �

R =12

[(log(σ2

2) +(x− μ2)2

σ22

)−(log(σ2

1) +(x− μ1)2

σ21

)]><log(l)+log((1−P )/P

=⇒ H1

=⇒ H2

0��P1;��� ���� ���3��� ���� �� ��� � ����%��� l = 1� ���W �

R =12

[(log(σ2

2) +(x− μ2)2

σ22

)−(log(σ2

1) +(x− μ1)2

σ21

)]><log((1 − P )/P )

=⇒ H1

=⇒ H2

0��H1

,��%������ 0��H1 ���������� � �� ������������� �� ����� ����� *���� �� �������� 2����������� ����� ��� ���������� ��������� (μ1, σ

21) �� (μ2, σ

22)� � ������� /� �4���� ���4 ������ ���������

���� ������� ��� ���������� ,� ������� T2� HV �������� � ��������� �� ������� ��������%����� ���������� � ������ ����� ���� ��������������� ���%����� ������������ ���� � ����� ��� ���� ���� H1 �� H2 ;��� ��������� %�� ��� ������� %�� ���� ������� �� &����� 0���� �%������0�>P11 ������� �� ��� ;������� ���� ��� ���������� ������� 7��� ������� �� ���� �� ��4������ ������������� �� �� ������� �������� 0�� $���4� -B1 �

μ =1N

N∑j=1

xj 0�A>1

��

σ2 =1N

N∑j=1

(xj − μ)2 0�A�1

���� N �� ������ �� ������� �� &����� ��������� ���� ��� ����� ���������������

(���� ��� ���� ��� ���������� ������� ���� � ����� ��� ������� ����������� � ������ ���� ���� ��������������� �� ����� ����� �������� ��� �������� ������ �� &����� �� ���� ��&����������� ��� ������� ���� ���%������ 0��H1 ���� ������� �� �������� ��� �� �������� �� ��� �������������� �� ����� (��� ����� �������� ������ � ������������ ��� ����������� ��� �������� ��

Page 110: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

HB ������� *� )��! � �� $���� �� ��$�������

���� ��� ��� � &��� � � �%�� �������� ������ �� &����� ������� ��� �� �� ���� ����������������� ��� ��������� ���� ������ - �� ����

,� ������� ����������� ��������� ���� ������������ ��� ���������� �������� � ������ � &������ ������� ����� � �%�� �������� ����� � ������ ����� �������� ������ �� &����� (� �7��� �������� �� �� ����������� P ��� ����� ���� � &��� 5��������� ����� ��� ��� %�� ��� �� ���� ������ �������� ���� �� ����������� TX2E>>V ��������� ������������ ��� ������� �� ������� ����������4�� [ ������� ��� ������� � ���� �� ������� �� ����������� �� ���� �������� ����� ����� ���� ���������� %�� ��� �������������� �� ��7��� ��� �� ����� ���� ;��������� ����� �������� � ��������� ����� ����������� ��� ������4 ��������� ���

B'� ������ ��� ������� ��������������

$����� �� ���� ��� ���� ���� ��������%��� �4���� ���� �� ������� ���������� ������ ���������� �� �,�������� ��� ����������� ����� �� ����� �������� ��4 ���������� ��� ������ ������� ������� ��� ������� ���������� ;��� ������� �� ������������ �������� ��� ��� ���������������� ���� ��������� � ����� ����������

,� ��� ��� %�� ���� ��������� �� ��������� �� ����� ������� ������ �

� 5����� ��� ������������ ����� �� ������

A C����� ��� ������������ ����� �� ����� ��

� ���!����������

5�� ����� ������� ������ ���� ���������� �� ������ ���� ��� ����� ����!������� ��������� ������!��������

=)()" ,���� ��� ����������� ���� �� �����

[ �� ������ �� ��������� ��� ���������� �� ������ ��3��� ��� ������������ ������ �� ������������ :�4 ����� �� ����� 0���� � ������ O1 (�� %����� ��������� �� ������� �� ���� ��� ���������������� �� ���� �� ������� ��� ������������� ���� ��� ������������� ����@�� ���� ��� ������������� ,��������� ��� ������������ ����@��� ��� �4����� �� �������� �� ������ ������� ���� ����� 5� ��������� �� ������ ���� ����� �� ����� �� *� ��� 0�� �� :�41 ����� ���������� )K!A

=)()( ����� ��� ����������� ���� �� ����

(��� ����� ������� ������ �� ��������� �� ���������� �� ������ ������ � �� ������� ��������������� �� �������� �� ��������� ��� :�4 ����� �� ����� 5���� ������� ���� �� ����!����������������� ������ ��� ������������ ���� ���������� �� �7�� ������ [ ������� �4������� ���������� �� ������ ������� ���� �� �����$���� %���� �� ������� ���� ��������� � �������� ��� ��9������� ������� ���� �� &����� ��������� ��� ��������� �� �����%����� $*� �� ������� �� ������ �� ����� ��� ��� ��������%���� ��������� ���� ����� ��������� �� ����� �� ��� �� �������� ������ ���� ��� ������������� ��������� *4� ,�� ���4 �������� �� �������� ���������� ��� ���4 �� ���� �� ��������

Page 111: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

*�"� +��� ���� �� �������������� HO

9� ��� ���� ��� ��� ����� ���� ��� .��

,� ��������� �� ���������� �� ������ ��� ��� � ������������ �������� ����� ���������� ����� ������ �������� sc(i)� %�� ������ �������� ���� �� ������� �������� [ab(k)−TJ, ae(k)+TJ ] ����ab(k) �� ae(k) ��� ���������� �� k!���� ������� �� TJ ��� ������ �� &����� *4� 5� ����� ����������� ��� ����� �� �������� ������ +��� � � ��� ���������� ������ sc(i)� %�� ��Q����� ���� ��� ����������� ������� ����� ���� ������� �������� %�� ���� ������ �� �������� ����� ��������� �� ����������!�������� ,�������� �� ���%�� ����� �� ���������� ����� sc(i) ����� ��� ��������� ������� �����!��������� ����� mms(l) C���������� ��� ����� �����!�������� ��� ������������ ������4 ���������� ������������ �� %�� ��� �%�������� �� ������� �������� [mms(l − 1),mms(l)]���� mms(0) = 0

/� ��� ��������� �� ����� %�� ����� ������ � � ��� �������� ��� 8 ;������� ���� ���������� �� � ���� (��� ����� �������� ���� ����������� � ����� �� ����������� ���� �� ��� ����� �������� ��������%�� %�� ���� ����� ��������

9� ��� ���� ��� ��� ����� �� � ��� ��� ���������

,� �������� ������ �� &����� ��� ������� �� ��� ��� ��� ��� ���������� �� ������� ��� �������� �� �� �� ���������� ����� ��������� �� ���������� ����� �� �������� �� ������ �������� ��&����� ���� ��� ���������� ����� ������ ,�� ���������� ��������%��� ��� ���4 ������� #� ��!������ �� �����# �� #���!� �������� �� �����# ����� ��� ������ ���� �� ���������������� ���������� ��� ����� ������� �� ������ �������� ���� �� ������� �

=)()- 9�� ����������

<�� ���� %�� �� ��������� �� ��������� ��� ���������� �� ����� ��� �������� ���� ��� ���4�� ���� ��������� ���� ����������� �� �������� �� �� ����� �������� �*� ����������� ��� ���!��������� �� ��������� �� �F���� ��� ��������� ������� (� ������� �4������������ �������9������� ������������ ��� ����� ���� �� ������� ������ ���� ������� ���� %����� ����� ������ ��� ����� ��� ����� ���������� � A �������� $����� ���� ��� ����� ����� �������� ���� ���!���� �������� ��� %���%��� ������ ���!��������� ������������� � �� � �������� �� ����������� ���� ����%�� ���4 ���������� �� ������ ���� ���� ���� �� ���� �� ����� � ��� �4������ ������ ��� ����� ����� ����� ����� ���4 ���������� (���� �� ��������� ������� �� ��������� �� �����mms(l) �� �� ��������� �������� ��� ����*�� �

mms(l) −mms(l− 1) ≤ 2 ×NISV 0�AA1

���� mms(l) �� ������ ������� ���� �� ����� ������������� � �� ��������� �� ����� �������� l�� NISV �� ������ �������� ��� ������� �� �� �����

B'! C�������� �� ��&�������������

(������� �4�������������� ��� ��� ��������� �*� �� ������� ����� ������ �� ����� �������!������ �� ���4 ���� ��� ������������ �� ����� ����� �� �������� ��������%��

����� ��������� ������������

Page 112: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

H ������� *� )��! � �� $���� �� ��$�������

,��������� �� ��� ����� �� ��� ��������� ������� ���� ��� ������4 ���� �4����� ���� ��� ������ �> �� �� ������ /J

Page 113: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�$�%���� ������

+������ � ���� � ��� ��� $� �����

HI

Page 114: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim
Page 115: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� &

,� � ��� ��� �������

(��� �� � ������� ���� �������� ��� ������4 %�� ���� ����� ����� ���������� �� ������������ �������� ���� ��� ������ ������� ��� :�4 ������������ (��� �� �������� ������ �� ��� ������� ���� ��������� �� �������� �� �� ��������� ��� �������� ��� ���� ���������� ������ ���� ����� �� L����

.'� ��:������+��

(��� �� ������� �� ������4����� �����!����� ��� ������ ������%���� ��� ��� ��%��� �����!���� �� �� ������������ ���� ��� �������� ����� �� ����� ������� 7��� ����������� ;��� ��������������� ��� �� ������� ����� �� ���� ���������������� � �� ��������� ��� �������� ������� ������ ������� ��� :�4 ������������ )� �9��� ��� ������ %�� ���� ����� ������ ��� ���������� ����� �� ������� �������������� ��� ������ %�� ���� �� �� ������ ��� ��� ��� ������������ ������ ������� ������������� ��� �� �������� �� �������� �� ������� ���� �� :�4 ����� 5������ ������ ���� ��%������ ���� ����� ��������� ��� ������4 ��� �� ��������� ��� �������� (� ���������� ���� ����������� ���� ��9������ ����� �� �������� ���� ����� ������� ���4 ��� �������������� ������� %�� �� ������ ����� ���� ��������� �� ���

,� ������ �������� ��� ��������� � �� ������������ �� ������ �� ��� ���4 ��� ����

.'� <��5��� ���� ��� �������� ���&����� �� ��� ���&�����

(��� �� ����������� ��9������ ����� �� ���������� �� ������� ���� ��������� �� %�� �F� ����� ���� ������ ������������ T+��P�� ,85PI� -55HHV ,� ��������� �� ������� %�� ���� �������������� ��� ����� ���� �� ���������� � �� ���� ���� ��� :�4 ���������� �� ��� ���������� ,�����4 ����!������� ��������� ���������� �� ������� ��������� �������� � �������� ���� � ���� ����������� ��������� �� ��� ��������� (��� ��� ���4 ��������� ��� ������� ��� ������������� ����� ��� ������4 �� T- (5,>A� 5+,U>A� +��P�V %�� ���� ��� ��������� ;��� ������������ ���7��� ����������� ��������� M ���7���� ��������� ����� �� ������ L 0���� *���� �P1 2����������� ��������� �� ������ ������ ��� �������� ���� � ����� ��� M ���7���� ��������� ������� ������ L �� �� ���7��� ����������� $���� %���� �� ������� �� ��������� ��� M ���7���� ����������� )�*�� �� ������� ����� ��������� ������� �� ��������� �� �� ���7��� ��������� ��������

HH

Page 116: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�>> ������� ,� -������� ��� � �����

��� ������� �� ������� � �� ����� ��������� ��������� �� ������ �� ����� �� ���� �� ������ +��� ������� 0���� �%������ 0�H�11 ��� ��������� �� ����� ����� �� ���7��� �������� ��������� ������%����� ����� ������� ��� ������� ��� ���������� ������ �� ����� �� ����� ���� ������������� ������� �� ��������� �������� �� ����� �� ������ &��%��� �� ���7��� ��������� ��������

M−1

Temps

Amplitude

0 M

L échantillons audio

1

M fenêtres d’analyse

��� �P Z /����������� �� �������� ��� ���7���� ������������

%)()" ������ �������

,� ��� ��� �� ��������� ��� ������� ���� �� ������� ��������� ��� ��� ��� ������������� ����� � ��� ;��� ����� ������� ��� ��� �� ���� ����� .������ ��� ������������ 5������� ��� ��� ��������� ���� ������4� 5

%)()( ������ �� �������

,� ��� ��� �������� ���� �� ������� ��� ��������� ��� ������%�� � ����� �������� ���� ��������� ��������� [ �� ��9������ �� ������� ��� ���������� ��� ���� ����������� � ��������� �� ��������� ����� �� �� ��������� �� ������ �� ��� ��� �� ��� ������� 5���� ������ � ����������� �� ����� ������� ������ �

� 5����� �� ��������� �� ������ 0.�+1�

A ���� � &��� �� �� ������� �� �� .�+ ��

� (�������� ��� ��������� ���������� �� �������

Page 117: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

,��� )������ ���� �� ������� ��������� �� ��� ��������� �>�

N���� ������� %�� ���� ������ ����� ������ ��� ����������� �� ����� ����� ���� �������������� ��� ������ � ������%�� ���� ��� ������ ��]� �� ������ �� ����� �� ������

)�*�� � �� ��9������ �� �� ��� ��� ���� �� ������� ���������� ���� ����� �������������������� �� ��� ��� ���� �� ������� ��� ��������� ���� �� ����� �� ����� � ���

-� �� �� �����/� �� �/�� I5$9J

,� �������� ����� �������� ���� � ������� �� ������ �� ��������� ������ �� ������� �����RMS 5���� ������� ��� �������� ���� � ����� ��� ���7���� ��������� � ������ �� �� ��������������� �

RMS(K) =

√√√√ 1L

×L−1∑i=0

x(i)2 0�A�1

���� x(i) �� i!���� �� �������� ����� �� �� ���7��� ��������� �������� K �� L ���������� �� �������� �� ���7��� ��������� �� ����� �� ������ ���� ���������

$�� K H��� �� � ������� �� � 5$9

,� ���� � &��� �� �� ������ �� �� ������� �� ��������� �� ������ ��������� �� ������� � ����� ������� (� �� �7�� ������� %�� ���� �� ������� ���������� �� ������� ��� ��������� ������ ��� ������� ������� �� ��������� ��� M ����������� ���7���� ��������� ��������������������� �� ���7��� K ����� ����� �� �������� �� ���������� ,� ������ �� ������� ��� ��������� ���%������ �������� �

RMSA(K) =1M

M−1∑i=0

log(RMS(K − i)) 0�AB1

5���� ������ ���������� �� ������� ������� ��%�� �� ��������� �� ������ ����� ;��� �������!���� �� ������� ������� ��%�� ���� ��� �7��� ������� ���%���� ���� �� �� ����!������ �����!����� ���������� �� ������� ���������

)������� ��� 0���� �� (����%��� �� � ����

)�*�� �� ����� �� �������� �������� ��� �� �������� <�� ���7��� ����� ��� ���������� ������������ �� �� ��������� �������� ��� ��������� �

log(RMS(K))RMSA(K)

≤ Tuncompressed 0�AO1

���� Tuncompressed 0��9����� �� Tcompressed1 �� ����� ��������� ���� �� ������� ��� ��������������� �� ������� �4����������� ���� � �%�� �������� ����������� ��������� ;��� �����!���� ���� %�� � �%�� �������� � ��� ����������� ��� ��� ������ ������ �� ����� +�� �������� *4� �� ���7���� ��������� �� ����� ���� �������� 0N = 101� ���� ����� ������ ��������� ��� ������� �� RMSi ���� i = 1...N 5���� ������ ��� ����� RMS∗

i ,� ������� 0����

�%������ 0�AO11 RMS∗i

RMSA(K) � ��� ��������� ����� �� ����� #Tuncompressed ���� �� ��������� ����������� ��� �� ����� �� ��������

Page 118: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�>A ������� ,� -������� ��� � �����

.'! C�������� �� ��&�������������

(������� �4�������������� ��� ��� ��������� �*� �� ������� ��� ��� ���� ��������� ������ ��������� ��� �������� ���� ��� :�4 ���������� �� ��� ���������� 5�� �4��������� ��� ��������� ��� ��� ������ ������� �4������� �� �������� ������������ �� ��9������ ������

,��������� �� ��� ����� �� ��� ��������� ������� ���� ��� ������4 ���� �4����� ���� ��� ������ �>� �� �� ������ /J

Page 119: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� '

,� � ��� ��� ���� ���� -�� .-�� ���� �� $� �����

(��� �� � ������� ���� ���������� �� ��� ��� �� ������������ ������� �������� ���� ����������� ��� ����������� �� ���� -����Y-���� ���� ��� :�4 ����� �������� ,� ����������������� ������ ����������� ��� ��� ����� ����������� ���� �� ������������ �� ������ ��� ������������������ ��� �� ��� ��� ������4����� �����!����� ��������� ���� ����� � ��� +���� ��������� ������ ��� ��� ������ ������ %�� ���� ���������� ���� �� ������ ������ ��4 ����������4����������4 �� ����� � ��� 0���� ������ /J1� ��� � ��������� �� ����� �� ������ ����������� ����� ���������� ���� ���������� ��� ���������� �� ������ ����� ��� �������� 5���� �������������� ���� ���� �� ���������� �� ����� ������� �� ����� � ���(��� ��� �������� ������� ���� ������ �� �������� �� ������������ ��� ����������� �� ���������� ��� ����� ����� ��� ���� ������������ ��� ������ �� �������� �� ������ %�� ���� ��������������� ����� %�� ��� ������������ ����� �������� ���� ��� ������������ �� ����4 )�*�� ���������� ������ �� �� � ������ ��� ��������� �� ������������� �� �� ��� ��� �� ����������������%�� ���� �� L���� ���� �� ������������ ��� �������������� ���� ��� :�4 �����

D'� ��:������+��

,�� �������� ���� �� ������� ��� ��� �������� ����� ��4 ������������������ ����������������� ����� � �� ����� � ��4 �� �������� ������������ $*� �� ����� ��� ����� %������� �������!������� ��� ��� ���� �� ������� ��������%��� ���� ����������� (��� ��� ��4 ��������� ��������� �������4 ������� TRKDK>�� 55R+>�V ��� ������� ��� ��� ���� ������4����� ��� ����!����� ������������ ����� ��� ��������� �� ���4�������� �� ������������ ��� ������ ������������� ��� ������4� ��� ����� ��������� ���� ��� ��� ���� �� ���������� �� :�4 ����� � ��� ������!��� T�->�� ++HIV ,�� ��� ���� �� ���������� ��� :�4 ����� �9���� �� ������� ���������������� ��9������ �������� ������������ �� ����������� ���� �� ������*������ ����� �� ����%���������� ������� �� ����� 2��������� �� ������ ����� ��� ������ �� ���� ��� ����&�� �� ������������������� 5��� ���4���%�� ��� �� ������ ������4� �� ����� ������ �� ��������� ��������������� ����������� �� �����!�� ,� ������ ��� ������ ��� ������� ���������� ����� �� ������ ��� ��������� ���� �������� ���� ��� ���� ������� �� �� �� ������� �� �� �� ����%�� �� �� �� ������� )�*���� ����� ������ �� �������4 �������� ������������ �� ���� ����� ��� �������� �� ��������

�>�

Page 120: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�>B ������� .� -������� ��� ��������� /���0/��� ���� � $ �� ����

�� ������ � ���������� ����������� &������4 ���������� ���������� ���������� *���� ���

(��� �� � ������ �� � ���� ���� ���� ����������� �� �������� �� �� ��������������� ������� ������� �� ���� ���������������� � �� ��������� ��� ����������� �� ���� �����Y����� ������� ������ ������� ;��� ���������� ���� ��� ������4� %����� �������� ������*������ �� �����������%��� ����� �� ������� � ��&� ��� �9������ �� ���� ���� ���������� ��� ��� �������� �� �������������� ,� ���������� �� �������� �� �� ��������� ��� ����������� �����Y����� �� ����������� ���4 � ���� � ������������ �� �������� �� ������������ ���������� ���� ������������ ��� ����������� �� �������� ��� ��� ��� ���� ������������ ��� ����������� ����� ��� ������

(��� �� ������� ������ ���� ���� ����������� ��4 ����� �� ������ ����� %����4 ���������������������� ���� ���������������

D'� ?�&�� �� :����� �� ������&����� ��������

!)()" 8����� ����

(��� ��� ������� ��������4� ��� ���� ������� ���� ������� ���������� ����� ��� ������������ *����� T++H>V 5���� ���� ��� ������ ��� ������������ �� ����������� ��������� ���� ������������ ��� ���� )� �9��� �� ������ ��� ������� ���� ����������� ��������� ����� %������ ������������� ���� �� ����� T++H>V

,������������ . ��� '� �� �������� �� ���������� ���� ��� ��������� ������ �� �� �������,� ��� �� �� ������� %�� ���������� � ��� �������� �������� ������ ��� �9���� �� ����� ������ ������� ��� ��������� ,� ��������� �4����� ��� ����� �� ����� ����� %�� ��� ����������� ����� ������� �������� ��� ���������� ��� ���%������� �� %�� ���������� �� ������� �� �� ������������ �

)����0��� �� ����0 ��

,� �������� ��������� ��� ���� ������� ���� �������������� �� ��������� ��� ���� �������� ������ %�� ������� 7��� ������������ ���� ������ ��� *������ �� ����� ����� � ������ ��� ��������������������� �� ��� ���� ���� ��������� 7��� ��������� ���� ��� ���������� ���������� � �����!����� /� ��� ��������� �� ����� %�� ����� ��*������ ��� ����������� ���� �� �����%��� ��� ������ ������� �������� ������� 7��� ������������ ���� ������ ��� *������ �� ����� ����� TE(5>BV(������� ���������� ����������� ����������� ������� 7��� ������ �� ������� ����� ��� �4������� ������� ��������� TE�K-PV� �� ����������� ��� 5���� ��������� ������� ����� ��� ����������� ���� ��� ���������� �� ���� ��� �����*�������

/� � � �� �������4 �4������ �� ���� ���� ������� � :�4Y��:�4 �� �� ���� �� ����� ���

)����0�����

,� ������������%�� ���������� �� ��� ���� ��� ����������� �� ����� ���������� ���������� ������� �� ����� 5�� �������� ���� ������� ����� �������������� ��� �� ����������� �� C������������ 0CC21 ;��������� �� ��� ��������� �� ���������� �� �� ��������� ���������� ����������� ����� ���������

,�� ������������ ��� ���� ���������� �������� ���� �� ����������� ���� �

Page 121: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

.��� 1#��� �� ����� �� ����������� �� ��� �>O

Z ,� �� !�& �0����� 0�� �%������ 0>1 ���� �� ������� ���1 ��� ��*�� ���� T++HIV /� ���!��� ��������� �� ���������� ��������� ���� ��� ����� ���%������ /� ��� ��������������������� ���� ����������� ��� ������� ������� ��� ������� ���!������� �� �� ������ 5���������������������� �� �� ����������� ���� �� ��� ��� ���� ������� ����� ��� ��F������� ������!������ ��� ���4 ������ ������� ������� ����� ���4 �������� ���������� ��9������� ��������� �� �7�� ������ ���� �� ����!�9 ��������

Z ,� ������C�� �0����� ���������� �� ������ �� ������� �� ������� ������������ �� � �����*�� ��� ���%������ 0OH1 ���� �� ������� ��� 5� ��������� ��� ���������� �� ����!�9�������� ��� �� ����� ��� ������ �� �� ���������� ��������� ���� ��� ����� ���%�������� ������� 5� ����������� ����� ��������� ��� �� ���� ��������� ���� ����� ������������ �� �7�� ������ %�� ���� �� ����!�9 ��������

Z ,� ��� �0����� ��*�� ���� T25>AV ����� �� ��9������ %�������%�� ����� ��� �����!����� ����������� S ��� �������� ���������� �

Fr =

N2∑k

(Sr(k) − Sr−1(k))2 0�A1

5� ����������� ��� ��� ������ ��� ���������� ������������ �� ������� ������� ��� ���������� ������� �� ����� 0����� �� �� ���7��� ���������1 /� �������� 7��� ����������� ���������������� ��� ����������� ����� ��� ������� ���� ���� �� ������� ��� �������� %�� ������������� ������ ��� ������������%��� ������������� �� ��������� %��� ��� ������

Z ,� �&������ �0����� � ��� ���������� �� ��9������ ����� ��� ��������������� �� ���4���������� ���������� ����������� (� �� �7�� ������� %�� ���� �� ����������� ������������ ��9������ ��������� �� ������ �� ������������ %�� ��� ���������� ������� ��� ����������5��������� �� �� ���� 7��� �F��� %�� ��� ���������� ������� ���� ��� ������������%�� ������������ ���� ����� ������

(��� �� ��� �� ������� ����������� ���� ���� �� ��������� ��� ������ ������� ���� ��� ����!������ ���������� ���� ��9�������� ���� ��������� �� ��*��� ��� ������������ %�� ������������ ������� ���� ��������� ��� ��9������� ���������� ���������� (��� �� ������������ ��� ��������������� ��� ��� �������� �� ��������� �� �� �� ���� ��� T++H>V� �� �� ���� ��������%�� TUCHHV�� �� �� ������*������ �� �� ����%�� T25>AV ������������ ��9������� ��������������� ���� ����!������� ��������� ������ %�� �

Z ,� �������� �����4������� ��� ����� ��� ��� ���F������ ������� ��� ������������� �� ����� ��� �� ������ �������� ��������� 0, 51 5���� ��� ��%�� ��� ������� �����%��� ������ ������� �� �� ������ 5��������� �� ������ ������M �� �������� �� i!��� ���F������� ���4 ���7���� ����������� ��� ���� ��� ���F������ �� ���� ��� �������� ���� ��� �������!��� ����������� ��� ���� 5��� �����%�� %�� ���4 ���� ������� 7��� ���3�� �� ���������9������ ����� %�� ��� i!�mes ���F������ , 5 ���� ���� ���� ��

Z <�� ����� ��� ��� �������4������� ��� ���������� ���������� �������� � �������� ������F������ ��������4 0551 5���� ��� ��� �������� ��� �7��� ����������� %�� �� ��!� ��� ��� ���F������ , 5 +���� %���%��� ���F������ ������� ��9���� ���� ���4 ������������������� ��9������ T);.5>�V

Z (��� �� ��� �� ��*��� ��� ������������ %�� ���� �� �������� ���� �� ����������� ��� ����!*������ ��������4 ������� 7��� �������� �� ��������� ���� ���� ��� T.8H�V ,�� ���F�������C5 ���� ������� �������� ���� �� ������� �� �� ������ �7�� �� ��� ������������ ����

Page 122: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�> ������� .� -������� ��� ��������� /���0/��� ���� � $ �� ����

���������� ���� ��� �������� �� �� ������ �� �� ����%�� T,��>>V� ���� ����������� ��4���� ������� ���� �� �7�� �������� %�� ���� ��� ��� ���� ����������� 0, 5 �� 551

;��� ��������� ��� �������%��� ��� ��������� �� �� ��� ��� � �� K���?�� ���������� �������������� ��� ���� TK��HV 5�� ������4 ���� ���� �� ������ �� ���������� ���� ��� ����������� ��%��� �� ����� ��� ���������� ������������ ��� ��� ���������� ����������� ���� ��� -�����.������������� N%���������� 0).-�1 5��������� ���� ��������� ��������� ����� ��� ��� ����������� ���� ���� -��@� ����\� %�� ��� ).-� ;��� ����� ���� �� � ��4 ��� �� ������ �� �������� -��@� ��� ��������� � ����� ��� ).-� T+$HHV � �� � ��4 �����%�� ��� ��������� �� ������ �������������� ,��� ���� -��@� ��� ��� �� ���� ���� ��������%�� ���������� ��� U?��@�� TUCHHV,��� ���� ��� �������� �� 26 ����!������ �������� ���������� ��� ���%������ ��������� �� 0 �22050E=� �� ������ �� ���4 ���� ������������ ���������� ������� R = 44100E=

,�� ���������� ���������� � �����!����� ��� ���� ������� ���� ������������ ��� ��� ������!����� ��������� ���� � �%�� ����!����� �� -��@� �

∀f, S′(f) =√

1Bk

∑f∈����� �� ��� k

S2(f) 0�AI1

���� Bk �� ������ �� �� ����� �� -��@� �������� k �� S �� ������� ������� � �����!�����$����� 26 ������������ ������������� �� ������� ��� ���� ������� ,�� ���������� �� %���%��� ������� ���F������� ���� ��F������ ���� �����*�� �� � �������� �� ������� �� ��� 5� � ������������!7��� ���3� �� ���� %�� � �%�� ����������� ��� ��� � �� ���������� ,� *���� �H ������ ���4����� �� �������������� ��� ������ �� -��@� ���� �� ��� ���� ��� ������������ �� ����� ����������� ,��4� ��� ��������� ���������� �������� �� �� ����� �� -��@�� ���4� ��� ��������� ����������� �� �� ���7��� ��������� �� �� ������� �4� ����������� �� ������ �� �� ���������� ����������������� ����� 0 �� 1

0 5 10 15 20 25 300

50

100

150

0

0.05

0.1

0.15

0.2

0.25

��� �H Z )4����� �� �������������� ��� ������ �� -��@� ���� �� ��� �� �������

Page 123: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

.��� 1#��� �� ����� �� ����������� �� ��� �>I

!)()( 8����� ������� �

,�� ��� ��� �� �� ���� ��������%��� ��� �� ���������� ��� ������� ��� ������ %�� ��� ������������ �������� ������������ �� ����������� ��� �������� �� ������ TE��HIV <�� �� �������� ���������� ��� �� ��������� ����%�� �� ����������� ;��� ���������� ����� ��� ������ ������� ������� �������� %�� ������������� ��� ���������� � ��� ���� �������� ������������ ������������ ������������

)����0��� �� ����0 ��

)� �9��� �� �������4 ���� �������� ������� ���� �������� ������������ �������%��� �����!�������%��� �� �4������ ��� ������ ������������������� �� ��� ������� �� �� �����%�� ������ ��� ;��� �������� ��� ������� ��� � ��� ��������� TE��HIV ,� ���%����� ������������� ��������� �� ���� �� ���� ���� 7��� ���������� � ������� 20E= +���� ����� ���%�������� �������� ��� �� ������� ������� ����� ����� ��� ������

)����0����� 0��� �� ����� �0� �(�

(� �������4 ������� ���������Y���� ��� �� ���� ���������� ��� ������������ ��� ������Q����� ��� ������� ���� ����%��� �� ������ TJ�>>V 5���� ����%���� �� ���������� ��� ���� ������ ��������� ��� ������������ ������ ��� ��� ���������� �� ��������� T,��HPV� ��� ��� ���������� ����������� ��� ����� ���%������ T�-HV �� ��� ��� ���������� �� ����������� �� ������� T .HHV��� ��� ����������� 5��������� ���� ������� %�� ��� ��� ���� �� ������� ��� 7��� �� ���������������� ���� �� ��������������� ��� ������ ��������� )� �9��� �� �������� ��������� ���� ��� ����� ���%������ ���� ����%��� �� �������� ������������ ���� ���������� ����� �� ������ ������� $����� �� ��*������ ���� ����� ����������� �����*%�� ��4 ���� ��������� ��� ����������

5���� ����%���� ���� ������� � ����� �� ����������� ����� ���������� �� ������������ ������� ������� ��������� ,�� ���� ��������� ���� �������� �� ���������� ,� �������� ������������� � �������� ��� ���7���� ��������� %�� ����������� ��� ��������� ���3�� (� �������4������������ ����� ������� 7��� �������� ���� ������������ ��� ���7����� ����� ��� �4����� �����4 �� ������� ��� =��� 0U5.1 �� ���� ��� ���������� �� ��������� 5��������� ���� ������ ���� ���������� ��� ����� ������ �� ���� �� ���%������ ���� �� �����4�� ��� ���� �������TE��>�V 5���� ��� ��� ��� ����� ��� �� ������ �� @������� 0������ ��������%�� ������� 4����� �%������ 0OP1 ���� �� ������� ���1 <�� ����� ������ �� @������� 0���������� � 101 �����*�%�� ���� ������ �� �������� ����� ���7��� ��������� �� ���� �������� (��� �� ��� �������������� ����������� %�� ����� ���7��� ��������� ����� �������� �������� ���������

<�� ������ �� @������� ��� �9����� � � �%�� ���7��� <� ����� ��� ����� *4� ���� �� ����� ��*��� ��� ���7���� %�� ���� ����������� ����� ���������� /� ��� ��������� �� ����� %���� ����� ��� ����������� �� ������ �� ������ �� ��� ������� ��� ����������� ��� ����� ���������� ���� �� ������ �� @������� �������� ��� ������ 5��������� �� ������ �� @������� �������� ��������� �� ���������� �� �� �������� ������������ ���� ���� ��� �������� ���� �������������� ������ �� �����������

;��� ������� %���� ��� ����� ��������� ��7��� ������� �� ����������� ��� ���� ������� �����!���� %�� �� ��9����� ��� ��� �� ������ ��� ���������� ���� ��� ���� ����������� 5���� �� ���������� ��%����� ���� ��������� ���������� �� ���%����� ��� ���������� �� ���� �� @������� ����

Page 124: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�>P ������� .� -������� ��� ��������� /���0/��� ���� � $ �� ����

������������ ��� ���� ��������� $���� ����� ������� �� @������� ��� ���������� �� ������� �������%���� ��� ���7���� ���� �� ������ �� @������� �4���� �� ����� �� ��������� *4� �� ��������4���������� $���� %���� ������� �������� ����� ���4 ���7���� ���%���� ��� ������� ������!���� ����� �� �������� �� ���%����� ��� ���������� ;��� ����������� ����� ���� ��� ����������������� �%�������� � �� ����� �� ���� �������� ������ (��� �� ��� �� �� ��������� ����� ��������������� �� ���%����� ��� ����� ��� ���� ������� �� ���%����� ��� ����������� �� ����� ���4���� ���� �� ������ ��� ������� �� @������� ���� ����������� ;��� �������� %�� �� ��� �������������� � ��� �������� �� ���� ������ ����� ����������� �� ������� ���� ���� �� �� ������� ����� �������������

�� �����%����� ������ ��� ���7���� ��������� ���� ������������� ��� �� ������ �� ������� � ��@������� �� �� ���%����� ,� @������� ������ �� ����������� ��� ���� ������� ��� ���� ���������������� %�� �� ����������� ��� �������� ���� ����������� ��� ���� ��������� ����� ��4 ,� @������������� 7��� �� ��� �������� ���� ������������ �� �� �������� �� ������������ ���� ��� ����������� TE��>�V )�*�� �� ������ �� �� ���7��� ��������� ��� �� ��������� ��������� ��� ������*��� �� ���� ��� ����� ��%����� �� ������ �� ��� ��� ������������ TK (>>V

;��� �������� ���� �� *���� B> ��� ���������� �� @������� �� �������� �� ����� ���� ����� �� ��� ��� � ������ ,��4� ��� ��������� ���������� ������4 ��� ���7���� ��������� ����� %�����4� ��� ��������� ���������� � �� ������ �� @������� (��� �� �������� ���� ����� ������� ������7���� ��������� ���������� O�A �� ��������� ���� ��� ���%���� ���� ������������ �� BB�>>E= 5���� ������ �� ���7��� ��� �� ���� ���������� �������� ���� �� ����������� (� ����� ��������� *4� �� ����� ���� �� @������� 0����� ���=������ ��� �� *����1 ���� � O ,�� �4���������!����� ������ ���� TE��>�V ��� ������ %���� ����� ��������� � B ��� ��F������� ����������������� ������������ ��� ��������� � ������ �� �� ������ �� @�������

0 50 100 150 200 2502

4

6

8

10

12

14

16

18

20

��� B> Z )4����� �� ������� �� @������� ���� �� ��� �� ��� ��� � ������ ���� ��� ���7������������ �� ������ O�A �� ���������

Page 125: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

.��� 1#��� �� ����� �� ����������� �� ��� �>H

!)()- 8����� ����� ����������

(��� ����� ����!������� ���� ���������� �� %�� ����������� ��� ������ ������!�������%��� ���� %�� ��� ��9������� ��� ������ ����� �� ������

)����0��� �� ����0 ��

(� �������4 ���� �������� ������� ���� ������������ ��� �� �������� ����� ������ %������!7��� ���3�� ��� �� ������� ������� ����� ���� ��� ����� �� � � ��� �4����� ��� ��������� ��� ����� ��� �������� �������� ��� <�� ������ ���� 7��� ���3�� ���� ��� ���������� ��9������� (� ����� ��9������� �������������� 7��� ���3��� �� �7�� ����� 5� � ������� ���� 7��� �4���%�� ��� ��� ������� ���!������ �

� ,�� ������ ������� 7��� ��������� ����� ��� ����� �� ������Q��� ������� �� ������ ������� � ����� TE��HIV ,� ���%����� ��� ������Q��� ��� �������� 7��� ������� �� ���������������� ,�� �4�������������� ���������� �� ������������ ��������� ��� ������ � �������� ������Q��� � �����!����� ��� ������ %�� �� � ����� �� ������ ������ �� ������Q��������%�� �� ���������� ����� ������ ���� ��� ������ TE-(5>AV 5�� �4����������������� ����� ������ %�� �������� ���� ������� �������� ��������� 7��� ���������� ����� ������%��� �� ������! ������%��� TE��>�V

A ,� ���������� �� �� ������ ��� � ��������� �������� ���� �� ������� �� �� ���� ������!��%�� <� ���� �� ��� ���� ���%�� ��� ���������������� �4��������� � ��� ������ ���������0������� ������1 5� ���� �� ����� ��� ���� ����� ��� ���&��� � �� ����� ����� ����� ��������������� �� �������� �� ���!�7�� TG��HV ,�� ���� ��������� 0������� ������1 ����������������� ��� ������ �� ��� �� ����������� �� ������

)����0���� 0��� �� ����� 0�����!0��������

5� ����������� %�� ���� ��*������� ���� ��������� �� ������� ���� �� ���� ������ ����������������� �� ������ ���� ��� ����� ���4 ������������%��� � ����������� �� �� ������ �� �� ������6���%��� ��� ���� ��� ��� ��������� ���� �� ������� �� �� ���� ��������%�� ���� ������������������ ����� ������ ���� �� ��� �������� TG��HV ,� ��� ��� %�� ���� ����� � �������������� �� �������� ������������������ Γ� �� ���� ����������� �� ������� ����������������� �������� ��4���� �� �� �������� ������������������ ���� Γ(τ)� �� �� �������� ������ %�� �������� Γ(0) 5���� �������� ������ �� �� �������� ����������������� ���������� ��������� �������� ������ 5� ������� ������������������ AR� ��� ��*�� ��� ���%������ �������� �

AR =Γ(τ)Γ(0)

0�AP1

5� ����������� ��� ����� �� ��� �������� ���� ��� ��������� �� ������������ �� �� ���������!����� ���� �� ������� �� �� ������ TU+;>�V �� ������������ �� �� ������ ��� ���� ������%���;��������� �� ������ ��� �4��������� %�� ���� ����� ������� �� ������� ����������������������� 7��� �� ��� �������� ���� ������������ ��� ���� ������� �� ���� ������!�������%���

)� ������ ���4 ������ ������!�������%��� ������� 7��� ��9������ �� ����� �� �7�� ������������������������ (��� �� ���� �� ��9������ �� ����� �� ������ ��� ������� ���3��� ,�� ���4

Page 126: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

��> ������� .� -������� ��� ��������� /���0/��� ���� � $ �� ����

0 50 100 150 200 250 300 350 4000

0.2

0.4

0.6

0.8

1

1.2

1.4

��� B� Z )4����� �� ������� �� ��$. ���� �� ��� �� ������ �������%��

���� �� �������� ��� ��������� �� �7�� ������ �� �������� �� ������� ����������������� ���������� ��� ���4 ���� ��� ������%�� 5���� ����%���� ���� ��������� �� ���4���� ����������� ���������������� �� ����4 ��� ������ ������!�������%��� /� ������ �� �� ������� �� ��� �������� p���*��� ��� �

p =τ

R0�AH1

���� τ �������� �� ������ ��4���� �� �� �������� ����������������� �� R �� ���%����� ���� ��!����������

,� *���� B� �������� ��� ���������� �� ������� ����������������� �� �������� �� ����� ������ ��� ���� ����� ��������� ���� ������ �������%�� ,��4� ��� ��������� ���������� ������4 ������7���� ��������� ����� %�� ���4� ��� ��������� ���������� � �� ������ �� ������� ���������!�������� 5���� �� ��� �������� �� �� �����%��� ��� �� *���� B�� ��������� ������� �� ������������������������ ������� ������� ��� ������� ����������� � 1 5��� ���4���%�� ��� ��� ��!���������� �� ������� ����� � �� ����������� ��������� ���� �� ������ ��� ������� �� �� �������������������������

!)(); 8����� ��� �����@���

(��� ����� ����!������� ���� ���������� �� %�� ����������� ��� ������ �������� �� ������Q����� �� %�� ��� ��9��������� ��� ������ ����� �� ������

)����0��� �� ����0 ��

,�� ���� ����� ���� �� ���� ������� �������� ����� ����� �� ������� �� ����������������� ������%��� �� ��� +� ��� �� ��������� �� ��� ������� ��� ������%�� 0�� ������! ������%��1 �� �� ���� ������ ������ ����� ��� ���� ����� ��� ������� ������� 7��� ���3��� ������ ������������ ���� ��� ������������%�� ���������� ���������� ���� ��� �������� �� ����

,�� �4������ �� ���� ������� ����� %�� ���� �������� �� ������Q��� ���� �������4 )� ���!��������� �� � � � �� ���� ���� ��� ������ ���� ��� ������4 %�� � ������� �� ����� ��� ��������������

Page 127: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

.��� 1#��� �� ����� �� ����������� �� ��� ���

���� �� ���� ���

)����0����� 0��� �� ����� ���� ����

,�� ������ �������� ���� ����������� ��� ��� �������� ����������� � ����� ����� %�� ������������ �� ���� %�� ������������� ��4 ������Q��� ��������� ���� �� ��� ,� ������������������ � �� ���� �� ����� ��� ������������� �� ������ �� ������Q��� (� ���������� ��� ������� ��� ��������� ���� �� �����4�� �� ��������� �� �� �� ���� ��� �� ���� �

Z ,� ���� ������%�� ��� ��� ���� �������� � ���������� ���� ��� ��4��� �����4 ��� �������������������� ����� ����� ��� ������Q��� 5���� ��� ��� � ��� ���������� ���� T++H>V5��������� �� ��������� �� ����� ��� ��� ��� ����������� ���� �� ������ �� ������ ����� ������� (� �� ����� ���� �� ������� ��� �������� ����� ��� ��� ���� ����� ��������

Z <�� ����� ��� ��� �������� � ������������ ��� ������Q��� ����� �� ��9������ ����� ������� �� ����������� �� ��� ���4 ������� /�� ������ �� ������ �� ������ �� ��� ������� ���� ������� �� ������������� 5���� ��� ��� ����� ���� ��� ����������

Z <�� ������ � ��������� ���� �� ��������������� ��� ������Q��� � ��� �������� ���� T .HPV5��������� ����� ��� ��� ��������'� ��� 7��� ��F������� ������� ���� �� ��� �� ����������� ��� ��� �4��������� ������ ��� ��� ���� ���� ���%��� �������� %�� ����� ��� ���������� ��� ���!���������� �� ������ �� ������Q��� ���������� ������� ���� �� ������������ TE��>�V

Z <�� �������� ��� ��� � ��� �������� �� �4���������� ����� ����� ���� ������� ����!%���� ������ �� ���� ������� TE��>�� E(5>�V 5���� ��� ��� ��� ����� ��� ��� ���������������%�� �� ����������� ��� :���������� �� ����������� ���������� ���� ��� ����� ���!%��������� ������� �� ������ ������ +� ����� ����� ����� �������� %�� �� ������ ��� :��!�������� ���� ����������� +� ����� ����� ��� �������� ����� ������Q�� 0�7�� ��������� �� �����1� ��� :���������� ���� ����� ���� ������� �� �����%����� ����� ������ �������� ���������� ��� ���� �� ������� � ����� ����� �� ��*� ��������� %���� ���� ������� %�� ������������� ���������� � ��� ������Q��� �� ���4 %�� ���� �� ����� �� ��� ��!������� <�� ������ ���� � �%�� ������ �� ����������� �� ������� ��� �9������ �� ������� ��*�� �� ��������� ������ �� ��*��� �� ������ �� ������� %�� ������������� ��4������Q��� $����� �� ������ �� ������Q��� ��� ������� � � �%�� ���7��� ��������� (��������� �������� ��� ��� ���� ������ 7��� ��� ����� ��������� ���� ������� �� �������� ������Q��� ���� ��� ������

,� ������� �� �� *���� BA ������ �� ������ ����� �� ������Q��� ��������� ���� ��9����������� �� ���� ������� �������� ;��� ������� �����%��� %�� �� ������ ����� ��������� ���������� ����� �� ���� ������� ���������� � ���� ���� ��� �������� 0����� ������1� ��4�� ��� 0����� ������%��1 �� �4����� ���� ���� �� �������� 0������� �� ������1

9�� L����� �� �����C���J��� ���� ��� �������� �A

+�4�� ��� AABHO���� �� C������� OB�

��� BA Z .�������� �� ������������ �� ������ �� ������Q���

Page 128: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

��A ������� .� -������� ��� ��������� /���0/��� ���� � $ �� ����

)�*�� �� ������� �� �� *���� B� ������ ��� ������������ �������� �� �������� �� ���� �������

D�0� �� ���� )����0�����5����� N������� ���� ��� ������ �� -��@� �����!�������%�� .������ �����������������

������ �� ��� ������$��� ����� ;����� �� ������Q���/������� R�������

C��%����� ��� ����������

��� B� Z 2��� �� ����� �� ������������ ��������

D'! ��(��������� ��� :�����

5���� ������� ��� ������ � �� ������������ ��������� �� �� ��� ��� �� �������� ��������%���������� ���� ������������ ��� ����������� ����� ��� ��9������ ����� �� ������ %�� ���� �������!����

,� �� ��� �� ��������� ��� ����������� ����� ��� ���� ��� �� �������� �� ������ �� ����������������%�� �������� /� ������ ����� ��� ��� �� �������� ������%�� �� ������������� ������������ �� ����������� ������ ���� �� �O ��� T5EIPV �� ������ �� ��� &���� T(��>>� ���>BV ;�������������� �� �� ��� �� �������� ���������� ���� ���4 ���� ���� ���� �� ��� �� ���� ;��������������������������� ;��� ����� ��&� �������� �� �� ��� ���� �� ��� ����!������������ ������ ��������� ��� ���������� �� ������ 0���� ������� �1

/��� ���� ����� ��������� �� �������� ���� ����%��� Xi� ���������� �� ������� ��� ����������������� �4������ �� ����� �� ������ i� ������������� � ����������� X 5� ������� ��� �� �� ����� �

Xi =

⎛⎜⎜⎜⎜⎝x1i

.

.

.xmi

⎞⎟⎟⎟⎟⎠ 0��>1

���� m �� ������ ����� �� ������������ ����� ��������

,� ��������� h� ��� ���������� ��� ���������� ��� ���� ���� (��� ����� ���� ���� �������!���� ���%������ ���4 ���� ����� H1 �� H2 �

Z H1 � $������ �� ���������� ����� �� ����� t0 ��

Z H2 � ������� ����� ���������� ����� �� ����� t0

(��� �� ������ ���� ��������� %�� ��� �������� �� ������� �� ������������� Xi� ������� �������������� ;������ $����� ���� ������ ���������� ��� ������������ ���������� ����������!��������� ���� Xi � ����������� �� � �%�� ������� ����� ������� ������� ���� ������������[t0 − n, t0 + n] �W n ��� �� ��������� ������ (� �� ����� ��� ���������� ���� �� :�4 ����� ������� t0 ����!7��� �4������ � ������ �� ���4 ���� ���� ����� ���� �

Page 129: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

.�"� ���������� ��� ����� ���

Z H1 � ∀t, t0−n ≤ t ≤ t0+n� �� �������� �������������������� X� ���� �� �7�� ������������������� ��*��� ���N0(μ0,Σ0) ���� μ0 �� ������� ������� �� Σ0 �� ������� �� ����������

Z H2 � ∀t, t0 − n ≤ t ≤ t0� X ���� �� ������������ ������� ��*��� ��� N1(μ1,Σ1) ���� μ1

�� ������� ������� �� Σ1 �� ������� �� ���������� )� ∀t, t0 ≤ t ≤ t0 + n� X ���� �������������� ������� ��*��� ��� N2(μ2,Σ2)���� μ2 �� ������� ������� �� Σ2 �� ��������� ����������

,� ���� ��� H2 ���������� � ��� ���������� �� ������ �� H1 �����%�� �� ���������� �� ��!���� ����� 5���������� �� ��*������ ���������� ���� ��� ���� ���� H1 �� H2� �� ������� ��������������� ���4����� �� �� ������� �������� �

L1L2

=A

B0���1

���� A =t0+n∏

t=t0−n

1(2π)

m2 ×√det(Σ0)

× e−12(XT

t ×Σ−10 ×Xt) ��

B =t0−1∏

t=t0−n

1(2π)

m2 ×√det(Σ1)

× e−12(XT

t ×Σ−11 ×Xt)

×t0+n∏t=t0

1(2π)

m2 ×√det(Σ2)

× e−12(XT

t ×Σ−12 ×Xt)

���� Σz �� ������� �� ����������� z = 0, 1, 2+� Xi ��� ��� ����� *��� �� ��������� ����������� ����� �� ������� �� ���������� ��� Xi ��� ��������� ������ ���� �� ���F����� �� (i, j) ��� ����� ��� �

ci,j = 5��(Xi,Xj)

���� Cov(A,B) �� ���������� ��� ��������� ���������� A �� B<�� ������� �� ���������� ��� ���&���� �������%�� (��� ����� ���� �� ������� �� ������������ ����!7��� ��*��� �� �� ������� �������� T$��>�V �

Σ =

⎛⎜⎝ E((x1k − E(x1k)) × (x1k − E(x1k))) · · · E((x1k − E(x1k)) × (xmk − E(xmk)))

E((xmk − E(xmk)) × (x1k − E(x1k))) · · · E((xmk − E(xmk)) × (xmk −E(xmk)))

⎞⎟⎠���� E ����������� ��� �����%�� �� xki ��� k ����������� �� ������� �� ������������ Xi,� �� ��� �� �� *���� BB �������� �� ��*������ %�� ���� ����� �������� ���� ��� ���� ����H1 �� H2

+������ �� ������������� ������%�� TJ��>>V %�� �������� � ���������� �� ������� �� ��������� �� ������������� 0���� �%������ ���1 �� � �������� �� ���� � �� ����� ����������������� ����� �

M =n

2[ln(det(Σ1)) + ln(det(Σ2))] − n× ln(det(Σ0) +

12[C +D − E] 0��A1

���� C =t0−1∑

t=t0−n

Σ−11 ×Xt)� D =

t0+n∑t=t0

(XTt × Σ−1

2 ×Xt) �� E =t0+n∑

t=t0−n

(XTt × Σ−1

0 ×Xt)

�� �

M<>

2 × n× ln(l × P/(1 − P ))=> H2=> H1

0���1

Page 130: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

��B ������� .� -������� ��� ��������� /���0/��� ���� � $ �� ����

vecteurs

vecteursvecteurs

t0 − n H1 t0 H2 t0 + n

Xi Xi

Xi

n n

2 × n

��� BB Z /����������� �� �� ��*������ ��� ���� ���� H1 �� H2

�W P ��� �� ����������� �������� � �� ���� ��� H2 ! �������� ����� ���������� �� �����

(��� �� ��� �W ��� �������� �� ������������ Σj ���� j = 1, 2, 3� ��� ��� �������� � ������ ����7��� �� ��������� �������� ���� �� ������� Xi �� ��� ����� ����� ���� ���� ��� ������������� ������� Xi ���� ������������� ����� ������ ����� �� ����� A+ B − C �� ���%������ 0��A1��� ����� ,��4�������� �� M ���� ���%������ 0��A1 ���� 7��� ��!������ �� �� ������� ��������T$��>�V �

M =n

2[ln(det(Σ1)) + ln(det(Σ2))] − n× ln(det(Σ0) 0��B1

)�*�� ����������� ���%������ 0���1 ���� l = 1 �� ���4�������� �� M ������*�� ������ ������%������ 0��B1� ���� �������� ���� ����� ����� �� �������� *���� �

M<>

2 × n× ln(P/(1 − P ))=> H2=> H1

0��O1

��� �������� �� �������� �� ����� ��� ��� �� ������������ �������� � �4������ �� ��������Xi� �� ������������ ���� 2×n ���7���� ��������� ����������� ���� ���� ������ ���4 ���� ��������� ���%������ ���� ���������� ��� 2×n �������� �� ������������ ������� �� �7�� ������������������� ���� ��� �7��� ���������� 0�%�������� � H11 ���� ��� n �������� �������� ���������� ������������ �� ��� n �������� ��� ������������ ������� ���� ��� ���������� ��9������0�%�������� � H21 ,� ��� ��� �� �������� 0���� �%������ ���1 ��� ������� �����%��� ���������������� �� ���� ��� �� ���� �������� ����� H1 �� H2 ,� ���� �� L���� �� ��� ������� ����������� ������������ ��� ������� ���� �� ����������� P �� ���� �� ������ �� ���7���� n �������� ���� ����� ���� ��9������ ����� �4����������4 ���%���� ���� ����� �� ������� ��� ���������������� ���� ��� ���������� � ���� n = 50 �� P = 0.1 ����� ��� ���� �9�� ��� ����������������������

)�*�� ����� ������ � ��� ������ ���� �� ����������� ���� �� ��� �� ������������ �������

Page 131: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

.�&� +��� ���� �� �������������� ��O

�� - � � � ���� �� ���� �W �� ������ �� �� ��������� ����� ���������� �� ��� ��� �� ��������*!������ ���� ����� ����� ����������� � ��� ������ ������ ;��������� ���� �������� ���� �������������� �� �� ������ �� ����� ������� � ������ ���� ��������� �� ������*������ �� ���������� � ������� ���� ���� ������ ���� �� � ��4 ��� ������������ (��� �� ���� �� ������ ���� ��������� ��� ����������� ����� ��� ������ �� �� �7�� ������ 0������!�������%��� ������������1 ������� ��� ��� ������������ %�� ������������� ����� ������ �� ����4 $����� ���� �������%����*�� ����� ������������ �� ������������ �� �����%����� �� ��� &�������4 �� ��������� ��������*������ ��� ������ %�� ���� ����� ���� �� L����

D'$ C�������� �� ��&�������������

(������� �4�������������� ��� ��� ��������� �*� ����� ���� �� ������� ���������� ��� ���!��������� �������� �� ������� ����� �� ������ �� ����� ��� ����� ����� �� ��� ������ ������� �� ����� ��� �� ������������ ��������%�� ������� ,��������� �� ��� ����� �� ��� ��������� ����������� ��� ������4 ���� �4����� ���� �� � ������ �� �� �� ������ /J

Page 132: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�� ������� .� -������� ��� ��������� /���0/��� ���� � $ �� ����

Page 133: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� (

/������� ��� ��� ��� �

-'� ��:������+��

���� ���������� ��� �"� �� ��������� � ������4����� ����������� �� ������*������ ��� ������������� ��� ������� ��� ��������� )� �9��� �� �"� � �� ������������ �� ����� �����!����������� ���� 7��� �������� ���� ��� ��� ��� ��������� ��� :�4 ����� �� ����� �� ����� 8��%��� ���!����� ��9������� ������ �� ���� �� ������������� ��� ��������� �����!������� ��� ��� ������!���� ���� T55R+>�� RKDK>�V 5�� ��� ���� ���������� � �4������ �� �������� ��� �����������������!������� )� ������������ ��� ������� ��� ������� ���� �� ������� �� �� ������*������ ������� ����%��� ������� ������� �� ������ ��� ��� ����������� ���� T++HI� �->�V ,�� ������������������ �� ����%�� �� �� ������ ��� ��&� ��� ��������� �4������� � ������ �� ������*������ ��������� �������4 T25>AV �� �� �������������� ��������%�� �� �� ������ TU+;>�V )� ������ ������ ��� �� ������4 ��� ��� ��������� ���� �� ������������ ���������� �� ���������� ��� ������������ �� ����������� �� �� ������*������ T)�+RHHV

.������ ���� �� ����� ����� ������ � ����������� ���� ��������� ���� ���� �� � ���������� ��� ��� ��������%�� ���� �� ������*������ ��� ���� ������� <� ����� ������ ��� �������������!������� ���� %�� ��� ������������� �� ��� ������ �� ������ ���� ����������� ��� �������������� �������� %���� ����� ��� �������� �� ���������� ����� �� �� ����%�� �� �� �� ������,� ������������ �� ������4����� �� ������ ������� ��%������� ��� ��� ��%��� �����*%��� 5������ ������ ���� ��%������ �� ������*������ ��� ���� �������� ������� ��� ��� �"� � ����������� ������ ����� �� ������4����� ����������

(��� �� �������� ������ �� �� � ������� ���� ������������ ��� ������� �� ���� ��������������� %�� ���� ������ ������� ����� %�� ��� ������������ �������� $���� %���� ���� ������������ �������� �� ������*������ ��������%�� ���� �� �����

-'� *������ �� :����� �� ������&�����

(��� TE,(5- >BV� �� �������� �� ������������ ����� ������ � �� ������������ ��� ����������� � ��� ������� [ ������ �� ��� ������������� ���� ��*������� ��4 ������� �� ���� ��������������� �� ���� ��������� �� ������ �� ���������� ��� ������������� �������� ���� �� ������*��������������%��� � ����� ��������

��I

Page 134: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

��P ������� 2� � ���$����� ��� �����

(��� ����� ������� ���� ������� ��� ��*������ ��� ��4 ������� %�� ���� ��������� 5����4 ������� ���� ������ �� ������� �� ����� ������� �� �� ����� ������������� ,�� ����� �������%�� ���� ��������� ���� ��� �������� � ������!�������%���� ��������� �� ���� ������Q��� <����*������ �� ��� ����� ����� �� ������ � ��&� ��� ������ ���� �� ������ PA 2��������� ������������� ���������� �� ����������� �� ��� ����� ������� $���� %���� ���� ���������� ��� ��4������� ��������� ,� *���� B �������� ��� ������������� �� ��� ���������� �� ��� �������

8����� ����

(��� �� � ������ ��������� 0� ������ P1� ���� ����� ��������� ��� ������� �� ������ ������ ������ � ���������� ������!�������%��� �� �������� �� ������Q��� ;��� ����� ���������������� ��� ������������ %�� ������������� ��� ������� �� ����4

(��� �� ����� �� �� � ������� ���� �������� ��� ������� ��� ������� Gp ���� ������!�������%��� Gi ���� �������� �� Gs ���� ������� �� ������Q��� ��������������

���������� �� *�����

,�� ����� ���������4 ������� %�� ���� ����� ��*��� �� ���� ��� ���&����� ;��� ����� ������������ ����� ������*������ �� ��*������� ��� ��4 ������� �� ������ ��������� ,�� ������������� ����� ������� Gp� Gi �� Gs ��������� �� ��*������ ��� ��4 ������� %�� ���� ��������� ;��������� G ���������� ��� ���� �������

Z 9��� ������ ���0���� �� �����C��� � 5���� �� � ��� ������������ �4���%��� ������� ������� �������� �� ������Q��� ���� ��������� ��4 ������ ������!�������%��� $��������� ������� ���� %�� �

Cs = Gs ⊂ Gp 0��1

���� Cs �� ������ ���� ��� ���� ������� �������� �� ������Q���

Z 3�� ���� ������ 0�����!0�������� �� �0� �(� � ��� ���� �������� ������������ ������ 5���� ������ �������� ��� ���������� �������%��� ���� ��� ���%���������� ����������� � 20 E���= )� �������� ������� ��� ���� ������� ��������� ����� �����������!�������%��� �� ��������� ���� ��� ���� �������� ������������ %�� ������� 7����������%��� ���� ����� ����������� �� ���� ��� 7��� ���3�� ��� �� ������� ������� ���������� ��� ������ �� �4������ ��� ���� ������������������ ���� ���������� ������������� ��������� ����� %�� ��� ���� �� ������ �������%�� ���� ��������� � �� ���� ����������� ������!�������%��� 0���� �� *���� BO1 )� ������ Cip �� ������ ��� ���� ������� ��������� �� ���� ������!�������%��� �� ���������� ���� ������� ������ �� �������� �������� �

Cip = (Gp \ Cs) ∩Gi 0��I1

Z 9��� ������ 0�����!0�������� � ���� ����������� �� ������ ��� ���� ������� ������!�������%��� ����� ���������� ��� ���� �������� ������!�������%���� �����!�!���� %�� ������ �� ��������� �� �������� �� ������Q��� ;��� ������ Cp ����� ������� �� ���� ������������ ������� ������ ����� �

Cp = Gp \ (Cip ∪ Cs) 0��P1

Page 135: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

2��� � ����� �� ����� �� ����������� ��H

0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45−0.5

0

0.5

ampl

itude

t (s) →

0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45

−0.2

−0.1

0

0.1

0.2

0.3

ampl

itude

→t (s) →

��� BO Z .������������� ���������� ���� ���4 ���� ������� ��������� � ��� ������ ��� ���!�������� ���� �� ������� 0������ �������%��1 ������ %�� �� �������� ���� ��� �� ����������� �������� 0����������������1

Z 9��� ������ �0� �(� ���0���� �� �����C��� � ��� ���� ������� ���� �������������������� 0�������%��� �� ���1 �� �� ������Q��� ,�� ���������4 �4������ �� ������������ ���� ��������� ����� ������ ���� ��� ��������� �� ����� ���� ��� ������ ������������ ;��� ������ Cis ����� ������� �� ���� ������� ������ �� �������� �������� �

Cis = Cs ∩Gi 0��H1

Z 9��� ������ �0� �(� � ���� ����������� ����� ������ ����� ���������� ��� ���� %������ ���������� ����� ��������� ���� %�� �� ���� �� �������%��� 0�� ������!�������%���1��� �������� �� ������Q��� 5���� ������ ���� ����� Ci �� ���� ������� ����� ���� %�� �

Ci = Gi \ (Cip ∪ Cis) 0�B>1

Z 9��� ������ �� ���� � 5���� ������ %�� ���� ��������� ��� �������� �� ���� ��� ����������� %�� �� ���� �������� �������� ��������� 0�� ��� ��1 �� �������� ������Q��0������ ������ ����� �����������1 �� �����%����� ����� ������� %�� ���� ������ Cc��������� ���������� ��� ���� %�� ��������������� � ������ ��� ������ ������� ��������!���� ��*���� )�*�� ���� ����� �

Cc = G \ (Cip ∪ Ci ∪ Cs ∪ Cp ∪Cis) 0�B�1

,� *���� B �������� ��� ��*������� �������� ��!������ (���� ����� *���� �� �������� #A→ B#�����*� #A ��� �� ����!�������� �� B#

��*���+�� �� �����������

(��� ����� ����!������� ���� ���������� �� �������� �� ������������ ����� %�� ���� ������ ���� ������������ ���� �� �� ��� �� ������*������ ��������%�� %�� ���� ��������� 5��������� ��� ������������ ��� ��&� ��� ��������� ���� �� � ������ P ��������� ;��������� ���� ��

Page 136: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�A> ������� 2� � ���$����� ��� �����

Gp

Gs

G

Gi

CiCc Cp CisCs Cip

��� B Z /����������� ��� 6 ��������� �������� ���� �� ������*������ ��� ���� ������� ��������

����� ��� ������4 ��������� ���� �� � ������� ���� ������� ����� � ��� ��������� ���� ���������� ��� ������������(��� �� ����� �� ������� �� ��4���� �� ������ �� �������� ��� ������������� ���� ����� ��!��������� ���%������ �� ���� ����������� ��� ������ ,�� ������������ %�� ���� ��������� ������ ��� ��������4 � ���������� ������ ���� �������� �������� ������ ���� ���������������� %������ �� �������� � ������� �� ������*������ ��� ���� ������� ,�� &����*������� ��� � ��4 �� ��������������� �������� ���� ������� ��!������� 5�� &����*������� ���� �������������� ������ ������ ��� ��� �� �4������������ ���������� �� ���������� ��� ������������%��� ��� ����

:�������� ��� �0� ����

,� �������� ����� ������ �� ������������ ��� ���7���� ��������� %�� ����������� ��� �����!����� $��� ����� ������ �� �� ��� ������ �������� ��� ������� �� %���%��� ���7���� ���%���������������� 0���%������ ����%����� ��������� �� �������1 5��������� ���� %���� ��� ���������� ��������� ����� �������� �� ���� %����� ������ ��&����� ��� ���7���� ��������� %�� ����������� ���� ���%����� ����� ��������� 5���� �� ������ ���� ��%������ ���� ����� ����������� ������������ ��� ������ ���������� �� ���������� ��� ��� ��� ������� �� @������� ���� ����\��� ���%����� ��� ���������� �� �� �������� ��������� �� ������� ���� ���������

)���� ���4 ���7���� ��������� ��� ��������� 0������ ni �� ni+11� ������ ��� ���7���� �������%������ ��� �� ������ �� �� ���%����� F ,� ������ �� �� ���%����� ������ � �� ���� �����4 ���� ������������ R� �� �� �� ������ N � �� � ����� ��� ���7���� ��������� 0�� ����������� ���������1 ,� ���%����� F � �4������ �� E���=� ��� ������ ��� �� ������� �������� �

F =R

N(ni+1 − ni)0�BA1

/� ��� ��������� �� ����� %�� �� � ��4 �� �� ���%����� ����\� %�� �� �� ����������� ��� &����*����� �� ���������� �� �� ���%����� � ��� ���� %�� �� ���� ��� �������� ������������ ��� ������%����� �� ��������� ������ �� �7�� ���� ��� ���� ���� ���%���� ��� ����� ��������� � �����������

<� ����� ����� ��������� �������� �� ��������� ���������� ���� �� ������ �� �� ���%�������� ���������� 5���� ��������� ������ �� �� ������ ��� ���7���� ��������� 5���� ������ ������������������ ������������� ����� ������� �� ���� �� ����������� ���� �� ��� ����������� ����������� �� ������

Page 137: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

2��� � ����� �� ����� �� ����������� �A�

,�� ���� ������� ����������� � �� ������ ��� ���� ������� ��������� ���� ������������ ��� ������%����� ��� ���������� ������ )� � ������ �� ��� � ��� �� ������� �� ������� ���� ����� ���!%����� ;��������� ��� ������ ����������� �� ����������� ��� ��� *4��� �� ������� �4�������!���� ,� ����� ���������� ����!7��� ���������� � �� ������ ������� 020 E=1 (��� �� ���� �� ���������� ��� ����������� � �� ���� ��4 ������� ��� ���� ������� ��������� �� ������!�������%���)� �� %�� �������� �� ����� ����������� ���� ��� ���� ���������� ����� � 0

3� (���� �� � ������

(��� �� ������ PA� ���� ����� ��&� ������ �� ����������� ������� ���� ������������ �� ������� �� ������ /� ������ �� ������� �����������������

,� ������� ����������������� 0$5.1 ��� � ����%������ ������� ���� ������������ [0; 1] )������%��� �� ����������� ��� ������������ �� ������ ��� ������� �� �� �������� ��������������������� �������� � ������� �� ������� ���������� ��������� � 1 +� �� ������� ��� ���� � �� 1� ���������*� %����� ������ ��� ���3�� $� ���������� �� ������� ��� 0���� � 01 �����%�� ����������� ������ $����� ��� ���� ������� ����������� � �� ������ ��� ���� ������� ������!�������%������� ������������ ��� ��� ����� ������ �� ��$5.� ���������� ��������� � 1

L����� �� �����C���

;��� ����� ��&� ��������� �������� �� ����������� ���� �� ������� PA �� � ������ P ���!������

1 /��� �� �� � ���.����� /�����

;��� ��������� ���� �� �������� �� ����� ������������ ����� ���� ����� ������ �� ������*!������ ����� 5�� ����� ������������ ���� � �� ������� ������������������ �� ������ �� ������Q����� �� ���%����� ��� ���������� <� ���%���� ��� ������� � � �%�� ������������ �� ���%�������� ������� ���%������ ���4 ������� � 0 �� 1 ,� ��� ��� �� ������*������ � ����%��� ����!������ ���� �� ������� ��������� ������ ���9����� ��� ������ � � �%�� ���%���� 5���� ��������� ����� � 1 �� �� ����������� ������ ����%�� %�� �� ��� ������� ���������� �� ������ %������������ � �� ����������� )� ������ �� �� ������ 0 ��� �9����� �� ���%����

[ ������ ��� ������� ������ ��� ��� ���%����� �������� � � �%�� ������������ ��� ��������������� ���� �����%���� ���� ������*�� �� ��� ���� ��� ��� ������� %�� ���� ����� ��������� �

� +� �� ���%���� �� ������ �� ������Q��� ��� ���� � 1� �� ���%���� ������� � �� ���%�������� ���������� ��� ����� +��� ��� ���� � 1� ����� �� ��� ������� ��� ������ ���� �� ������Cis +��� ��� ���� � 0� ����� �� ��� ������� ��� ������ ���� �� ������ Cs

A +� �� ���%���� �� ������ �� ������Q��� ��� ���� � 0� �� ���%���� �� ��$5. ��� �����+��� ���� 1� ����� �� ��� ������� ��� ������ ���� �� ������ Cip

� +� �� ���%���� �� ��$5. ���� 0� �� ���%���� �� �� ���%����� ��� ���������� ��� �����+��� ��� ���� � 1� ����� �� ��� ��������� ��� ������ ���� �� ������ Ci

B +� �� ���%���� �� �� ���%����� ��� ���������� ��� ���� � 0� ����� �� ��� ��������� ��������� ���� �� ������ Cc

Page 138: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�AA ������� 2� � ���$����� ��� �����

[ �� *� �� ��������� ��� � �%�� ��� ������ ��� �9���� � ��� ������ ,� ��������� ��� ����*��� �� ������� ��������%�� �� ������ �� ���%���� �� � �%�� ����������� /� ������ ���� �������������� �� �� ��� ��� ��������� %�� ��� �������� ���� �� ������� ��������

-'! <��5��� �� ������E������

$���� ����� �������� ��� ������� �� ���� ������� ����� %�� ����� ������������ ��������� ���������� �������� ���� ����� ������� �� ��� ��� �� ������*������ ��������%�� ���������� ��� ����������� ����� ��� �� ������ �� �������� �������� 5 �%�� ������� ��*�� ���� �� ������� HA���� �����'�� �*� ��������� ��� ���������� ��������%��� ���� � ���� ������� ��4 ���\� %�� �������� �� ����� �� �� ��� �� ������*������ � ��4 �������� ���� ��������� ��� ��� ���� %�� ����������� %����*�� �� ��� ������ �� � �� ���� %�� ������*� �������������� � �%�� ���7������������ ����� ����� �������� Y ���!��������� ������!�������%�� Y ���!������!�������%�� ������� Y ���!����� 5��� ���� ������ ���4������� �� �� ��� �� ������*������ � ���4 �������%�� ���� ����� ��&� ������� ���� �� ��������� ��� ���������� �� ������ 0���� � ������ 12������ ������������ ����� ���� � �%�� ���7��� ��������� ���� �������� ��� � �%�� ������� �������������� ������� � � �%�� ���7��� ��������� ��� ��&���� ���� �� ������ �� �������� ��������%��%�� ���� ������ ���������

(��� �� ��������� ���� ��������� ��� �������� ���� ����%��� x� �� ����������� ����� %������������ �� ������ ��������� ;��� ����������� ����� ���4 ���� ����� H1 �� H2� ������%�� �

Z H1 � ,� ���7��� ��������� �������� ���������� �� K����� ��������� ��

Z H2 � ,� ���7��� ��������� �������� ������������ ��� �� K����� ���������

H1 �� H2 ��������� ��� ��������� �� ���������� ��� ���� ���� 0Pr(H1) + Pr(H2) = 11

.������� ��� ���������� �� � ������ � �� ������� ��� �%������� 0�>H1 � 0��B1� ���� ���������� ������� �� ������������� ������� ���� � �%�� K����� ��������� �

L1

L2=P (x/H1)P (x/H2)

0�B�1

$*� �� ������� ���������� �� �������� �� ������� �� ������������ p(x/Hk)� �� ����4 ����!���� ��� �������� � ��� ��������������� ��� ���������� ;��� ���������� ��� ��������� �� ���!���� �� ����������� ����� ��� ���� 0�������������1 ��������%��� %�� ������������� �� ����4 ������ ����� ��� ����������� ��� ������� ������� ���� �� ����� � ��� ��������������� ,�������������� �������� � ������ �� ������������� �� �� ��� ��� �� �������� ��������%�� ����� ��������������� �� ������� �� ������������� 0���� �������� P� �� �1� � ������ ���������� �� ����!��� �� �� �� ������� �� ������������� 0���� �%������ 0�II11 $����� �� �������� *���� ��� ������������ �� ����� �������� �

M = log(L1

L2)><log(1)

⇒ H1

⇒ H20�BB1

�W #=> Hk# �����*� %�� �� ���� ��� Hk ��� �� ���� ��������

�� �����%����� ����� �������� �������� ���������� � �����%��� �� ����� �� �������� 0�%��!���� 0�IP11 ���� � ���� ��� ������� Gp� Gi �� Gs %�� ���� ����� ��*��� ���� �� ������� HA$����� ���� ������� ������� �� ������� ������������ ��������������� �� ���� � � ���� ���������� ����� ���� ������� �4���%�� ���� �� ������ HA

Page 139: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

2�&� %����������� �� ���������� �� ���� �A�

-'$ "&&��������(� �� ������:������ ���������

5���� ���� ������� ������� ���� �� ������ ����������� ����� �� ��� �� ������*������ ���!�����%�� ��������� ��� � ��� �������'������ �*� ��������� ��� ������������� ��������%��� �������4 �������� � �� ������������ ��� ������������� ����� %�� ��� ���������� �� ��� ��������!����� ,� ��F����� %�� �� ���� ��� �� � ����� �� ������ ����� �� ���� ������������� �������� ������������ ��� ���� ������� �������� )� �9��� ��� ���� ��������� ����� ��������� ������ �� ��%�� �������� �� ������������� �� ���� 0�� �� ������1 ���� ��� ������ ������� 5���� �� ���������� ��%����� ���� ����� ������ �� ���������� �� ������ ����� ��������������� ���� ��� ����������� ������!��� ���� ���%���� ���� �����\���� ����� ���������� �����������(��� �� �������� ����!������� ���� ���������� ���������� �� ������ �� ���� ��� �� ��� ���� ���� ���� ������������ ��� ��������� �� ������� �� ������������ %�� ���� ����� ��������� ����!����� ��4 ������������ ����� )�*�� ���� �� �������� ����!������� ���� �������� �� ���� ������� � ��4 �� ��� ��������� �� ������� �� �����������

/��+�� �� ����+��� ��� ��� :������

,� ������ ������%�� �� ���� ��� ��� ���� ������� �� ������ ��� � ������������� �� �����\������ ���������� ���������� �� �� ����� �� �������� %�� ��� ��������� �������� � ����������� ����!����� ,� ������ 5;++ 05������ ;���� �� +�� �� +��������1 � ��� ��������� ���� �� ��� ��������� ����� ��� ������ ���������� ���� %�� �� ����������� �������������� �� ������� ������������� TE��>�� E(5>OV (� ����� �� ���� %�� ��� ���������� ��������� �� ���������� ������!��%���� �� ����� ������ �� ��9������ ���� ����� ��� �7��� ���������� ������������� �������7��� ���� ������

,� ������ 5;++ TE��>�V ������ �� ����������� ��� ���� ������� ��� ��� ����� �� ����!��Q��� �� ������ ������ ���� ����������� ��� *4�� �� �������� �� ����������� ��������� ,�����%������ �� ��� � ���� ���� ��� ��������� ���������� +���� %���%��� ���������� �� ���������������� � ������������� �� �����\��� ��� ���������� ����������� ��������� �

Z ,������������ � �� ��������� �� ������ ��*��� ������������ ���� ��%��� ���� ������������� ������� ��������� ��� � ���� ��� ������Q��� /� ��� �������� �� �������� �� ��� ������ %���� �������� ��� ������������ 0����� �����1 ���� ����� �� ��� ������ ������� �������������������%��� 0�� ���1 ���� ��9������� ����������

Z ,� ����������� � �� ��������� �� ������ �����\�� �� ��9������ ����� ���4 ���%����������������� +� ����� ��9������ 0�� �� �������1 ���������� � ��� ���%����� ������������� ��� ������ ��� ���3�� +���� ������ ������ ����� ���3��

,� 5;++ ������ � ��� ��������� ���� TE-(5>AV /� ���� ������ �� ���� ������ 900 ����������� ����� ����� �� � ������� �� �� ����������� � 44100 E= 5 �%�� ��� � ��� ��������������������� �� ���� 7��� ������*� ���� �� ��� ������� ��*��� 0Gp� Gi �� Gs1 ;��� ������������ ������ �� ������ ����� ����� ����� ������ �� 15 ������� ���� � ���� ��� ������� �����!�������

������ �� ������� �� ��:�:�����

,������ ��������������� ������ �� ��*������ ��� ���� �� ������������ ��������%�� ���� � �%�������� �� ���!������ (��� �������� �� ������4 �� ������*������� ��������%��� ��� �������

Page 140: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�AB ������� 2� � ���$����� ��� �����

����������� ��� ������������� ��� ������������ ����� ������� �� ��� ������� T25>BV 5������������ �4�������������� ��� ������ %�� ��� ���� ��������� ��� �������� ���� ���� ��� �������5���� ����%���� ���� ����� ������ ������� ���� ��� ��� �� ������������ ����4 ������� ��4������������%��� �� � �%�� ����������� �

Z +� �� ����������� ����� ��� ��*�� �� ����� ����� %���� ������� ��� ����� ����������� �� ������� ����� ���������� � ��� ������ ��4����� ���� ��� �������� �� ������� �� ���������������� �� ��� �4����������� ��� ��� ����� ��������� �

p(x) = λ exp−(λx) ���� x > 0 0�BO1

+� �� ������� �� ��*������ �� ����������� ����� ����� ��� ����� ����������� ����� ��������������� �� �������%�� �� �� ��� �4�����������

Z +� �� ����������� ����� ��� ��*�� �� ����� ����� %���� ������� ��� ����� ����������� �� ������� ����� �� ���������� ��� � ��� ������ ��4����� ���� ��� �������� �� ������� ������������� ����� �� ��� �� .������ ��� � ����� �

p(x) =x

σ2exp−(

x2

2σ2) ���� x ≥ 0 0�B1

���� σ �������!����+� �� ������� �� ��*������ �� ����������� ����� ����� ��� ����� ����������� ����� ��������������� �� �������%�� �� �� ��� �� .������

Z +� �� ����������� ����� ��� ��*�� �� ����� ����� %���� ��������� ��� �� ����� ����������0�������������� ����������1� �� ��� ������� ��� ���������� �

p(x) =1

σ√

2πexp[

−(x− μ)2

(2σ2)] 0�BI1

���� μ �� ������� ��� �� ��������� �� x �� σ �������!����

�� �����%����� ��� ��� �� ������������ ��� �������� � � �%�� ������ �� ���!������ ,� ��!����� �� �� *���� BI ������ ��� ���� �� ������������� ��������� � � �%�� ������ 0�����������������!������1

���0� 3� ���������+�����Q��� K����

;��!������Q��� .������ �����!�������%�� .������

;��!������!�������%�� .������ /������� K����

;��!�������� )4�����������

��� BI Z K������ 0���� ���!�������1 ��� ���� ������� �� ���� �������� �� ������� �� �����!������ ��������

6�������� ������������� ��� �������A������

$� ����� �� �� � ��� ��������������� ���� ����� ������ ��� ��������� �� ������� �� ���!�������� � �������� � � �%�� ����������� ����� ������� (��� ��� �������� ����!������� ���������� �������� �� ����������� �� �� � ��� ��������������� ��� ��� ����!������� ��������������������� �� &����*������ ��� ���� �� ������������ � ������ ���� � ���� ��� �������

Page 141: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

2�&� %����������� �� ���������� �� ���� �AO

$�� ��� ���00�������/�

,�� ������������ ����� %�� ���� ����� �������� ���� �4������ ���� � ����� ��� ���7������������� ��� ���� ������� ���� ���%��� �� �� ���� ��������������� ��� � �%�� ������ �����!������� �� ������� �� �� �������� �� ��� ������������ ���� ��������� �� ��� ���4 ���������������� �� ��*������ ��� ��4 ��������� �� ������� �� ����������� ��������� � � �%�� ������ �����!������ 0���� ������� *���� BI1 (��� �� ��� �� ��������� ��� ������� �� ������*������ ������� �� ������� ��� ����������� ���������� �� � ��4 ��� ��������� �� ������� �� ������������ ����� ��� ��� � ��4������ �� ����������� �� ������*������ �������� ;������������� �� ������������� ������*������ �������� �� �� ����������� �������� �� ������*������ ���� ��������������� ,������������ �� ������*������ �������� ����!7��� ��*��� ��� ���%������ �������� �

P (�������/x) =S∑

i=1

∫Ri

p(x/Hi)P (Hi)dx 0�BP1

���� S �� ������ �� ������� ������������ Ri �� i!��� ������ ��*��� ���� ���� p(x/Hi) ����������� �� ������� �� ����������� �� P (Hi) �� ����������� �� �� ������ Hi �������� � �� ������Ri

(��� ����� ��������� ���� ����������� ���4 �������� S = 2� �� P (H1) = P (H2) = 12 $�����

���%������ 0�BP1 ���������� ������� �

P (correct/x) =12

[ ∫R1p(x/H1)dx

+∫R2p(x/H2)dx

]0�BH1

,� *���� BP ������ �� ������� �� ��*��� ��� ������� Ri

−100 −80 −60 −40 −20 0 20 40 60 80 1000

0.005

0.01

0.015

0.02

0.025

0.03

0.035

R1 R2

P(x/w1)P(w1)

P(x/w2)P(w2)

Border of the Bayes classifier whereP(correct/x) is maximum

��� BP Z /����������� �� �� ��*������ ��� ������� Ri

(��� �� ����!������ ��������� ���� ���������� ��� ��������� ������� ���� ������������ �� ������������� �� ����� ������*������ ���� � �%�� ����� K����� Y ;��!K�����

Page 142: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�A ������� 2� � ���$����� ��� �����

5��� ���� 0��� ��0� �( + L��!��0� �(

,� ����������� �� ����� ������*������ �4����������� %�� ���� ����� ������� ��� ����� �0.99 ,� *���� BH ���������� �� �������� �� ������� ������� ���� �� ������ 0�������������� ���!������1 �� �������� �� �������� ������ ,� ������ �� �� ������������ �4����������� �������� �������� ���!�������� � ��� ����� ���� *�� �� ������� 5���� ������������%�� ���� 7��� �4���%������ �� ������ ������ �� ������� ��������� ���� �� ���%����� ��� ���������� ��� ���� �������%�� �� ���� ��� ���������� ����� ��������� )� �9��� �� ������ �� �� ���%����� ��� ������������� � ����%������ ����� ���� �� ��� 5��������� ��������� ������� ���� �������� �� ��������� ��=���� ������� ������� �� ����� �� �� ������ �� �� ��� �� ������������ ����������

,� ������ ��� ������� �� �� ������������ ���� ��� ���� ������� ��������� � ��� ����� ����������� %�� �� ������ ��� ������� �� �� ������������ ���� ��� ���� ������� ���!��������� ,����%����� ��� ���������� ���� ������� ��9������� ������� ���� ������������ ��� ���%������ ��!������ ;��� �������� ����� %�� �� ��� �� ������������ � ����%�� ����!7��� �������� (� ������� ��� �������� ��������� ��� ������������ �� ������� ��������� ��� ��� ��� �������

−10 0 10 20 30 40 50 600

10

20

30

40

50

60

70

80Impulsif

Fréuence Impulsions

PD

F

0 0.005 0.01 0.015 0.020

50

100

150

200

250

300

350

400

450

500

Fréquence des Impulsions

PD

F

Non Impulsif

��� BH Z C�������� �� ������� �� ����������� �4������������ ���� ��� ������� /������� ��;��!���������

5��� ���� 0��� 1���!9����C��� + L��!1���!9����C���

,� ����������� �4����������� �� ����� ������*������ ������� ��� ����� � 0.96 ,� *����O> ������ �� �������� �� ������� �� ����������� ������� ���� �� ������ 0�������������� ���!������1 �� �������� �� �������� %�� ���� ����� ������ ,� ������������ ���� �� ������ ���!����!������Q��� ������ ��������� � ����� �� ������ ���!�������� ,�� �4���������� ����� �������� �7��� � ��� ���� ������� ���!����!������Q��� ���� ������������ ��� �� ���� ������ ������ ��������Q��� +� �� ��� ��� ��������� ����� �������� ����� �� ������ ������ ��� (��� ����� ������ ������� ������������ ���� ���� � ��������� ������������ �� �� ��� ��� ��������� ��������5��� �� ������� ��� �� ������������� �� �� ����� �� �� ������ ��� ������� �� �� ������������

Page 143: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

2�(� +��� ���� �� �������������� �AI

,� ������������ ���� �� ������ ����!������Q��� � ��� �7��� ������������%��� %�� ����� �������� �������� (� �� �7�� �������� ���� ��������� ��� %�� �� ������������ ��� ��������

0 50 100 150 200 250 300 350 400 450 5000

10

20

30

40

50

60

70

80Avec Sinusoïde

Nombre de sinusoïdes

PD

F

0 2 4 6 8 10 12 14 16 18 200

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16Non Sinusoïde

Nombre de Sinusoïdes

PD

F

��� O> Z C�������� �� ������� �� ����������� �4������������ ���� ��� ������� $���!+�����Q����� ;��!$���!+�����Q���

5��� ���� 0��� �������� + L��!��������

,� ����������� �4����������� �� ����� ������*������ ������� ��� ����� � 0.99 ,� *����O� ������ �� �������� �� ������� �� ����������� ������� ���� �� ������ 0�������������� ���!������1 �� �������� �� �������� %�� ���� ����� ������ ,� ������������ ���� ��� ������� �����!��%�� �� ���!�������%�� ���� �����4����������� �������%��� 5���� ������������%�� ���4���%����� ��� ������� �� ������� ����������������� %�� ���� ��������� ����� 0 �� 1 ,�� ���� ����������!�������%��� ���� ������������ ��� ��� ������� �4������������ �� ������� �������������������������� ���� ������������ [0; 0.3] ������ %�� ��� ���� �������%��� ���� ������������ ��� ���������� �4������������ �� ������� ����������������� ��������� ���� ������������ [0.7; 1]

-'@ C�������� �� ��&�������������

(������� �4�������������� ��� ��� ��������� �*� ����� ���� �� ������� ���������� ��� ���!��������� �������� �� ������� ����� �� ������ �� ����� ��� ����� ����� �� ��� ������ ������� �� ����� ��� �� ������*������ ��������%�� �� ���������� ��� ���� ������� �������� ;��� ����� �������� �� ����� �� ���������� �� � ��4 ��� ������� �� ���� �������

,��������� �� ��� ����� �� ��� ��������� ������� ���� ��� ������4 ���� �4����� ���� ��� ������ �A �� �� ������ ///

Page 144: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�AP ������� 2� � ���$����� ��� �����

0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.40

1

2

3

4

5

6

7

8

9

Fréquence Impulsions

PD

F

Périoque

��� O� Z C�������� �� ������� �� ����������� �4������������ ���� ��� ������� �������%��� �����!�������%���

Page 145: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

) ������� ������

� ������ � ���� � ���� � �

�AH

Page 146: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim
Page 147: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� �*

���� � ��� ���&�����

(��� �� � ������� ���� ���������� �� � ��� ���4�������������� %�� ���� ����� ����� ������ ����� �� ��� ������4 ��� ������4����� �����!�����

(��� �� ������� �4����������� ���� ����� ��� �� ����� �� �������� �� ����� �*� �� ��������� ������ �� ����� %�� ���� ����� ������� ��� ����� ���� ������ ���� �9���� �� ��� ���������������� ��� ���������� ��� :�4 ����� �� ����� �� ����������� ��� ������� ������� �� ��������� �� )� *� �� ������� ����� ��� ��� ����� ���� �� ����*�� �� ����!����� �� ������������ �� �� ����������� � �� ������ ����������� �� ���� �*� �� ����*�� �� ����� ���� ��� �������� ��� ������ �� ��� (������ ����� ���� ������ ������� ��� ������������ �� �� ��� ����� �������� ��������%�� %�� ���� ����� ����������

��� ���������� �� ��� ������ ���� ����� ������� ��� ���� �� ���� ����� �� ������ � )K!A����� ����� ������ �� �H> ������� %�� ���� � ��� ������� ��� ����� .������ �� �������� ���� ������� �������� �

Z > ������� �� ������ ��������� �� ���4 ���������� ��9������ � ��� ����� �4������ �� ��� �'�� .2,B 0E����������1 �� ��� ����� �� �� � �'�� .2, 0$��������1

Z �> ������� �� ������������ ��������� �� �� � �'�� --5A 0-�������%��1

Z �>> ������� �� *�� ������ �� �� � �'�� ����3���� 2JO

,� ������� ������� OA ����� �� ������� ������ �� ������� ���������� �� ������ �������������������� ����� �� ������ �� ���������� �� ����� ����� %�� �� ������ �� ����� �� ������� �������� �� ��������� %�� ��������� ����� ���� �� ���� 5����������� � ����� ������� ���� �����

K���� (���� 0����1 ;��� �� ����� �� ������� ;��� �� �������� ;��� �� ������+����� > HA� �II O>

(����������� �> B�> OP ��C��� �>> ��IB AAO AI2���� �H> AO>O B> H>

��� OA Z J����� ������� ��� �� ��������� �� ������ �� ����

������ ������������ ������ ��� ����������� ������ ���� ��� �������� �� ������ ��� ���������� ������� %�� ������������� � ����� ������ /� ���� ������ &�������4 �� ������ ��� ��������������� ������������ �� �� ������ ������� ��� ��� ����������� ������ �� �������� ����� ��� ������� :�4 ���� � ������ �� ��������� ��� ���� ,� ������ �� ������� %�� ���� ����� �������

���

Page 148: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

��A ������� �3� ��������� �����'����

���� �� ������ ������� ������������� � �� �������� ����� �� ���� ��������� 5��������� �������������� ����� 0��������1� ���� ����� ��������� ����������� �� ������ ����� �� �������� ������� �*� �� ��������� ��� =���� ���� ���%������ �� ������ ������ ��� ��������� �� ����� ����������0���� ��������� �� C���� �� �A1 ��� �� %�� ��� �� ������������ ��� ������� ���� ����� ��&���������� �� ��F����� �� ������������ �������%�� ��� ������ ���� �� � ������ O N���� �����%�� ���� ����� ��������� ��� ��� �������� �������%��� �� ���� �� ����� ��������� ��� ������� ���������� ����������� ���� ����� � ���� �� ����� ��� ���������� �������%�� ����� ���%������ ����� ������� �� �� �� ������ �� ���� 0���� ������� O��1 ;��� ����� ����� ������ ��I ���������� ������� (��� �� ������� ������ ����� ��� ���������� �������� ���� ����� ����������� ���%������������ %�� ��������������� � ����� ������ 0����� ��� _ ������� �����1 ,� ������ ����� �� ������������������� � �� ������ ��� �� H> ,�� ��������� �� ��� ����������� ���� ������� ���� ��������� OA

,�� ���������� �� ������� �� ��� ���������� �� ���� �� ������� ����� %�� �� ��������� ������� ��� ��� ������ � ������ �� �� �7�� ���� �� �������

)�*�� �� � ������ ��� �������� �� �� ������� �������� ,� �������� ������ ��� �������� � �������������� ��� ������������ �� ��������� ��� :�4 ����� �� ����� (��� ��� ���4���� ����������� ���������� ��� ��9������ ����� %�� ���� ����� ����� ;��� �4������ ��� ��������� ��������������� �� ��������� �� ���������� �� ����� ��� ���������� �� ������ ������� ���� ����������� ������ ��� ��� �7��� ��������� �������� ��� ����� ������ �������� ���� ����� ����������� �� ����� ���� ��������� ���� �� �������� ������ �� �� � ������

,�� ��������� ��������� ���� �� � ������ ��� ��� ������� ����� � ��� ������������� �����!��*%�� ���� � 8�� ;������� 0 ����� .������ ;��,��1 5� %�� �����%�� %�� ��� ���������������� ���� �4���������� ��� ��� ���4 �������

�3'� "������ ��� #�� ����� �� �����

(��� ����� ������� ���� ������� ���������� ��� ������������ �������� � ������ ��� �����!����� �� ������� �� �� ���������� �� ����� �� ������� ;��� ���������� ��� ��������� �� ������������������� �������� ��� ���� ���� ����������� ���� ��� ������4� ��� �� ��� ��� �� �������� ������������� ���������� 5���� ������ �� ������������ �� ��� ���������� ���� ����������� ��� ����������� ������%��� �� ������ �� �� �������� ���� ��� �������� ����������� ������������� ��!������� �

Rappel =NcorrectementD�tect�(e)s

Nv�rit�Terrain0�O>1

Prcision =NcorrectementD�tect�(e)s

NcorrectementD�tect�(e)s +NfaussementD�tect�(e)s0�O�1

���� Nx �� ������ ����� �� x

,�� ������������ �� ��������� �� �������� ���� ������� �� ����� ���� �� �������� ����!������ ��� �� %�� ��� ��� ������������ �� ��������� ������ ����� ���� �������� ���� �����4���� ����!������

Page 149: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�3��� %�� #�� ��� $ �� ���� �� ���� ���

������� ��� �������

,� ��������� ��� �������� ���� ��� �������� ��������� �� ��� ��������� � ��� ������ ��� �������� �� ���� �������� ��!������ 5����� ���� �� �� ���������� �� �� ����� �� ��������� �� ����� ��� ��F���� �� ������ �� ����� 0���� �%������ �AO1

�� ������� � �� ��� ��� �� ������ �� ����� 0�� � �� I1� ���� ������� �&���� �� ��3��������%�� 5�� ������ ��� ��� ���������� �� ������� �4����������� ���� � �%�� �������� 5��� ���4���%�� ��� �� ���� %�� ��� ��������������� �� ��� �������� �� ���������� ��� �� ����������� ��������� �� %�� �����*� %�� ��� ���������� ����������� ���� ������������ ���� ������� ��������

,�� �������4 ��� *����� O� �� OB �������� ��� ������������ �������� ���� ��� ����������������� �� ��� ��������� �������������� �

)����� ���0����� �

K���� J���� ;��� �������� �������� .����� ��������+���� �II HI>% HI>%

(����������� OP HAA>% P>%C��� AAO H�I>% HAP>%

��� O� Z .�������� �� �� ��������� ��� �������� 0������� ���������1

)����� ��� ���0����� �

K���� J���� ;��� �������� �������� .����� ��������+���� �II PA>>% OO>>%

(����������� OP I�>>% OB>>%C��� AAO IP>>% OB>>%

��� OB Z .�������� �� �� ��������� ��� �������� 0������� ��� ���������1

,�� ���������� ������������ ���� ��������� ���� �� ������� ��������� �� ���� �� �� %�������� ������ %�� � ��� *���� ���� �� �� � ��� ���������� �� ��� �� ���������� �� �� ����� �� ������������� %�� �� ��F����� � *4�� �� ����� 6���%��� ������� �� ���������� ���� ��������� ���� ��������� ��� ��������� � ����� �� ���%�� �� ��������� ���������� �� ��������� (� ����� ������������������� ���������� ��� ���%������ ����� ��� %�����*��� ���� �� ������ ���� ������� ��������������� ��������� ��� ��� ������� ������� ����������� %�� ���� %�����*��� � > ������������� �� ����� ������ �� ������� ������� ,� ��������� ���������� �� ����� ����= ������ ������ ������� ��� ��������� ���� �� ��������� ��� �������� ������� ��� � ��������� �� �� �������������� ��������� �������� �� ���������

������� ��� �������� �� ����� �� ����*�

(� �� �7�� ������� %�� ���� ��� ��� ��� ��������� �� ��� ��� �� ��������������� ��� ����!������ �� ����� �� �������� ������������ �� ���&�� 5$++$;(.$ T5��V � ��� ���� � ������������ �� �7�� ���� �� ���� 0��*��� ��!������1 ,� ������� �� �� *���� OO ������� ��� ��������������������

Page 150: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

��B ������� �3� ��������� �����'����

K���� J���� J����� ������� .����� ��������+���� HA� HPA>% HP�>%

(����������� B�> HP�>% HPI>%C��� ��IB H>% H>%

��� OO Z ����������� �� ��������� �� ���������� �� ����� �� �������

,�� ���� ������� ������� �� ������ �� ��������� ���� �������� ��� ��� �������� �� ���� *�� ��� �� %�� ��� �� ������� ��� ����� ���4���%�� ��� �� �������� �� ����������� ���������� �������� ����� %�� ���� ����� ���������� � ��� ����������� �� ���� ������� ���� �� �������������������� �� ������� (��� �� ��� �� �� ���������� ���� ���4���%�� ��� �� ���� %�� �� ���������������� ���� �� ���� ��� ��������� ���� ��� ������������ �� ��������� ������� ���� �� �� � ������������� �� �������� �������� ��4 ���������� �� ����� ���������

�3'� <��5���� �� ��������� ��� ������)��� �� ��)��

5���� ������ ��� ��������� � �� ����������� ��� �� ���� �� ����� ������ ���� ������� ��������������� �� �� ��� ��� �� �������� �����%�� ���� �� L���� ���� �� ��������� ��� ������������ ������ 5�� �7��� ������ ����� ����� ����� ���� ���� ������������� ��� ���4 ��������������������� 5�� ���������� ����� ���&���� ����� ����� ���� ��� �� ������� ������������� ��� ���������� ���&����� ���� ������� �� ����� ��������� �� ���� �� ������� �� ���� ������� ������ �7�� ������� �� ����� ����� ���� ����� �������� �������� 0&�����1 (��� ����� �� ��� ���������� ��������%��� ���� ���� ���������� ��� �4������� � ���� �� ��� ����� �������� ��������� *4��� �� ������ �� �� �������� � 1 ��� ������ 5���� ����� ����� ��� ���� ���&������������� �� ����� �� �������� ��� ������� ����� ��� ������� ��� ����������� ���� �� �����4�� �� ���������4

<�� ����������� �������� �� ��� ��� ���� �� ����� ��� ������ ���� ��� ���4 ����!�������%�� ������� (���� ����� ��� ����� �� �������� ������ ���������� � �������� �� ����� *4� ����������� ��� ������� �� &����� ,� ������ �� �� ����� ��� �4������ �� ����� �� ������ ��������<�� ����� ���������� � 1/25 �� ������� ���� ����� ���� 25 ������ ��� ������� ���� ��� �������� ����� ���� �� ���� (������ ����� ��� ����� �� �������� ���� ������� %�� ������� �� ��� ��� ���������� �����%��� ���������� ���� �� � ������ ��� ����� �������� ,�� ������������ ������������ ��� ���4 ��� ���� ���� ���������

6�*�� �� ������ ������ ��� �������*�

;��� ����� ������ ���������� ��� ����� �� �������� ������ ���� ������� �� ���� ��� ��������]� �� ����� �� ��������� <�� ������ �� ����� ��� *4�� �� ������ 5� %�� �����*� %�� ��������� ���������� �� ���� �� �������� ��������� ��4 ������� �� &����� ����������� �� ������ �� ������������� �� ������ ������ ����������� ����� ��� ���������� �� ����� N���������� �� ��� �������� &����� ��� ����������� ���������� �� ����� ����� ���� �� ��&����� �� ���� ������� � �� ��������

Page 151: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�3�"� +��� ���� � ����� ��� ������� � �� ������ �� ���� ��O

6�*�� �� ������ �:���� ��� ����+� �����������

(��� ����� ����!������� ���� �4���%���� ��� ������� �����%��� ��� �4��������� ������ �� ���!������ �� ����� �� �������� ������� ����� ��� ������������� �� �� ��� ��� �� �������� ����������5� �� ��� �� �������� �� ��������� ������� ���4 ����������� � ���� �

Z � 0 ��� ���00�������/� � ����� � ��� �������� � ��������� ��� ���������� ��������%����������� ��4 ������� #5 �������� �� �����# �� #;��!� �������� �� �����# ��� �������� ��� ���� ��������������� ������������ ������� ��

Z � 0 ��� �� ���� � ���� ����� � ���� ���4 ������ ���4�������������� ��� ��� �9�������,� �������� ����� �� ��������������� �� �� %������ �� ��������������� �� �� ������� ����������������� �� �� %������ �� ���������

,������'������ �� ������� � ��� ������� �� �� ������� �������� ;��� ����� �� ��������������� ���������� �� ����� ������ ������ ���� �H> ������� �� �������� ����� ;��� ����������� �� �������� ����� ���� �� ���� �� ���4 � �� �������� ������ �� � �%�� ����� ��� ��������� �����'��� �� ������� ����� %�� ������� ������ ��� ������� ����� ���� �� ���� ��� � �%������������ ����� �������� ������� ����� ����� ��� ���������� �� ������ �� &����� �������� ������������ �� �&����� ���� �� �������� �� ������� �������� � �� ������ #5 �������� �� �����#,� �7�� ��������� ��� �����%��� ���� ��� ������� �� &����� %�� ������������� � �� ������ #;��!� �������� �� �����#

$���� %���� ���� � �%�� �������� �� �������� Xj = {xj1, . . . , xjNj} 0j = 1, 21 � #� ����!���� �� �����# �� #���!� �������� �� �����#1� �� �������� μj � �� �� ��������� σ2

j � ��� ����������� ���������

5���� �4���%�� ��!������� �� ������� ������ ��� ������ ���� ����������� ����� �� ��!������ �� ���� ��� ��������� 5���� ����� ������ ��� �������� ���� ������ �� �������� ��� ������!������ �� ����� ��� ��� �� �������� ��������%�� ����� ��� ��� ���������� ��������� 0��������� ��������1 ������� ���� �� �� � ��� ��������������� ;��� �������� ���� ���4 ������ ����������� ���� ��� ������������ �� ����� ��� ��� �� �������� ��������%�� �

Z ��� ������������ �������� ��� �� ���� ��������������� 0�������� ������ �� �� �����1 ��

Z ��� ������������ �������� ��� �� ���� �� ���� 0������� ������ �� �� �����1

)�*�� ���� 7��� �� ���%������ ���� ����� ���� ��� �� ������� ������ ��� ���������� �������� %�� ������������� � ����� ������� ���������� ����� �� ���� ������� �������� � ���������� ���� ������ �� ������������� ���� �� ������ ��� ������� �� ������ �� �� ���������

�3'! C�������� (��:��� ��� �������:�� �� ���&�� �� ����

- ���� M- ��/����� �� ��%��M �

,�� ���������� ��������%���� �������� ��4 ������� �� &������ ������� ���� �� �� � ��� ����!����������� ���� �

Z J������� 0σ211 S >�I

Z ������� 0μ11 S >���

Z ���������� �� ������ S "�� � �� �� � ��� �� �� ������ / "�� � �� �� � ��� ���� ����� �� ����� S 90/2505 S 0, 03

Page 152: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�� ������� �3� ��������� �����'����

- ���� ML��!- ��/����� �� ��%��M �

,�� ���������� ��������%���� �������� ��4 ������� �� &������ ������� ���� �� �� � ��� ����!����������� ���� �

Z J������� 0σ221 S �A��>A�I>

Z ������� 0μ21 S A�I

Z ���������� �� ������ S "�� � �� �� ���� ��� �� �� ������ / "�� � �� ��� ��� �� �� ����� �� ����� S 2415/2505 S 0, 97

(��4 ��� ���� ���� ��������� � �� ����� �� �������� ������ ��������� �� ����� *4� �� ����� ��� �� �������� ��������%��

J����� ������� -����� ���������� +����� ���%���� C������ ������� .����� ��������BI �P AH �AP �P�AH% �A���%

��� O Z .�������� �� �� ��������� ������� ����� +/− 3� ��� ���������� �� ������ �� ����

J����� ������� -����� ���������� +����� ���%���� C������ ������� .����� ��������BI A> AI �HB BA�OO% H��O%

��� OI Z .�������� �� �� ��������� ������� ����� +/− 10� ��� ���������� �� ������ �� ����

J����� ������� -����� ���������� +����� ���%���� C������ ������� .����� ��������BI A� AB AB BP�HB% P�OO%

��� OP Z .�������� �� �� ��������� ������� ����� +/− 21� ��� ���������� �� ������ �� ����

-��� J����� ������� 5�������� ���%���� C������ ������� .����� ��������$������������ B� �O P HO P��B>% A�H�%

2��� BI �O �A �AI ���HA% �>�OI%

��� OH Z .�������� �� �� ��������� ��������%�� ��� ���������� �� ������ �� ����

,�� �������4 ��� *����� O� OI� OP �� OH �������� ��� ���������� �������������� ���� ������� �� �������� ������ ���� �� ����� �� �������� ���� � �� �> �� A� ������ ������ �� ���� ������� �� �������� ��������%�� ���������� �����%��� � ���������� �� ������ ������ ���� ���������������

;��������� ��� ��������� �� ��:����� ��� ��� ������� ������������ �� ����� ��������� ������������� �� ������ )� �9��� ��� ������������ ���� ���������� ��� ��� ������� ��������� � ������ �� ��������� ��� :�4 ����� �� ����� 5���� ����%���� ���� ��� �������4 ��� *����� ��!����������� ������� ��� ������������ ����� ���� �� ��������� ��� ���������� �� ����� ��� ����� �������� �9���� ������ ��� ������������� ����� ��4 ������� ���� ��������� ��� :�4 ����� �� ����� ������������� �� ������ ������� �� ��� ������� �� ������ �� ���������� �&������ ���� ��� ����������(��� �� ������� ������ ���� ������������ �� ������ ������� �&����� 0V Tajust�e1 5���� ���������������� ������ ��� ���������� ��� ������ ��������� ���� �� ������ ������� �������� ���� ���������� ���%������ �� ��������� ����� � ���%�� �� � �������� �� ���� ��Y�� �� ��������� ������ ���%�� �� ������� ,� ������ �� ������ �&����� ��� �������� ��� ������� � �� ������ �������

Page 153: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�3�"� +��� ���� � ����� ��� ������� � �� ������ �� ���� ��I

�&����� �

Rappelajust� =NcorrectementDetect�es

V Tajust�e0�OA1

���� N �� ������ �� ���������� �� ������ �� ������� ��4 ���������� ������ ���� ������������ �� #��������� �&�����# ;��� ����������� �������� ����� �� ���������� �� ����� ���������� ��������� ��%��� ���� ������� ��� �� ������ ��!��� �� ���������� �� ����� ���������� ��������� � ����� ����� ������ ������ ��������� ��� �����!����� ��� :�4 ����� �� ����� 5���� �������� ������ ��� ������� ��� NfaussementD�etect�esAjust�e$�����

Pr�cisionajust�e =NcorrectementDetect�es

NcorrectementDetect�es +NfaussementD�etect�esAjust�e0�O�1

5�� ������� �&������ ������������� �� ���� � �� ��������� ������ ��� �� ����!�������� ������������� ��� ������ 5�� ������� ���� ���������� ���� ��� �������4 ��!�������

(��� �� ����� �� �� �������� ��� ������������� RA� RB� RC � RD� RE � RF � RG� RH �� RI

������������� � �

Z RA � J����� ��������

Z RB � ;����� ����� �� ������ ���%�����

Z RC � ;����� �� �������� ����� ���%��� �������� � ��� ��������� �� ����� �

Z RD � ;����� �� ����������� ����� ���%���� ����� � ��� ��������� �� ������

Z RE � ;����� ����� ��������� ��������� ��� ���������� ����� �� ����� 0) S 5 _ (1�

Z RF � J����� ������� �&����� 0C S $ ! )1�

Z RG � ;����� �&���� �� ���������� �� ������ ���%�����

Z RH � ;����� �� ������ ������������ ��������� ��

Z RI � J����� �� ������ �&����� 0/ S E Y C1

RA RB RC RD RE RF RG RH RI

BI AH A> > A> AI H �P �%

��� > Z J����� �� ������ �&����� ��� ���������� �� ������ �� ���� ���� ����� *4� � +/− 3

RA RB RC RD RE RF RG RH RI

BI AI �I > �I �> �> A> �%

��� � Z J����� �� ������ �&����� ��� ���������� �� ������ �� ���� ���� ����� *4� � +/− 10

RA RB RC RD RE RF RG RH RI

BI AB �B > �B �� �> A� H�H%

��� A Z J����� �� ������ �&����� ��� ���������� �� ������ �� ���� ���� ����� *4� � +/− 21

5�� ������� �� ������ ������������� �� ������� ��� ������� #� �������� �� �����# ��#���!� �������� �� �����# (� �� �7�� �������� ��� �������4 ��� *����� ��������� �4 �������� ������� �� �� ��������� ���� �� ��������� �� ���������� �� ������

��� �� �7�� ������ %�� ���� ��� �������4 ����������� ����� �� �������������� ��� ����������� �� ����� �� �� �������� �

Page 154: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

��P ������� �3� ��������� �����'����

-��� RA RB RC RD RE RF RG RH RI

$������������ B� P O > O �P � �O HA���%2��� BI �A AH > AI A> O �O IO�>>%

��� � Z J����� �� ������ �&����� ��� ���������� �� ������ ���� �� ��� ��� �� ������������������

Z PA � J����� ��������

Z PB � ;����� �� ���������� �� ����� ���������� ����������

Z PC � ;����� �� �������� ���������� ���������

Z PD � ;����� �� ����������� ����� ���������� ����������

Z PE � ;����� ����� �� ������� ���������� ��� ���������� �� ����� ��������� ��� ��������������� �� ������

Z PF � ;����� �&���� �� ���������� �� ������ ���������� ����������

Z PG � ;����� �� ���������� �� ����� ������������ ��������� ��

Z PH � J����� �� ��������� �&����� 0E S K Y 0K _ C11

PA PB PC PD PE PF PG PH

BI �AP �OO A� ��> �P �P O>�>>%

��� B Z J����� �� ��������� �&����� ��� ���������� �� ������ �� ���� ���� ����� *4� � +/− 3

PA PB PC PD PE PF PG PH

BI �HB �OO A� �O AH A> B>�P�%

��� O Z J����� �� ��������� �&����� ��� ���������� �� ������ �� ���� ���� ����� *4� � +/−10

PA PB PC PD PE PF PG PH

BI AB �OO A� �I> I A� A��A�%

��� Z J����� �� ��������� �&����� ��� ���������� �� ������ �� ���� ���� ����� *4� � +/−21

-��� PA PB PC PD PE PF PG PH

$������������ B� HO P> �P IH � �O P��%2��� BI �AI A�O AA ��� � �O BP��P%

��� I Z J����� �� ��������� �&����� ��� ���������� �� ������ ���� �� ��� ��� �� ������������������

$� ������ ��� ������� �������� ���� ��� ������������ ����� �� ������������ �� ���������� ������������� ��� ���������� ����� �� ����� ���� ���� ������� #������#� ���� ������ ��������������� ���� ����� ��� ������� �� ������ �� �� ��������� ���� ���� �� ��� �� �� �������� ������ ����� ���� ������ $����� ���� ����� ������ %�� ��� ������������ ��� ���������� ����������&����� �� �\�� ��������� ���� �� ��� ����������� �� �������� �� ������������ �� ������ �� ����� ���� ��������� �� ����� ����� � ��� ��� ���� �������� +� ���� �� ������ ��� ������ ��

Page 155: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�3�"� +��� ���� � ����� ��� ������� � �� ������ �� ���� ��H

���� ��� ��� ��������� �� �� ������� ������� ��������� ��� ���������� ����� �� ������ ����� ����������� &����*�� ��� ������� �� ������ �� �� ��������� ��� �� ������� ��� ������� )� ����� �������� ������ �� &����� ������������� � �� � �������� �� ����� �����*� %�� ������������� � �������� � �������� �� ����� ����%����� ���������� ����� ������� ��� ����������� ���� ������� ������ :�4 ����� $� ���������� ��� ������ ������ �� &����� ���� �� ������ #���!� �������� �� �����#���������� � �� �������� ����� ����� �� ���������

.������� ��� ��� �������4 ��� *����� O � OH %�� �������� ��� ������������ �� �� ��� ������� ��� ���������� ����� �� ����� ����� ;��� ������� �����%��� %�� �� ���� ���������� �� ������������ ���� � _Y!�� ���� �� ������*������ ������ ��������� ��� ��������� ����= ���� �� �� ���4������� ���� �� ����� �� �������� ���������� $� ���������� ��� ������������ ���� ����� �������� ���� ��������� ��� ������ �� ����� ���� ������ 5��������� �� ����� �� �������� �����������31, 92% ��� ���������� �� ������ ��� ��� ������������ ��������� 5��� ���� 7��� �4���%�� ��� ��&����� ���� ����� ���� 7��� ��������� ����� ����������� � �� ������ #� �������� �� �����#5���� ������������� ���� ���4���%��� �� ���4 �������� �

Z ��� ��� �������� ��������� �� �� ���� �� ��������� ����� �� ����� �� ����

Z ��� �� �������� �� ������� ������� ������� �� &����� ���� ���%������ �� ���� ��� ������������ �������� ��� ���������� �� ����� ���������

��� ������������ ���� �������� �� ��������� ������� �� ���������� ��������� 10, 57%5��� ���4���%�� ����� ���� ���4 ������� �

Z ��� �������� ��������� �� �� ���� �� ��������� ����� �� ����� �� ����

Z �� ������������ ���� ��������� ��� ������������� ����������� ��������� ��4 ���4 �������)� �������� ������� ���� �����*� %�� ���� �������� ��� �� ���!� �������� �� ����� ���������� ����� �� �������� ����� ������ ������ �� &�����

5�� ������� ������� �� ��������� ���� ����� ���� � �� �������� �� ������ �� ��������� +������� �������� ���� ���%������ �� ��� ������� �������� ���������� ������������ ��� ������ �� ����������� ��� ��� ���4 ������������� ������������ ��� �� �������� �� ����������� ����� �� ����������� �� �� �������� �� ������� ������ ���W �� �������� ������� �� ���������� �� ������ ���������� ������ $���� ������� ��� ������������ �� �� ����� �� �������� ������ �� �� ������������������� ���� ������� ���� %�� �� ����� �� �������� ��������%�� ����� ��� ���������������������� �� ����� �� ��������� �7�� �� ��� ������� �� ������ ���� ���������� �����������5��� ��� �]� �� ������� �� ���� %�� ���� ������� �� ������������� �� ����������� ��� ����������� �� ����� �� �������� *����

,� ������� �� �� *���� P �4����� ��� ������������ ����� �� ����� ��������� �� ����!������ �� ������ �� ��������� ��� ������� ��������� �� �� ������������ ����� �� ����� 5�����4������������� ��� �%��������� � ����� %�� �������� � �&����� ��� ������� �� �� ������ ���������� ������� ������� �� ��� ������� �� ������������ 5��������� ��� ��������� ������� ������9������ �� ���� %�� ���� ������� ��� � ��!�&����� �� ������ �������� ��� 90 ������ ���� �������� ������������� /��� ���� �����%���� %�� �� ��� ��� �� �� �������� ��������%�� ��������������� ��� ��������� ��������� �� ��� ���������� ���������� �� ������

,�� ������������ ������� ��� �� ����� P ���� ���������� %�� ������ �������� ���� ���������� �&������ �� ������ �� �� ��������� ������� ��� ��� ������ > � I 5��� ���� 7����4���%�� ��� �� ���� %�� ���� ��� ������ > � I �� ������ ��� ������� �� ������ �� �� ������������ ���� ��� �� ������ ������� �&������ ������ %�� ��� ������������ ������� ��� �� ����� P ����

Page 156: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�B> ������� �3� ��������� �����'����

.���� J����� ������� 5�������� ���%���� C������ .����� ��������8�����_Y! � BI BA H �P PH�B>% I>�>>%8�����_Y! �> BI �I �> AH IP�IA% O�>%8�����_Y! A� BI �I �> I IP�IA% �A�IB%

+�������%�� 0$���1 B� B> � � H��>A% I��BA%+�������%�� 02���1 BI �H O � PP�B% I>�H>%

��� P Z ����������� �������� ��� ���������� �� ������� �� ������*��� � ������ ��� ���������������� �� �� ������������ ����� �� �����

�������� ���� �� ������ ������� ������,� ����� �� �������� ������ ���� 9 ������ ��������� � ��� ������ ������ �� &����� �� 10 ������� ������ ������ �� &����� ,� ����� �� �������� ��������%�� ���� 5 ������ � ����� �� ���������� ������� ����������� (� ����� �� ������� �� �������� ��������%�� ��� %�� %���%��� ��������� &����� ����� ���� ���������������� �� �������� ������ ��� ������ (� ������'� �� ����� ��� �%�� ������� ����������� ��� ������� ������� �� ����������� ���� ���%������ ����� ������ ������� ���� ������ ���W �� �������� �� ������� ������� �� &����� ���� �������'������ �� �������(� �� ����� ���� �� �� � ��� �� ���� �� ������� ����� ��� ������� �� �������� ��� ���������� �������� ���� �� &����� �� ��� ���� ����� ,� ��������� ��� ��������� %�� ���� ��� �4������������������������� ���� ���� ����� ����= ������ ���� �� �7��� 70% ���� �� �������� ��� ��� ���� �� ������� �������� ������ �� 70, 90% ���� �� ����� �� �������� ��������%�� /�� ������ �� �������� ��������������� ���4���%�� ��� �� �������� ���������� �� ������ �� �������� %��� ����� �4���%��������������� ������ �� ������ ��������� �� ������� ������� 5���� ����%���� ���� �������%���� ������ ����� ��������� �� ������� ��� ��� ��� �� �������������� ��� ������ �� ���������*� ����������� ��������� �� ��������� �� ����� ��� ��� �� ���������

/� ���� ����'� ����= ������� %�� ����� ������ �� ����� ��� ��������� �� ���� �� ������������������ 5��������� �� ��� ���������� ����������� ���������� ��� ������������ ���� � �%������ �� ����� ����� �*� �� ������� ��� ����� �� �������� ���� ��%��� ����� ������ ��� ����4������� �� �7�� ���� ��� ��� �W �� ��� ����� ���� ������

�3'$ C�������� &�� (���� �����

(��� ����� ������� ���� �4������ ��� ��������� �������� ��� ���� �� ������� ����� �*� ���� ������� ��� ����� �� �������� ���� ��%��� ����� ������ ��� ����4 ������� �� �7�� ������� ��� �W �� ��� ����� ���� ������ ,�� ������ ����� %�� ���� ����� � ����� ����������� ������� ������� ��� ������������� �� ��� *��� 5� ���� ���������� ��� ����� ����� �� �������� %�� �������������� �������������� ��� ����� ����!������� ���������

�����

- ���� M- ��/����� �� ��%��M �

,�� ���������� ��������%���� �������� ��4 ������� �� &������ ������� ���� �� �� � ��� ����!����������� ���� �

Z J������� 0σ211 S >�AHI

Page 157: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�3�&� +��� ���� ��� ����� ���� �B�

Z ������� 0μ11 S !>��

Z ���������� �� ������ S "�� � �� �� � ��� �� �� ������ / "�� � �� �� � ��� ���� ����� �� ����� S 50/921 S 0, 05

- ���� ML��!- ��/����� �� ��%��M �

,�� ���������� ��������%���� �������� ��4 ������� �� &������ ������� ���� �� �� � ��� ����!����������� ���� �

Z J������� 0σ221 S �AP�A�O

Z ������� 0μ21 S ���H�

Z ���������� �� ������ S "�� � �� �� ���� ��� �� �� ������ / "�� � �� ��� ��� �� �� ����� �� ����� S 871/921 S 0, 95

(��4 ��� ���� ���� ��������� � �� ����� �� �������� ������ ��������� �� ����� *4� �� ����� ��� �� �������� ��������%��

J����� ������� -����� ���������� +����� ���%���� C������ ������� .����� ��������A �� �� IO O>�>>% �B�II%

��� H Z .�������� �� �� ��������� ������� ����� +/ − 3� ���� ��� �������� �� ���� ����� �������� �� ����

J����� ������� -����� ���������� +����� ���%���� C������ ������� .����� ��������A �B �A �A> O��PB% �>�B�%

��� I> Z .�������� �� �� ��������� ������� ����� +/− 10� ���� ��� �������� �� ���� ����� �������� �� ����

J����� ������� -����� ���������� +����� ���%���� C������ ������� .����� ��������A � �> �O> ��OB% H�B%

��� I� Z .�������� �� �� ��������� ������� ����� +/− 21� ���� ��� �������� �� ���� ����� �������� �� ����

-��� J����� ������� 5�������� ���%���� C������ ������� .����� ��������$������������ AB �H O �P IH��I% ����B%

2��� A �> � P� �P�B% ���>>%

��� IA Z .�������� �� �� ��������� ��������%�� ���� ��� �������� �� ���� ����� �� ������

,�� �������4 ��� *����� H � IA �������� ��� ��������� ���������� �� �� ��������� ������ ��������� *4� � �� �> �� A� �� �� �� ��������� ��������%�� ���������� ���� ��� �������� �� ���� ������� ������ (� �� �7�� ������� %�� ���� �� ������� ���������� ��������� ��4 ��������� ����4��������� ������ ��� ���������� �� ������ ���� ������ ���������� ���� ������ �������������������� ��� ������������ �� �� ��������� ��� ���������� �� ������ ���� ��� ���������� ������� ����� #�����4# ;��� ������ ����� �������� ��� ������� �&������ �� ������ �� �� ��������� ������� �������4 ��� *����� ��!�������

$� ������ ��� ��������� ������� ���� ��� ������� �� ������ �� �� ��������� ����� ������� ���������� ����� �� ����� �&����� 0�������4 I� � P>1� ���� �����%���� ��� ������������

Page 158: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�BA ������� �3� ��������� �����'����

RA RB RC RD RE RF RG RH RI

A �� P > P �P O �� IA�AA%

��� I� Z J����� �� ������ �&����� ��� ��� �������� �� ���� ����� �� ������ �� ���� ���� �����*4� � +/− 3

RA RB RC RD RE RF RG RH RI

A �A I > I �H O �B I��P%

��� IB Z J����� �� ������ �&����� ��� ��� �������� �� ���� ����� �� ������ �� ���� ���� �����*4� � +/− 10

RA RB RC RD RE RF RG RH RI

A �> O > O A� O � I��H%

��� IO Z J����� �� ������ �&����� ��� ��� �������� �� ���� ����� �� ������ �� ���� ���� �����*4� � +/− 21

-��� RA RB RC RD RE RF RG RH RI

$������������ AB O O > O �H > �H �>>�>>%2��� A � �� > �� �� � �> I�HA%

��� I Z J����� �� ������ �&����� ��� ��� �������� �� ���� ����� �� ������ ���� �� ��� ����� �������� ����������

PA PB PC PD PE PF PG PH

A IO II O �> �� O�OA%

��� II Z J����� �� ��������� �&����� ��� ��� �������� �� ���� ����� �� ������ �� ���� ��������� *4� � +/− 3

PA PB PC PD PE PF PG PH

A �A> II H� AI �B �B��O%

��� IP Z J����� �� ��������� �&����� ��� ��� �������� �� ���� ����� �� ������ �� ���� ��������� *4� � +/− 10

PA PB PC PD PE PF PG PH

A �O> II H OB � AA�P%

��� IH Z J����� �� ��������� �&����� ��� �������� �� ���� ����� �� ������ �� ���� ���� �����*4� � +/− 21

�������� ��� ������� �� ������ �� �� ��������� ,�� ��������� ������������� �� ������ �� �������� �� ���������� ���� ��������� ���� �� ��� �� �� �������� ��������%�� ���� 93, 34% �� ����������� 76, 92% �� ������

.������� ��� ��� �������4 H � IA� �� ��� �������� �� �����%��� %�� �� ����� �� �������������� ���� �� ����� ���� S +/ − 21 ������ ��������� �� ��������� ������ �� ������ ����61, 54% 2����� %�� �� ��������� ������ �� ��������� ��� ������� ��� �� ��� ��� �� ��������

Page 159: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�3�&� +��� ���� ��� ����� ���� �B�

-��� PA PB PC PD PE PF PG PH

$������������ AB �P O� B �I � �H HO�>>%2��� A P� �A P IH A �> P���B%

��� P> Z J����� �� ��������� �&����� ��� ��� �������� �� ���� ����� �� ������ ���� �� ��� ����� �������� ����������

������ +/− 3 ���� 14, 77%

.���� J����� ������� 5�������� ���%���� C������ .����� ��������8�����_Y! � A A� O �> P>�II% I�IO%8�����_Y! �> A A� O AI P>�II% B��IO%8�����_Y! A� A A� O OB P>�II% AP�>>%

+�������%�� 0$���1 AB AB > � �>>�>>% H�>>%+�������%�� 02���1 A A� � A PP�B% HA�>>%

��� P� Z ����������� �������� ��� ��� �������� �� ���� ����� �� ������� �� ������*��� � ��������� ������� ��������� �� �� ������������ ����� �� �����

$� ������ ��� ��������� ������� ��� �� ����� P� �� ������� � ������ ��� ������� ������������ ���������� ����� �� ������ ���� ������� �����%��� ��� ������������ ��� ������� �� �������� �� ��������� ��� ������� ��4 ������������ �������� ���� ��� ������� �&������ �� ������ ���� ��������� ,� ��� ������� ���� ��� ������� �� ������ �� �� ��������� ��� ������ � ������ ���� ��� ��� �� �������� ��������%�� � 92, 00% ���� �� ��������� �� 88, 46% ���� �� ������ ,��������� ������ �������� 88, 77% �� ������ �� 67, 75% �� ���������

����������

- ���� M- ��/����� �� ��%��M �

,�� ���������� ��������%���� �������� ��4 ������� �� &������ ������� ���� �� �� � ��� ����!����������� ���� �

Z J������� 0σ211 S >�>> 0S ��>> ��� ������1

Z ������� 0μ11 S >�>>

Z ���������� �� ������ S "�� � �� �� � ��� �� �� ������ / "�� � �� �� � ��� ���� ����� �� ����� S 13/410 S 0, 03

- ���� ML��!- ��/����� �� ��%��M �

,�� ���������� ��������%���� �������� ��4 ������� �� &������ ������� ���� �� �� � ��� ����!����������� ���� �

Z J������� 0σ221 S HAAO��>

Z ������� 0μ21 S !�I�BO

Z ���������� �� ������ S "�� � �� �� ���� ��� �� �� ������ / "�� � �� ��� ��� �� �� ����� �� ����� S 397/410 S 0, 97

(��4 ��� ���� ���� ��������� � �� ����� �� �������� ������ ��������� �� ����� *4� �� ����� ��� �� �������� ��������%��

Page 160: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�BB ������� �3� ��������� �����'����

J����� ������� -����� ���������� +����� ���%���� C������ ������� .����� ��������I A O �I AP�OI% �>�O�%

��� PA Z .�������� �� �� ��������� ������� ����� +/−3� ���� ��� �������� �� ���� �������������� ������ �� ����

J����� ������� -����� ���������� +����� ���%���� C������ ������� .����� ��������I A O A AP�OI% I��B%

��� P� Z .�������� �� �� ��������� ������� ����� +/− 10� ���� ��� �������� �� ���� �������!����� �� ������ �� ����

J����� ������� -����� ���������� +����� ���%���� C������ ������� .����� ��������I � B B� BA�P% �P�%

��� PB Z .�������� �� �� ��������� ������� ����� +/− 21� ���� ��� �������� �� ���� �������!����� �� ������ �� ����

-��� J����� ������� 5�������� ���%���� C������ ������� .����� ��������$������������ > �I �>>�>>% ���>%

2��� I A O �B AP�OI% �A�O>%

��� PO Z .�������� �� �� ��������� ��������%�� ���� ��� �������� �� ���� ������������ ��������

,�� �������4 ��� *����� PA � PO �������� ��� ��������� ���������� �� �� ��������� ���������� ����� *4� � �� �> �� A� �� �� �� ��������� ��������%�� ���������� ���� ��� �������� �� ��������� �� ������ (� �� �7�� ������� %�� ���� �� ������� ���������� ��������� �� ��������� ����4��������� ������ ��� ���������� �� ������ ���� ������ ���������� ���� ������ �������������������� ��� ������������ �� �� ��������� ��� ���������� �� ������ ���� ��� ���������� ������� ����� #�����4# ;��� ������ ����� �������� ��� ������� �&������ �� ������ �� �� ��������� ������� �������4 ��� *����� ��!�������

RA RB RC RD RE RF RG RH RI

I O � > � B A A O>�>>%

��� P Z J����� �� ������ �&����� ��� ��� �������� �� ���� ������������ �� ������ �� �������� ����� *4� � +/− 3

RA RB RC RD RE RF RG RH RI

I O B > B � � A �%

��� PI Z J����� �� ������ �&����� ��� ��� �������� �� ���� ������������ �� ������ �� �������� ����� *4� � +/− 10

+� ���� ����������� ��� ���������� �&����� ���� �� ��� ��� �������������� ���� �����%����%�� �� ����� �� �������� ������ ����� �� ����� �� ��������� ��������%�� ������ ����� ����������� ������*������ �� %�� ��� ���������� ������������ ���� ��������� ���� �� ����� �� ����������������%�� 5��������� �� ���� ������ ������� ���� ��� ����������� ��� ���� �������� %�� ����

Page 161: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�3�&� +��� ���� ��� ����� ���� �BO

RA RB RC RD RE RF RG RH RI

I B B > B � > � �>>�>>%

��� PP Z J����� �� ������ �&����� ��� ��� �������� �� ���� ������������ �� ������ �� �������� ����� *4� � +/− 21

-��� RA RB RC RD RE RF RG RH RI

$������������ > > > > > �>>�>>%2��� I O B > B � � A �I%

��� PH Z J����� �� ������ �&����� ��� ��� �������� �� ���� ������������ �� ������ ���� ����� ��� �� �������� ����������

PA PB PC PD PE PF PG PH

I �I �� B �� B A �����%

��� H> Z J����� �� ��������� �&����� ��� ��� �������� �� ���� ������������ �� ������ �� �������� ����� *4� � +/− 3

PA PB PC PD PE PF PG PH

I A �� B �� �� A �����%

��� H� Z J����� �� ��������� �&����� ��� ��� �������� �� ���� ������������ �� ������ �� �������� ����� *4� � +/− 10

PA PB PC PD PE PF PG PH

I B� �� B �� �P � I���%

��� HA Z J����� �� ��������� �&����� ��� ��� �������� �� ���� ������������ �� ������ ��������� *4� � +/− 21

-��� PA PB PC PD PE PF PG PH

$������������ �I �> A �> I B��O%2��� I �B �O I �B > A �>>�>>%

��� H� Z J����� �� ��������� �&����� ��� ��� �������� �� ���� ������������ �� ������ ������ ��� ��� �� �������� ����������

��� ���� ��������� ���� ��� �4�������������� ��������%��� /� ������ ���� ���������� ������������ ���� ������ %������� �� ������� ��� ��� �������� �� ���� ������������� ���� �� �����

,� ������� �� �� *���� HB ������ ��� ��������� ��� �4�������������� ������ �� �������������� ������� ������ �� �� ������ ������� ���� ��� ���������� ����� �� ����� ;��� ������� �����!%��� %�� �� �� ��� �� �������� ������ ���� ����� ��� ���� ���������� %�� �� ����� �� ����������������%�� �� ������ �� ������ 0100% ���� �� ����� ���� � +/−211 5��������� ��� �����%���%�� ���� ����� ������ ��!������ ���������� �� ������ %������� �������������� ����������� �����������'������ �� ����� ������� ���� ����� �������� ���� ��� �4��������������

Page 162: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�B ������� �3� ��������� �����'����

.���� J����� ������� 5�������� ���%���� C������ .����� ��������8�����_Y! � I O A B I��B�% OO�O%8�����_Y! �> I � �� PO�IA% ���O%8�����_Y! A� I I > �P �>>�>>% �O�O%

+�������%�� 0$���1 > I �>>�>>% B��%+�������%�� 02���1 I � > PO�IA% �>>�>>%

��� HB Z ����������� �������� ��� ��� �������� �� ���� ������������ �� ������� �� ������*���� ������ ��� ������� ��������� �� �� ������������ ����� �� �����

����

- ���� M- ��/����� �� ��%��M �

,�� ���������� ��������%���� �������� ��4 ������� �� &������ ������� ���� �� �� � ��� ����!����������� ���� �

Z J������� 0σ211 S ��>>

Z ������� 0μ11 S >�O>

Z ���������� �� ������ S "�� � �� �� � ��� �� �� ������ / "�� � �� �� � ��� ���� ����� �� ����� S 27/1174 S 0, 02

- ���� ML��!- ��/����� �� ��%��M �

,�� ���������� ��������%���� �������� ��4 ������� �� &������ ������� ���� �� �� � ��� ����!����������� ���� �

Z J������� 0σ221 S IBAH�>�>>

Z ������� 0μ21 S P>�OA

Z ���������� �� ������ S "�� � �� �� ���� ��� �� �� ������ / "�� � �� ��� ��� �� �� ����� �� ����� S 1147/1174 S 0, 98

(��4 ��� ���� ���� ��������� � �� ����� �� �������� ������ ��������� �� ����� *4� �� ����� ��� �� �������� ��������%��

J����� ������� -����� ���������� +����� ���%���� C������ ������� .����� ���������B � �� � A��B�% I�I>%

��� HO Z .�������� �� �� ��������� ������� ����� +/ − 3� ���� ��� �������� �� ���� *�� �������� �� ����

J����� ������� -����� ���������� +����� ���%���� C������ ������� .����� ���������B B �> BP AP�OI% I�I>%

��� H Z .�������� �� �� ��������� ������� ����� +/ − 10� ���� ��� �������� �� ���� *�� �������� �� ����

,�� �������4 ��� *����� HO � HP �������� ��� ��������� ���������� �� �� ��������� ������ ��������� *4� � �� �> �� A� �� �� �� ��������� ��������%�� ���������� ���� ��� �������� �� ���� ������� ������ (� �� �7�� ������� %�� ���� �� ������� ���������� ��������� ��4 ��������� ����4��������� ������ ��� ���������� �� ������ ���� ������ ���������� ���� ������ ����������

Page 163: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�3�&� +��� ���� ��� ����� ���� �BI

J����� ������� -����� ���������� +����� ���%���� C������ ������� .����� ���������B B �> OO AP�OI% �IP%

��� HI Z .�������� �� �� ��������� ������� ����� +/ − 21� ���� ��� �������� �� ���� *�� �������� �� ����

-��� J����� ������� 5�������� ���%���� C������ ������� .����� ��������$������������ �� �> � B> I�HA% A>�>>%

2��� �B � �� �A A��B�% P�OI%

��� HP Z .�������� �� �� ��������� ��������%�� ���� ��� �������� �� ���� ����� �� ������ ������

���������� ��� ������������ �� �� ��������� ��� ���������� �� ������ ���� ��� ���������� ������� ����� #�����4# ;��� ������ ����� �������� ��� ������� �&������ �� ������ �� �� ��������� ������� �������4 ��� *����� ��!�������

RA RB RC RD RE RF RG RH RI

�B �� I > I I B � BA�P%

��� HH Z J����� �� ������ �&����� ��� ��� �������� �� ���� *�� �� ������ �� ���� ���� �����*4� � +/− 3

RA RB RC RD RE RF RG RH RI

�B �> I > I I � B OI��B%

��� �>> Z J����� �� ������ �&����� ��� ��� �������� �� ���� *�� �� ������ �� ���� ���� �����*4� � +/− 10

RA RB RC RD RE RF RG RH RI

�B �> I > I I � B OI��B%

��� �>� Z J����� �� ������ �&����� ��� ��� �������� �� ���� *�� �� ������ �� ���� ���� �����*4� � +/− 21

-��� RA RB RC RD RE RF RG RH RI

$������������ �� � � > � �> > �> �>>�>>%2��� �B �� H > H O A � >�>>%

��� �>A Z J����� �� ������ �&����� ��� ��� �������� �� ���� *�� �� ������ ���� �� ��� ����� �������� ����������

PA PB PC PD PE PF PG PH

�B � �> �> AI � �����%

��� �>� Z J����� �� ��������� �&����� ��� ��� �������� �� ���� *�� �� ������ �� ���� ��������� *4� � +/− 3

Page 164: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�BP ������� �3� ��������� �����'����

PA PB PC PD PE PF PG PH

�B � �> �> �A �P B �P��P%

��� �>B Z J����� �� ��������� �&����� ��� ��� �������� �� ���� *�� �� ������ �� ���� ��������� *4� � +/− 10

PA PB PC PD PE PF PG PH

�B OO �> �> �O AO B ���P>%

��� �>O Z J����� �� ��������� �&����� ��� ��� �������� �� ���� *�� �� ������ �� ���� ��������� *4� � +/− 21

-��� PA PB PC PD PE PF PG PH

$������������ �� B> �O P �O O �> �I%2��� �B �A A> �� �O �I � �O�>>%

��� �> Z J����� �� ��������� �&����� ��� ��� �������� �� ���� *�� �� ������ ���� �� ��� ����� �������� ����������

(��� �� ��� ��� ���������� #�����4# 0�������4 HH � �>1� �� ����� �� �������� ������ ��������� *4� � +/ − 3 ����� �� ��������� ��������� �� �� ����� �� �������� ��������%�� �F� � ���������� ���4 �� ������ /� ���������� %�� ���� �� ��� �� ������������� ��� ���������� ����� ������� ��������%��� ���� ��� �������� �� ���� *��� �� ����� �� �������� ������ ���� ��� �������� ����� ������ ����� ��� ��������� ���������

.���� J����� ������� 5�������� ���%���� C������ .����� ��������8�����_Y! � �B �> B I��B�% AO>%8�����_Y! �> �B �� � �P IP�>% �I�H�%8�����_Y! A� �B �� � AO IP�>% �>�O%

+�������%�� 0$���1 �� �� > O �>>�>>% IA�A�%+�������%�� 02���1 �B �A A �I PO�IA% B���P%

��� �>I Z ����������� �������� ��� ��� �������� �� ���� *�� �� ������ �� ����� �� ������*���� ������ ��� ������� ��������� �� �� ������������ ����� �� �����

$���� ����������� ��� ������������ �������� � ������ ��� ������� ������ �� �� ������ ���������� ���������� ����� �� ����� 0������� �>I1� ���� ������� �����%��� %�� �� ��������� �������� ������ ��� ������� ��� �� ��� ��� ��������%�� ,� �������� ���4 �� ��������� ��� ��������� �� ����� �� �������� ������ ,�� ������������ ������� ��� �� ����� �� �������� �������������� ����������� ���������� ��� ����� ��� ��� �� ������*������ ��������%�� ���� ��������� 2���������� �� ����� �� ������ 17 ������� ������� 5�� ������ ������������ ���� ���� �� ����%�� ���� ��������� ��� ������� ������ �� �� ������ ������� ��� ���������� ����� �� ����� �� %�� �������� �� ���� ������� ��4 *��� ��� ���� �����%���� %�� ����� ��� �������������

Page 165: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�3�(� ���� ���� �BH

�3'@ *���������

��� ��������� ���� ����� �������� �� ����� ����� �� ��������� �*� �� ������� �� �������� ����� ������������� %�� ���� ����� ������� �� ��������� ��� ������������ ������� �� �������� ��� ��������%�� �� ��������� ��� ���������� �� ����� ;��� ����� �� �����%��� %�� ��������������� �� �� ��������� ��������%�� ���� ������� ���������� %�� ���� �� ��� ����� ������������ �� ����� *4� ;��������� ���� ������ ������ �������� %���� � ����� �F������� ��� ������� �� ������� ��� ��� ��������� ���� �����'��� ��� ���������� ��������%��� ��������� 0��������� ��������1 �� ���� ������ ����� ����� �� �������� ���������� /� ��� ���������� �� ������� �������� ��� ��� �� ������ �� ������� �� �� ������ �� ���4 �������� ���� �� ����� �� �� �������������������� 2.)5J/( )� ����� �� ����� ��� ��������� ��������� ��� ���� �� ����� ���������� �� �����

Page 166: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�O> ������� �3� ��������� �����'����

Page 167: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� ��

,� � ��� ��� ���� ���� �� � ������ �

(��� �� � ������� ���� ���������� ��� ��������� �� ��� �4�������������� ���������� ��������� �� ���������� �� ����� �������� �� ������������ %�� ���� ��������� �� ������� ���� ����� ��� ���������� �� ������������ ��� ����������� ����� ��� ������ 5���� ����� %�� �� �������������� �� �� � ������ ��� ��������� ��4 �4�������������� ��� ��� ��������� �� ������������������� %�� �� ������� ������ �������� ��� ��������� �� �� ��� ��� �� ������������ �������

��'� =�����&����� &��&����

2��� ������� ��������� %���� ���� ��� ������������ %�� ��������� ��� ���4 ��������� %������ ��� ������ ���������� �*� �� ������� ���������� �� ������������ %�� ���� ���������,� ������� �������� �� ������������� %�� ���������� ��� ������������ ��� ���� ���%��������������� T ��>BV� ��� ������� �

Z �� ������Q�� ���������

Z �� :�4 ���������

Z �� ����!�9�

Z �� ���4 �� ������� ��� =��� ��

Z ��� �� �������� ���F������ �C5

,� ������ �������� ��� ������� �

Z �� �� ���������� ��������� ���� ��� ������ �� -��@��

Z �� @������� �� �� �� ���%������

Z �� ������� ������!����������� �� �� �� ������� ��

Z �� ������ �� ������Q��� TE��>�V

(��� �� ��� �� ���������� �� ������� ������� �� �������������� �� ��� ���4 ��������� ��������������� ���� ����� ������� �� �������� ���4�������������� � �� ���� ��� ��� ���%��� ������ ���� ���%��� �� ����� ,�� ������ ����� ��� ��� �4������ ��� ������ ������� �� �������������������� ,� ������ �� ���� ���� ���%��� ��� ������� �� ���� ������� ���������� ������!�������%���� ���� ����� �� ������� ;�� ����� ���� �� ������ �� ���� ���� ���%�� ������� �� 10

�O�

Page 168: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�OA ������� ��� -������� ��� ��������� ����� �� �����

�� ��������� ���� ���������� ����� �� ������������ ���������� ��� ������������ ����� �� ������������ �������� 0���� *���� �>H 5�� ���� ��� ��� ���� ������ ����� �� ��� ��� ���������� ����TE��>�V ����� ��� �� ������ 5;++ �������� �� ����� �� � ������ P

,� ������� �� ������������� ��� ��������� �� �������� �� �������� �� � ���� ��� ����������� ������������ ������� ��!������ [ ������ ��� �%������� 0��B1 �� 0��O1� ���� ����������� �������� ���������� �� M %�� ���� ������ M � ��*��� ����� �

M =M

Card(Ensemble`Descripteurs)0�OB1

5��������� �� ��������� �4���������� �������� ���� ����� ��������� ���������� ��� ������!����� ����� ��� ������ ����� �� ����� ������� 0���� *���� �>H1 ���� ���� ����� ������� ������������� ������������ �� ������� ������ ���� �� ������ ������ ���� � ���� �� ���� ������� $����%���� ���� ����� ������ ��� ������������ �� � �%�� ������ � �� ��� ��� �� �������� ������!��%�� �� ���� ����� ������ ����������� �� �� ������ �� ��4���� �� ����������� �� �������� ������� ������ %�� ���������� � ��� ���������� ;��� ����� ��������� �� ������ �� ��������� � ��%����� ���� ����� ������� � �� ������ �� ������� ����� �� ���� ���� � �� ��������������� ���������� �� ������ ������� [ ����� ���4������ ��� �� *���� �>P� ���� �� ������������� ���� ����� ��� ��������� �� |(−1, 30) − (−0, 78)| = 0, 52 �� ���� �� ������ �����|(−9.50) − (−0.15)| = 9.35,�� ��������� �� ����� ����������� ���� ������� ��� �� *���� �>P 5�� ��������� ��� ��� ����!��� � ������ ��� ���� �� ������ ���� ���%�� ,� *���� �>P� ������ �� ������� �� ������� ��������������� ��������� ���� ��� ������������ �� ������� ������ ,� �������� ���� �� �������� ������������ %�� ���� ��������� ��� ������ ��� �� *���� �>P�

0 50 100 150 200 250 300 350 400 450−3.5

−3

−2.5

−2

−1.5

−1

−0.5

0

Threshold line

time (frame)

Nor

mal

ized

log

of li

kelih

ood

ratio

0 50 100 150 200 250 300 350 400 450−10

−9

−8

−7

−6

−5

−4

−3

−2

−1

0

Threshold line

time (frame)

Nor

mal

ized

log

of li

kelih

ood

ratio

�1 �1

��� �>P Z ,������ �� �� ������� �� ������������� ��������� ���� ��� ������� �� �������!����� � �1 ������ ������� �1 +����� ������ �������

;��� ������� �����%��� %�� �� ������ ������ �� ������������ ������� �� ������� ������!������� ���� ��������� %�� �� ������� ������ 5��� �� ������� ��� ��� ������ �� ��������� ������� �� ������� �� ������������� ��������� ���� �� ��� �� �� �������� ����� ��������������� ���4 ����� �� ������

Page 169: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

����� -���������� �������� �O�

(��� �� ������� �� �� *���� �>H� ���� ������� ����� �����%��� %�� ��� ��9������� ������� ������� ������ �� �� ���� ���� � �������� ��� ������� �� ������� ������� �� �� ��������� ������� �� ������� �� ������� �� ������������� ��������� ���� ����������� ���� ��� ���!��������� �� ������ A ,� �������� ������� �� ������� �� �� *���� �>H ����%�� �� ���� ������������ ������� �� ������� ������������ �� ��������� J���� �� ����� �� �������������� ��������������� �

Z − �����*� %�� �� ���������� ��� �� ���� /�������Y/��������Z −0 �����*� %�� �� ���������� ��� �� ���� /�������Y �����!�������%���Z −� �����*� %�� �� ���������� ��� �� ���� /�������Y+�����Z −� �����*� %�� �� ���������� ��� �� ���� /�������Y5������Z 0−� �����*� %�� �� ���������� ��� �� ���� �����!�������%��Y/��������Z 0−0 �����*� %�� �� ���������� ��� �� ���� �����!�������%��Y �����!�������%���Z 0−� �����*� %�� �� ���������� ��� �� ���� �����!�������%��Y5������Z �−� �����*� %�� �� ���������� ��� �� ���� +����Y+�����Z �−� �����*� %�� �� ���������� ��� �� ���� +����Y5����� ��Z �−� �����*� %�� �� ���������� ��� �� ���� 5�����Y5�����,� ������� ������� ������� �� ��9������ ����� ��� ���4 ����� �� ������� ���� �����������

�� ������ �� ��������� %�� ���� ����� ���� ������ ���� �� �� ���� ��� ��� ���� ������� �������!��� ,�� ����������� ����� ���4 ������� ���� �������� ��� �� ���!���� #5�����# )�*�� ��� ���4��������� �������� ���� ��������� �� �� ��9������ ������� ����� �� ������� ������ �� �� �������� � �������� ��� ������� �� ������� ������� �� �� ������ ��� ������� �� ������� ��������� �� ������������� ���������

D�������� )&������� �= � �= ���−�A ������ >O> B�>��−�� $�������� ��� ���������� >�A >B>�−� 5����� >O> �H>>�−� 5����� >�> BA>�−� 5����� >�O �B>�−� 5����� ��I IP>��−�A $�������� �� $5. �>O> �PO��−�� ������ �>>> �PP>�−� 5����� >OA H�O��−�A $�������� ��� ����� ��> BPO��−�� ;����� �� ����� >> AOO�−� 5����� >OO BO>��−�A 5������ >P �P

��� �>H Z 5���������� ��� �������� �������������� ��� ���4 ������� �� ������������ 0�−��������� �− ������!�������%��� �− ������ �� �− ���� �����1

;��� �����%���� %�� ����� ��9������ ����� ��� ������� ������������ �� ������ ������������ �� ��� �� ������ ������ (���� �� ������� �� �������������� �� ������ ������ �� ���!��������� ��� ��������� �� ������� ������ 5��� ���� ������ �� �������� %�� ���������� ��

Page 170: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�OB ������� ��� -������� ��� ��������� ����� �� �����

������������ �������� ������ ����4 ������ � �� ��������������� ��� ������ /� ��� ���������� ���������� %�� ��� ������������ %�� ���� ��������� �� ���� �� �������4� �� ��������4 ���� ��������� ����������� �� ������� ��� ���� ������� %�� ��� ���������

��'� ��(��������� ����(��

(� ���������� ������������ ����� ��� ������ ��� ��� ��������� ����*���������� )� �9������� ����� ���� ��� �� ��������� �� ���� �� ��������� ��� ������ ����� �7�� ������ �������� ��� ���������� ���������� ��9������ ;��� ������ ���� ����������� ���� ��� �� ����������� ����� ���� ���4 ���� ������� �� ���4 ������� ���������� ,��������� �� ��� �� ��������� ������� ����*����� ���� �������� � ������ �� ���� ������� ���� ���%��� )�*�� ���� ����� ������������� ������ �� ���� ���� ��� ����������� �� ������ ����� %�� ��� ��� �4������� ��� ������������� �� �������� ������������ ;��� ����� ������� �� ������ ������ ���� ��������� ������ 15�� ���������� � ������ ��� ������ �������

5���� �� ��� �������� �� �� �����%��� ������� ���%������ 0���1� �� ����� �� �������� %���� ��� �������� �� ��� ����� ���������� �� ������ ������ ���� ����� ������������ �� �� �� ����������� ���������� �� ��������� ���� n (� ����� ����� ���� ������� ���������� ������� �� ��������� �� *���� �>H ��� ������� ��� ������ �� ������� �� �� ������� �� ������������� ������������� ����������� ���� �� ������ ������ �� ������������ 5��� ���� ������ �� �������� %���� ����� ������� 7��� ��������� �� ���� �������'���� ��� ��� ��������� ������� �� ����������� ���������� �� ������ �� ����� $��� ����� ���� ���� �� ��������� ����!������� ����� ������������ ������������ ����%�� ���� ��������� �� ������ ������ �� ������������ ,�� �������4��� *����� ��!������ �� ����������

)�*�� ��� �������4 ��> �� ��� ���������� ��� ��������� ������� ��� �� ��� ��� �� ������!������ ��������%�� ��� �� ������ ���� ��������� ����� �� ��������� �������������� �� ������� �� �������� ������ �� ������������ ;��� �����%���� %�� ��� ������������ �� �� ���������������

J����� ������� 5�������� ���%���� C������ .����� ���������O P I O O����% ��OB%

��� ��> Z .�������� ��� ��� �4������ �������� ����� ���� �� ������� ������ �� ������������

J����� ������� 5�������� ���%���� C������ .����� ���������O �� A A P�I% P�I%

��� ��� Z .�������� ��� ��� �4������ �������� ����� ���� �� ������ ������ �� ������������

��������%�� ��� ����������� ����� ��� ������ ���� ���������� ���� �� ��� �� ������������� �� ������������ �� ������������ 5��� ���4���%�� ��� �� ���� %��� ����� ���� ������� �� ��������!����� �� ������� �� �������������� �� �� ��� ��� ��������%�� ��� ���� ��������� �� ������������������� �� ������������ %�� ���� ����� �������� $����� ���� ��������� ���� ������� ����%�� ���������� �� ������������ �������� ����� %�� �� ��� ��� �� �������� ��������%�� ���� ����������� �� �������� ���� 2��������� ��� ������������ ������� 7��� ���*����� ��� ��� ������� ���� ������ �� ����

Page 171: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

���"� ����������� �OO

��'! ���&�������

(��� ��� ������4� ���� ���� ������ ���%������ ���������� � �� ��������������� ��� ����!������� ����� ��� ������ 5��������� ����� �� ������ �� ������� ��A� ��� ���������� �� ������������� 7��� ������������� ��� �������� ����� �� ����������� ���� �� :�4 ����� ,�� ����������������� ���� �� ������� ��A ���� ����� � ��� ����� ����� ��� �� ������ �� ���� ����� ����������� ������������ ��� ������������ �� �� ��� ��� �� ��������� ��� ���������� �� ����� 0����� ������ �>1

2��� �� ���������� ����� ���������� ����� � -���� �B�AP%-���� � -���� �A�AB%-���� � ����� �A�AB%

����%�� � ����� �A�AB% ����� � ����%�� �>�A�%����%�� � -���� P��%����%�� � ����%�� P��% ����� � ����� ���% �� �� ���������� ���%

����%�� � 0-���� _ ����%��1 B>H%-���� � 0����%�� _ �����1 A�>B%

0-���� _ �����1 � 0-���� _ �����1 A�>B%-���� � ����%�� A�>B%

��� ��A Z ���������� ������������� �� � �%�� ���� �� ���������� ����� �� ������ �����

���� ��� ��9������� ������������ ���� ����� ��� �4����� ��� ����������� �� ���� 0��� �K ���� )���� ���� ������������� ��� �� �������� ���� �������� 0�������� �� �������1 �� ����� �������� ������� ���� �� ����� (��� �� ������� ������ �� ���������� ����� �������� ��!�������� ������� ����� �� ���������� ����� 5�� ����� �� ���������� �� ������ ������� 7���������������� ��� �� ���� �� ����� ����� ��� ��� ��������� �� �� ������ �� �� ������ �������� �4����� ��� ��� ��� �� ������*������ �����

)�*�� ���� ����� �� ������� �� ������������ �����!����� �������� �� �������� �������� ��������� �� ������� ��� ��� ���� %�� ������������� �� ������������ ���������� �� ��� ���������������� 5��������� �� � � ��� ��� 0���%1 ���� ���%���� �� ��� � ��� �� �������� �� ��������������� <�� ����� ��������� ��������� �� ��� ��� �����%�� ���� ��������� �����!����� ����%������� � ����� ����� �� ��� ������������ (������ ����� �� ����������� ������ ����� ��� ��� �W �������� �� &����� ��� �4����������� ������ ���� 7��� �������� � ��� ��������� �� ����� ����������

Page 172: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�O ������� ��� -������� ��� ��������� ����� �� �����

Page 173: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�������� ��

/������� ��� ��� ���� ��� ��

(��� �� � ������� ���� ������ ��������� ��� ��������� ��� �4��������� ������ ���� ��������� ��� ��� �� ������*������ ��� ���� ������� %�� ���� ����� �������� ��� ����� ���� ������������ �� � ������ �� ���4 ����!������� ���� ���%������ ���� ������ ���������� �� ������������������������ �� ������ ����� ������� ���� �������'������ �� ��� ����� �� ������� �� ������*!������ ����� %�� ��� �4�������������� ��������� �� ��� ��������� �������

��'� *��&�� �����

(��� ����� ������� ���� ������������ �� ����������� ��� ��9������ ������ %�� ���� ������������� )� �9��� ���� ����� ��� ����� � �������� ���4 ����������� ����� �� ������� ����� ���� ���� ���� ��������������� �� ������� �� ������*������ ��������%�� �� ��� ���� ���� �� ��!�������� �� �� ��� ��� �� ������*������ ���������� �������� ,�� ���4 ����!������� ��!����������� ���������� �������������� � �� ����������� �� ������� ��� ����� �� ������� ����� ����!����������� �� �� ����

8��� �������������*�

(��� �� ������� HB �� �� ������ ///� ���� ����� �������� �� ��� ��� �������� ���� �� � ����������'������ �� ������� �� ������*������ ;��� ����� ����� ������� %�� ��� �����'����������� ��� ������� � ������ ����� ���� �� ������� ����� �������� �� ���� ������� ���� ������)�*�� ���� ����� ������� ��� ������� ������ �� �� ��� ��� �������� TE��>�V ���� �� ���� ����� ��� ���� $����� ���� ����� ����!������� ���� ���������� �� ����������� �� ����� ���� ��������� ����� ���������������

��� � �%�� ������ �� ���� ������� ��*��� 0���� ������� HA1 ���� ����� ������ �� ���������� 900 ���� �� ����������� � 44100E= ����� ����� �� 1 ������� 5��� ���������� � 2700 ������� ���������� ��� ����� ������� � ��������� ������!�������%�� �� ���� ������Q��� ,�� ���!������� ���� �������� ���� ������� �� ���� ��������� ��� ���4 ������� ��������������� �������� ��������� [ ����� ���4������ �� ������ ���!�������� ��� ������� ���� ������� �� 450���� �������� � ����� �������������� ��������� �� ������ �������%�� �� �� 450 ���� ��������� ����� �������������� ����� �� ������ ���� ������Q���

�OI

Page 174: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�OP ������� ��� � ���$����� ��� ���� ������

8��� �� ����

(��� ����� ����!������� ���� ���� ����������� � �� ����������� �� ������ ����� �� ����������� ���� �� ���������� �� ������ �� ������*������ ��������%��

,�� ����� �4����������4 ��� ��� �������� ��� ��� ���� �� ������� ����� �������� �� ����������� �������� 5���� ���� �� ������� �������� 913 �� ��������� �� ����� ��������� �� ����������� ����� �� 1 ���� �� 45 ������� ,��������� �� ��� ���� ������� � ��� ����� ���� ������/�������� /� ������ �� ���� ������ �� ����� ���� ������������� �� �� ������������ 5�� ���� ������������������� �� ����� �������� �� ������ �������� ���� �� ������ ;��� ����� ���*� �� ��������� ������� ��� ���� )� �9�� ��� ������� �� �� ��� �� �������������� �� ����� ��� ������4�������� ��� ������������� ���� ������ ��������� ���������� ��� *� ���� ����� ������%������� �� ������ �� ������� ��� ��������� ,� ������ ������� ��� �� ������ �� *� ��� ���

���� ��� ������������%��� ��������� � 44100@E= ���� �� ���4 ���� ������������� 16 ���� �������������� ��� �� ��������� �� ����� ���%�� ;��� ����� ���� ���� �� ������ ��� �� ����������� ����� ������� �� ���� ��9������ �� %�� ��� ����� �� ��� ���� ���� ��� ���� ���� ������������ �4������ ��9������� ��������� 0���� ����� �� ��������� 1� ��� ������ �� �������� �������� ����� 0����� ����� ����������������� 1�

��'� %�&������������� �� ���������

(��� ����� ������� ���� ���������� �� ������ ��� �4�������������� ������ ���� ��� ������������!������ ;��� �4������ ��� ��������� �� ��� �4�������������� ���� �� ������� �� ������������!������

'��������������

,� :�4 ����� ��� ��%��� ���� ����������� ��� ������� �� ���7���� ��������� �� ���4 ���������9������� ���� �� ������ ��� ������������ ����� �

Z 512 �� ��������� ���� �� ������ �� ������� ����������������� 0$5.1 �� �� ������ ������� ��

Z 4096 �� ��������� ���� ������������ �� �� ���%����� ��� ����������

(��� �� ��� �� ������ �� ������� ����������������� 0$5.1 �� �� ������ �� ����� ��� ���7������������� �� �� � ����� ��� ��� )� ������ �� �� ������ �� �� ���%����� ��� ���������� �����!���� �� � ����� ����� �� 128 �� ��������� ��� ���7���� ���� ��� ���� ������ ��������� ���������������� ��� � �%�� ���7��� ��������� ��� ������������ ����� ���� �������� �� ������ � ����� ��� �� �������� ��������%�� $����� ���� � �%�� ���7��� ���������� �� ������� ���� ���������� ������� �� ����� ������� ������������� � �� �������� �������������� � � �%�� ������ ������ ������� ��*�� 0���� ������� HA1

$���� ����� ������ ���������� ��� ���7���� ��������� %�� �������� �� :�4 ������ ���� �����!���� ��� ����������� �� ���7���� ���%������ ��������� ������!�������%�� �� ����� 5�� ��������������� ������������ ���� ����� �������� ��� ��� ������ �������� ����� 0 �� 1 [ ����� ���4�������� ���� �� *� ��� ����� ���� �������� �� ������� ��� ����������� ���� � 0, 01/0, 96/0, 02� ��������� ������� ���� %�� �� ��� ������� ���������� � �� ������ ��� ���� ������� ������!�������%����

����� ���������� ������������

Page 175: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

����� 4������������� �� ���� ���� �OH

����� Cp� ��� �� ���������� �� ���7���� ����������� 0, 01 �� ������ 0, 02� ��� ���� ������� ���� ��� 0� ��� ������� � ����� �� ���7���� ������!�������%���� 0, 96 %�� ��� ���� � �� 1

6��������

(� ����� �� ��� ������ �� ��� ���� ��F����� ����� ����������� �� �������� ���� ������������ ��� ��� ������� ��� ���� ������� ��*���� ���� �� ������� HA )� �9��� ���� �������� �������� ������ ���� �������� �� ������ %�� ��� ������� �� ���� ������� ���� ������������� ������ ���������� ���� � �� ���������� ;��������� ���� ����� ������ �� �������� ���4 ��������4�������������� �

Z 2��� �������� ���� ���������� ��� ���� ������� ���� �� %����!���� 5�� ���� ���� ��!���������� ��� ��� ����� ����������� ���� �� 0, 9� �� ���7���� ����� ��� ������*��� ������������ ��� ��4 ������� ��������� 5���� ����������� ��� ������ ��� �� *���� ���� ���� ������� ����������� ;����� %�� ���� �� ����!�������� ��� ���� ������ ��������� � ����� ��!����������%�� 5� ����!�������� ��� ������� �� 261 ����� �� %�� ���������� ������� 29%��� 913 ���� �� �� ���� �� ���� ��������

Z ���� ���� ����� �������� ��� ���� ������� %�� ���� ������������ ��� ��� ���������� �����7����� ����� ��� ������*��� ������� ����� ��� ��4 ������� ���������� ���������� � 0, 5)� �������� ������� ���� ����� �9����� ��� %�����*������ ��� ��������� ��� �������������������� +� �� ������ ������� 0, 5� ����� ���� ���������� 1 � �� ���������� ����������(��� �� ��� ���������� ���� �9������ 0 5���� ����������� ��� ������ ��� �� *���� �������� ����� �� ����������� ;����� %������ ���������� ��� 913 ���� ������� �� ����� �������� �� �������������

�1 �1

��� ��� Z ��������� ��� ���� ������� ������*�� � �1 ���� ������� ����������� �� ���������������� �������� � ��� ������� �1 ���������� ��� ���� ������� �� �� ���� �� ����Cc � -����� �������� Cs � -����� �������� �� ������Q���� Cp � -����� ������!�������%���� Cis �-����� ��������� �� �������� �� ������Q���� Cip � -����� ��������� �� ������!�������%���� Ci �-����� ���������

,� ������� ���� ������ ��!������ �������� ��� ���� ������� ���� ���%���� �� ��� ����= �������� ���������� ���� ��������� ���� ������ 5�� �������� ��� ������� �� ���� ������� ���� %��

Page 176: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�> ������� ��� � ���$����� ��� ���� ������

��� ���������������� 0��������1� ��� ������ �� ������� 0������!�������%��1� ��� ������ �� ���0���������1�

,� ������� ��������� ���������� 0*���� ����1 ������ �� �� �������� �� ����������� ������� �������� ������� ���� �� %����!����� �� �������� ������ ����������� ���������� � ��� ���������� ���!��*���� (� ����� ���� ������� �����%��� %�� ��� ������������ ���� ���� �%����������� ��������������� �� ����� ����������� %�� ��� ������� �� ����� ������ �� ���� ����������������� ������!�������%��� �� � �� ���� ��������� �� ������!�������%��� �� ��� �������������� �������� ����� �� � ��4 �� ������� ��������� )� �9��� ������ �� ��� ������� �� ���������� ���� ����������� �� ����� �� ����������� �� ���� ����� ����� �� 29% ���� �� ������ ��� ����������� ������!�������%��� 0����� Cp1 2����� %��� �� ����������� �� ���� ������ ��� �� 7%���� �� ������ ��� ���� ���� ����� 0����� Cs1

N���� ������� %��� ����� ����� ������������ ��� ������������ ������� ��� �� *���� ���� ����������� �� %��� ������� ����� ��� ���4 ���������� ����������� 0*����� ���� �� ����1 �������������4����������� ��� �7��� ������������ �� ������� ���� ������ �� ������ �� ������� �F�!��� %�� ��� ������������ �� �� ��� ��� �� ������*������ �����%��� � ���������� ������� ������� ������� 0����� *���� ����1 ���� ��������� ,�� ����������� ������� �� ������*������ �������������'��� ���� �� ��� �W ������������ �� �� ���������� ����� ������ �� ����� �� ��������� �� 0, 5)� �9��� ��� ���������� ������������� ������� � ��� ���� �������� ������� ���� �� ������� �������� ������� )� �������� ������� ���������� ��� ���7���� ��������� �������� �������������� ��� ������� ��9������� /� ����� ��� �������� ���������� ��� ���������� �� ���������� ������7���� �� �� ������������ ��� ������ �� �����������

��� *���� �� ������� �� �� *���� ��B ������ ��� ��������� �� �� ������*������ �� %���%����4������ �� ���� ������� ����� ���������� �� ���4 %�� ����������� �� ���� �� ���� 0���� ���!���� �A�1 ,� �������� ������� ����%�� �� ������������ �� ��� ������ ������� ��������� )��������� ��� ���� ������� ���� ������� ���������� ���� %����!��������� �� ������� ����� ����!��*������ �������� ��� �������� ���� �� ������� ������� �� ������� �� �� *���� ��B ���� ��������� ��� ����������� ��� ����� ������� ��*���� � ������ ��������� ������!�������%�� �� ���������� �� ���������� ���7���� ��������� ��� ����� ��� �� ��������� ������� ��� ������� ��������� ��� ������� ��� ����������� �� ���7���� ����������� ������!�������%��� �� ���� �����(� ����� �� ���!��� #/�� Y ��# �����*� %�� �� ��� ������ ������ ���������� � �� ������ #/�!������Y ������%��# %�� ���������� � �������������� ��� ������� �������� �� ������!�������%��0���� ������� HA1 (� �7��� #/�� Y +����# ���������� � �� ������ #/�������Y+����#

9�� ����� A���� ������ 5��� ���� �� � ���.�����-���� �� ��� /������� 0Ci1 >PB/>>A/>>>/������ ������ �����! ������%�� 0Cp1 >>>/>HH/>>�

$������� �� �7�� +���� 0Cs1 >>>/>>�/>H.����� �������%�� /�� Y �� 0Cip1 >O�/>HP/>>>

.��:������ ����� /�� Y �� 0Cip1 >HP/>HI/>>>$��������������� /������� 0Ci1 >HP/>>/>>>-���� �� �������� /�� Y +���� 0Cis1 >HH/>>H/>H>

C���\��� �����! ������%�� 0Cp1 >>>/>HP/>>A2���7�� 5����� 0Cc1 >>>/>>H/>>>

��� ��B Z .�������� �� �� ������*������ ���� %���%��� �4������ �� ���� �������� �������

Page 177: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

���"� %�� ����� �� � � ���$����� 5 � ����������� ���'����� � ��

��'! "&&�������� �� �� ������E������ � �� ��(��������� ���� ����(��

<�� ��� ������������ �� �� ������*������ ��� ���� ������� ��� �� ������������ ����!�������0�� ������� P�1 (��� �� ���� ���� ������� �� ������������ ����!������� ��� ���� ����������������� � ������ �� �� ������ �� ����� ���������� 5���� ����������� ���� ������ �� ��!���������� ������������ ��� ������������ %�� ������������� ����� ������ �� ����4 �� �� �� ������������� ��� ������ ������������ $����� ���� ������� �� ������������ ��� ����������� ����� ��������� ����� �7�� ������� ���� %����*��� ��� ����������� �� �� ��������

;��� ����� ���� ��� �4�������������� ���������� � ������ ���������� ���� �� � ������ ����������� )� �9��� ���� ����� ������� ������������ ��� ���� ������� ��������� ��� ����!������� �����!������ ��� ����� ���� ����� ��������� ��� ���� ������� ������!��� ����� ��4;��� ����� ������� �� �� �7�� ������� ���� ��� ���� ��� ��� ���������� ����� �������!���� � �� �7�� ������ �� ������ ��� ��������� ������� � ������ �� �� ��� ��� �� ������*��������������%�� ��������� ���� �� ������� H�

,� ������� �� �� *���� ��O �������� ��� ��9������ ����� �� ����������� %�� ���� �������������� ,� �������� ������� �� �� ������� ����%�� �� ������ �� ��� ������ ��������� � ������������ ���� ���� ���%�� ,� ������� ������� ��������� ��� �� ���� �� �� ���������� ���������� ����� ������!�������%��� ���� ���������� ���� ���� ������ ���� ������ )�*� �� ��������� �� ��������������� ������� �� ����������� ����������� �� �������� �� ���� �� �� ����������

;����� �� ��� ������ 2��� �� ���������� (���������� �������+��� ���%�� /�������� R�������+��� ���%�� �����!�������%�� .������ ����������������� 0$5.1+��� ���%�� $��� +���� ;����� �� �����+��� ���%�� 5����� N������ ���� ��� ������ �� ���@�;������ /�������� R�������;������ /�������� R�������;������ �����!�������%��� $5.;������ �����!�������%��� $5.;������ $��� +���� ;����� �� �����;������ 5����� N������ ���� ��� ������ �� ���@�

��� ��O Z (����� ��� ���� ������� ������� ���� �� ���� �� �� ��� ��� �� ������������ ����!�������

-��� %������� ��� ����� ��� �� ������ ���������� ��� ��������� ������� ���� �����������)� �9��� �� ������� �� �� *���� �� ������ ��� ������������ ��������� �� �������� �� �� ��������� ���� ������� ����������

;����� �� ����� J����� ������� 2���������� ������ C������ ������� .����� ��������;������ � B P����% OO�O%

+��� ���%�� B > � �>> % P>%;������ _ +��� ���%�� �> � O H>% B%

��� �� Z ����������� �� �� ��� ��� �� ������������ �������

Page 178: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�A ������� ��� � ���$����� ��� ���� ������

;��� ��������� ��� ������������ �������� ���� �� ��� �� ���� �������� 5��� ���� ��������� ��� �� � ������� �� ����������� �� �������� )� �9��� ��� ������������ �� �� ��� ����� ������*������ �������� ��� ������������ *����� �� �� ������������ ����!������� ;��� �������������� �� �7�� ��� ���� �� ��������� ��� ���������� �� ������ %�� ��� ���� ��4 ��������� ����������� ��� :�4 ����������� 0���� � ������ �>1

��'$ *���������

(��� ����� ������� ���� ����� ������� ��� ��� ��� ��������%�� �� ������*������ ��� ����������� �������� 5��� �� ��� �� ������������� � �� ������������ ����!������� ��� ������ �*��� ������������ ��� ����������� �� ������ �� ���� ����� �7�� ������

-��� %�� �� ���������� ��� ��������� �� �� ������*������ ����� ��� ����������� ������� �� ����%�� ���� ������ ���� � �� �������� �� ����������� ��� ��������� ������� ���� �����������(������� ���� %�� �� ���� ������4 �� ���� ��� ������ ���� ���������� ���� �� �����������6���� ��4 ��������� �� �� ������������ ����!�������� ��� ���� ������� ��� ��� ������������ ���� ������*������ ���� �������� ������ ����� �����������

N��������� ��� ����� ��� ��� ������ �� �������� ���������� ������� � ����� �� �������!����

Page 179: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

/�������� ������� � ����� �!��

$����� ���� �� ������� �� � ��� ���� ����� ������ �� ��F���� �������� �� �� ��������������� ��������� ������������ �� ������ ;��� ����� ����� �� �������� ��� ��� ��� ��F�������������%��� ���������� � �� ����� �������� �� �������� � ���!���� ���� ������� �� ����������� ������ (� ���������� ��� ������4 ��������� ���� ����� � ���� ���� ����� ������� ����� ������������ �

Z �� ������ �� ����� ������%�� ������ ��4 �������� ���������� �������%����

Z ��������� �� �� ������������� ��� ��� ���� �� ������������ �� �� ������*������ ��� ����������� ��

Z ������������� �� �� ��� ��� �� ������*������ ��� ���� ������� �������� � �� ����������������!�������

)�*�� �� ��� ��������� �� �������� %�� ���� ���������� ��� ��� ���� ��������%��� ��������������� �� ����� �� ����� � ���� ���� ������ ������ ���� �� ����� �� �� �������� ����������)� ����������� ���� ������� ���� %�� ���� ����� &���� �a���� �� ����� ������� ������4���������� ���� ��%��� ������4����� �����!����� ��� ���� ����� ����� �� ���� �� ���� �����������

(��� �� �������� ������� ���� ����� ������� �� ������ ������%�� �� ���������� �� �������� ������������� � �� ����������� ���������� ����� ��� ��������� �� ���� �� ������� ����� ����� ���������� ���� ������� ����� ;��� ����� ������� �� ��������� � �� ����� ��� ������ � ���������� ��������%�� ����� ��� �� �� ��� �������� �� ��� ������ ���������� ����� ��� ��������������� �� �� ���������� ����� �� ���� ���� � �� ������ �� ������ �������� ����� ��� ������������������ �� �������� ���� ����� ������� �� ��������� �� ��������� �� ���� �� ������� �� ����������� �� ������� ��&� ���������� %�� ���� ����� ���������� ������� � ����� ��������)�*�� ���� %�� �� �������� ��� ���������� ��� ���������� �� ������ ����� ������ ��� ������� ���� �� �� ������ ��� ��� (� ����� �� ������ �� ���� ������%��� ���� � ������ �� ��� �� ������ ������� ������������ �� ��� �� ���� �� ����� 2��������� �� ������ � ����� ��� ������� /����� ������� %�� ���� ������ �� �������� ����� ��Q�������� ���������� ����� �� ������� �� ������������� ����� � ����������� ����� ������ ���� ����� ��������� �� ����� ����� ����� ������5� ��� ��� ����%�� ��� ������ �� �������� ���� ��� ������� �� ���� ����� 5���� ����%����������������� ���� ��������� �� ������ �� �������� ����������� ����������� ��� �������������������� �� �������

5���� �� ������ ���� ��%������ ���� �� ������ ������ ���� ���� ������ ���������� � ����������������� ��� ����������� ����� ��� ������ �������� ���� �� :�4 ����� 5�� ����������������� ����� ����� ��� �� ����� ������ �� �������� �������%��� ������9����� ���� ����� ��� �������%������ ��� ��� ���������� �� ������ (��� ��� ������4 �� ��������������� ��� ����������� ������ �����Y������ ���� ����� ���� ������� ������� �� �������� �� ������������ ������� ������������ ��� ���� ������� ;��� ������ ������ ������� ��� ��� ��� �� ������������ �������

��

Page 180: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�B ���� ���� ������ � �� �����������

���� �� ��������� ��� � ��������� �� ������ )�*�� ���� ����� ������ %��� ���� ����� ���!������ ������������� ��� ������������ ����� ������ � �� ��� ��� �� ������������ ��������%���������'��� ��� ������������ ����� ���� ���� �� ��� �� ���� ������� �������� %�� �� ���� ����������� ���%���(��� ��� �4���������� ���� ����� ������ %�� ���������� ��� ������������ ����� %�� ���� ���!������ ��� ��������� ���� ������� ��� ���� ������� )� �9��� �� ��� ��� �� ����������������!������� �9�� �� ���������� ������������ %������ �� �� ���� ���� ��� ������������ ������%���$��� �� �������� �� ������������ ������%��� ���� �������� O����% �� ������ �� ��OB% ����������� ��� �� �������� �� ���� ���� 2����� %�� ���� �� �7��� ���������� ���� ���� ����!������ �� ������������ �������� ���� �������� P�I% � �� ���� ���� �� ������ �� �� ���������2��������� ��� ����� � ���� ������ �� ���� ������� 7��� ����� �*� �� ���*���� ��� ����������������� �����������

(��� �� ��������� ������ �� ��� ������4 �� ��� ��� �� ���� ����� ������� ��� ��� �����������%�� �� ������*������ ��� ���� ������� ��� ����� ���� ����� ��*�� ��4 ������� �� ����������� ������������� ��� ����� ������������ ����� 5�� ������������ ����� ��� ��� � ����� ������ ���������� �� ������������ ��� ���� ������� �� ������ �� �� ���������� � ���������� �� �� ������� ���������� ��� ���������� �� ���������� �� ������Q��� ,�� ������� ��� �� �������� ��� ������������ ����� ��� ��� ���������� �� �4���������� ��� ��� ���� ������� ��������,�� ��������� ��� �4�������������� ���*����� �� ���� ����� �� � ��4 ��� ������� �� �� ��������������� �������� ��� �� ����������� ��� ���� ������� ����� ���������� ��� ������� ��� ����=������������� �� �� ������� 0����������� ���!��������1 )�*�� ���� ����� ����� ������ %�� ����������� ���� ����������� �����*%�� � ��� ������ ������ �� ������������ ��� ����������� ��������4 ������ %�� ������������� � ��� �7�� ������ ;��� ����� ������� ��� ��������� ������� ����� ��� ��� �� ������*������ ��� ���� ������� ���� ���������� �� ������ �� ���� ������������ ������������� ���%���

$���� ����� ������ ���������� ��� ������4 ������ ���� ���������� ����� ������������ ������� �������� �� %�� �������

(��� �� ����� �� ��� ������4 ��� �� ������������ ��� ������ ���� ���� ������ ����� ����!������ ��� ��� ����� ���� ����������� �� ��&�� ��� ������������ ����� ,� ��� ����� �� �������� ����� �� ������ �������� �� ������������ ����� �� �*� ����������� ������ ��� �������������� ������������ ��� ���� �������

)� �� %�� �������� �� ��� ��� �� ������*������ ��� ���� ������� %�� ���� ����� ������������� ������� %�� ��������� ������� ���������� 7��� ����������� �� ����� �F��� ��� ��������� ��������*������ [ ����� ���4������ ��� ������������ �� ���� ������� ��� ������� Cp �� Cip 0�����������%�� �� ��������Y�������%��1 ���� ���������� �������� ��4 ������ 5���� �� ������ ������%������ �� ������ ������!�������%�� �������� 7��� ��������� �� ������� �� ������ �� �������� ������� ���3���� ��� �4�����

)�*�� ��� ������������ �� ����� ������ � �� ������*������ ���� ���������� ,� ������������� ����������� �� ��������������� ��� ����������� �� ���� �����Y����� �� ��������� ��� ���!��������� �������� � �� ������ ���������� )� �9��� ���� ����������� �� ������������ �� �� ���!������ ������������ ���%���� �� �������� �� ���� �� ����� ������� C���������� ����� ������*��!���� �� ������ � ��� ������������ ���� ������ ���� ���������� �� �� ����������%�� ������4�����,� ������ ���%���� ��� ������������ ��� ���� ������� �� ��� ������������ ����� ���� ����������� �������� �� �������� ������4����� ��� ������ ����������� �� ���4������� ���� ��� �������������������� ��� ������4����� ��� ���������� ��� ��� ����� ��������� �� ��� ������ ��

Page 181: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�++�!� �

#����� � �� �� ���� �� ������

(��� ����� ����4�� ���� ������������ %���%��� ������� ���������� �� ���������� ��� ������4���� ��� �������� �������� �� �������� 5�� ������� ���� ���� ��������� ��������� ���� ��������� �� ��������� �����

"'� �������� �� �����������

,� ��� ��%�� �� ����������� �������%�� � ���4 ������4 �� ������ ��� ���������������������� T.��HIV ,���������� �� ������������ ����� ∗� �� ���4 ������4 x �� y ��� ��*��� ������ �%������� ���������� �������������� ���� �� ��� �� ������4 �������� �� �������� �

∀t� x(t) ∗ y(t) =∫ +∞

−∞x(k)y(k − t)dk 0�OO1

∀n� x[n] ∗ y[n] =+∞∑

k=−∞x[k]y[k − n] 0�O1

"'� �������� �����������������

,������ ��� ������������ ���� ������ ���� ���9������ � ������ �� ������������� ��� ������������� ������ ���� �� �7�� ������ ������ �������������� ,� �������� ����������������� ��������������� ��� ����������� )��� ���� 7��� ���������� ���� ���4 ���� ����� %�� �� ������ ���� ������� *��� �� ��*��� ;��� �� ���������� ��� %�� �� ��� *��� �� �������� ����������������� �������� ��*��� ����� ����� �� ����������� ���� ������ ���� ���!�7�� ������� ���W �

∀τ � Γ(τ) =∫ +∞

−∞x(t)x(t+ τ)dt 0�OI1

���� τ �� ����� �� �������� �� Γ �� �������� �����������������

5���� �������� ����������������� ��� �� ������� �����%��� � ��� ������4 �������� �� ��������*��� ���� �� ��������� �� ������������ (��� �� ���� ���%������ 0�OI1 ������� �

∀τ ∈ [0,Ws − k],Γ(τ) =1Ws

k∑i=0

x[i]x[i+ τ ] 0�OP1

�O

Page 182: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

� %����� %� � ������ �� ��������� �� ����

���� Ws �� ������ ����� ���� ��������� �� ������ x �� k �� ��������� ������ �� ����� %���� ����������� ��� ��� �� ���� ��������� 7��� ���������� � �� ����� ������������� �� ���������� ��������� Ws − k

)�*�� �� �������� ����������������� ����� ��� ���������� ��������� �

Z /� ������ ����� �������� ����� �∀τ � Γ(τ) = Γ(−τ)

Z 5���� �� �������� ����������������� ������� �� ���������� ����� �� ������ �� ��� ��������������� �� ���!�7��� �� ��� ������� %������ ����� ��� ������ ��4����� ����%�� �� ��������� ��� 0τ = 01 �

∀τ � Γ(0) ≥ |Γ(τ)|+��� �� ��� �� ������4 �������%��� ������ �� ��*��� ��� ������� �� �� �������� ������ ��4������� �� ��������� 0Γ(0) = Γ(τ)� ∀τ �= 01 (��� �� ��� ������� �� �������� �������������!���� ��� �������%�� 5� ��4���� ��� ��������� ������ �� ������� ����%���� ��� ��*�� �������������� �� �� ��������� �� ������ �

E0 = Γ(0) =∫ +∞

−∞x2(t)dt

Z (��� �� ��� �� ������4 ��� ��*���� %�� �4���� �� ��� �� ������4 �������%���� �� ������������������������� �������� ���� > � ����*�� �

limτ→∞ |Γ(τ)| = 0

"'! ?���������� �� �������

,� ����������� �� C������ ���� ��� ��� �� ��� ��������� ����3��� 8-C������ 0�IP!�P�>1 )��� ��*��� ��� ����� ������������ ��� �����%��� %�� ������ ���������� � ��� ����0�� ������1� ��� ����� �� ������Q��� �� ���%������� ������������ �� �� � ���� ����������� )��������� ���� �� ������ �� �� �������������� ���������� 0��������� �� �������� �� �����1 � ���������������� ��������� 0��������� �� �������� �� �� ���%�����1(��� �� ��� ���� ������ �������� �� ����������� �� C������ ��� ��*��� ��� �

FT (x) = X(f) =∫ +∞

−∞x(t)exp2πftdt 0�OH1

���� X(f) �� ������� �� ������ x(t),� ����������� �� C������ ������� ��� ���������� ��������� �

Z /� ������ ����� ����������� �������� $����� ���� ���4 ������4 x �� y� �� ���� ���4 �����α �� β �

FT (αx+ βy) = αX(f) + βY (f)

���� X(f) �� Y (f) ���4 ������������ �� C������Z ,� ����������� �� C������ ���� ������� �� ���4 ������4 ��� �� ����������� ��� ��������!���� �� C������ ��� ������4 $����� ���� ���4 ������4 x �� y ���� ����� �

FT (xy) = X(f) ∗ Y (f)

��FT (x ∗ y) = X(f)Y (f)

Page 183: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

%�"� 1����$����� �� ������ �I

,� ����������� �� C������ ����� ��� ������� %�� ������ �� ������ �� �� �������������� ���!%��������� ���� ������ � �� �������������� ���������� 5���� ��������� ��� ��*��� ��� �

x(t) =∫ +∞

−∞X(f)exp2πftdf 0�>1

���� x(t) �� ������ �� X(f) ��� �������(� �7�� %�� ���� �� �������� ������������������ ���� 7��� �4��������� ��� ��� ������4 ���������� ����������� �� C������ ����� ��� ����� �������� ��*��� ��� �

X(k) =1Ws

Ws−1∑n=0

x(n)e−j 2πWs

nk 0��1

���� x �� ������ ���������� Ws �� ��������� �� ������� X(k),� ������ ������� ����� �������� �� ����������� �������� �� C������ ��*��� ��� ���������� ���!���������� � ��� ���%������ ���������� Fk 5���� �������������� ��� ���� � �� ���%����� ���� ��!����������� Fs� ���� ����� � �� ������ �� �� ���7��� �� ������� Ws� ���� ��%����� �� ������ ����9����� ,�� ���%������ fk ��� ���� ���� ������ �

∀k ∈ [0,Ws]� fk = kFs

Ws0�A1

(� �� �7�� �������� ��� ���������� �� ��� � ���� ���� ����������� ����������� � ������ ���������4��� X(k)� ������ ��� �� ����������� �� C������ �

Ak = |X(k)| =√

(Re(X(k)))2 + (Im(X(k)))2 0��1

θk = arg(X(k)) = arctanIm(X(k))Re(X(k))

0�B1

;��� ����������� �� �������� � ��� �� ����������� �� C������ ��� �� ������������ �� �� �����!��������� ������ �� C������ )� �9��� ��������� �� �� �� ����������� �� C������ ������ �������� �������� �� ����������� �� C������ ���� ��� ������4��� ������� �� (Wslog2(Ws))� Ws� �������� ����� ���� ��������� �� ������� ���� 7��� ��� ��������� �� A (� ���� ������ �������!����� ��� ��� ������� �� ���� ��������� ���� �� ����������� T���H>V (� ����� ��� ����������!���� �� ��� ������� �� ���� ���������� �������� ��� �� CC2X 0C����� C������ 2������� �� � �X���1 TC8HPV

Page 184: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�P %����� %� � ������ �� ��������� �� ����

Page 185: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�++�!� �

0� ��� � � �� ����� ��� ��������� � ������ � ��� ��� ������

(��� ����� ����4�� ���� ������������ %���%��� ������ ��������%��� ���������� �������� ������� �������� �� ��������� �� ������4����� ����� �� �����

9'� =������� 6���:��1 ���:���

,� ���������� �� R������@!,������ 0R,1 ����� ���4 ������������� �� ����������� x �� y �������� ������ ���� �� ��� ���������� �������� �

KL(x, y) =n∑

j=1

xjlog

(xj

yj

)0�O1

5���� KL(x, y) �= KL(y, x)� �� �� ������ ��� ���������� ����� �������� 5���� ����%������ ��� �������� �� ��*��� �� �������� �� R������@!,������ 0(R,1 0�HO�1 ����� �

DKL(x, y) = DKL(y, x) = KL(x, y) +KL(y, x) 0�1

(� ����� ����%�� ��� ���4 ������������� ���� ��� ������������ �� ���� ������� %�� �

Δ =(σ2

1 − σ22)

2 + (μ1 − μ2)2(σ21 + σ2

2)4σ2

1σ22

0�I1

)�*�� ����� �������� ��� ���������� ����� ����� �� ��������� ������ ���� �� ��� ��� ��������������� ���� ��� ������� ����� �� ������� T��>AV

9'� ��:�:������ ��������������� �� �5���)�� �� 9����

,� ������ �� ����������� �������������� ��� ��� ��� ������� ��� ���� ����������� �� �� � �������� ������������ � ���� ����������� � �� ����������� ���� ��������� A ���� �� ����� �� ���������������� �4�������� ��������� �W ���� �� ������� %�� ��� ��� �W �� ��������� B ��� ������� 0�� ���

�H

Page 186: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�I> %����� /� 6�� � ���������� ���� ���� #�� �� ��������� �� �����

���������� %�� B �� ���� ��� ���������� �� ���� ������� �� ����� �� ���4��������1 �� ������������������������ ���� ��� �������������� � �!������ ��� ������������

)� �9��� �� N ��� �� ������ �� ����������� ����� �4�������� ���������� NE �� ������ �������������� �� ����������� E �� ����� �� ����� ����� �� ������������ E ������� 7��� �����������A� B� �� A ∩B� ����� �

Z �� ���%����� ������������ �� $ ��� NAN

Z �� ���%����� ������������ �� - ��� NBN

Z �� ���%����� ������������ �� A ∩B ��� NA∩BN

+� ���� �� ����������� %����4 ����������� �� ���4�������� ����� ������� B� NB ��� �� �������� ����������� �� ��� �4��������� �� �� ���%����� ������������ �� A ��� �� ���� �� �������������� �� ������� 0�� NB �= 01 �

NA∩B

NB=

NA∩BNNBN

0�P1

,� ����������� �� A �������������� �� B 0����������� �� A ��� ��� B1 ������������ ������� ������ �� �� ������� %���� N ���� ���� +∞ D� �������� ��� ���� ��� ��*������� ���������

8)()" ��>������

+��� �� ������ �� ����������� {Ω,A, P}� �� ����������� �������������� P (A|B) ���� �����!���� A �������������� � ����������� B ��� %�� P (B) > 0 ��� ��*��� ��� �

P (A|B) =P (A ∩B)P (B)

0�H1

+� P (B) = 0 ����� ��*������ ��� ����� ����� �� A ⊆ B ����� P (A|B) = P (A)P (B) �� �� � P (B|B) =

1

(� �7��� �� ���� �� ����� ���� �� ��� ���� ������ ���������� Ω *�� 0�� ��� ���� Card(Ω) >01 �� ����� ������ �� ����������� �������� ��� Ω �� �������� �� �7�� ��������� ��� ��������������������������� ����� �� ������ ��� ������� +� Card(B) > 0� �� ���� ������ ����������� �

P (A) =Card(A)Card(Ω)

0�I>1

P (B) =Card(B)Card(Ω)

0�I�1

P (A ∩B) =Card(A ∩B)Card(Ω)

0�IA1

P (A|B) =Card(A ∩B)Card(B)

0�I�1

,� ��*������ ��!������ ��� ����� ���� �� P (B) = 0 � ����� �� ��� ���������� �� ������!������ �� %������� �� ���4�������� �H 5��� ���������� ���� � ���� � ����������� 0� �!�������� ���1 %�� ���� ���� ������ ��� ������������ ��������������� � �� ��������� ���������� �����&����� ������� ���� ���4��������� ���� 0 ≤ P (A∩B) ≤ P (B) = 0 �� �� �� ���� ��� ������� %���%�� �� ���� ��� �� ����������� �� A ���� ��� ��� �W �� � ����� B ����%�� ���� �������� &�����

Page 187: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

/��� ������ ��� ��������� �� �� �����!�� �� /�#�� �I�

5���� �������������� ��� ��������� ���� ����� ������� ���� ��� ������������ �� �� %���� �����!���� �� ����������� ����� ���� 7��� �� ����� ���������� � ��� ������������ ��������������� �������������� ��&������������ ��������� ��� ��� ������� ��� ������ �� ������������� ������������T ��PP� 2��IAV

/� ��� �������� �� �������� �� %������� �� ���4�������� �H �� �� ������� �������� �

P (A ∩B) = P (A|B).P (B) 0�IB1

5�������� ����� �������� �� ���������� �� ���� �� ��*������ ���� � ���%������ �H �� �� ���������� ���� ��� ��*������ �� P (A|B) ���� �� ��� �W P (B) = 0

,� ����������� �� A ��� ��� B 0�� �������������� �� B1 ��� �� ����������� %�� ���� ������������ ���� A �� �������� ���������� ����� ������ ��4 ��� ��������� B �� ���� �� ���������� Ω )������������ �� �������� ���������� PB %�� � ���� ��������� A ∈ A ������� Pb(A) = P (A|B)��� ��������� ��� ������ �� ����������� ��� (Ω,A)� ���� ��� ������� ��� ������ ���� B0∀A ∈ A, A∩B = ∅1 D� ���� ���� ��*��� ����������� �������������� ����� �������� ���������X � ������ ���� �� ������ E 0���� ������� -A�1

8)()( B+����� �� 8����

,� � ������ �� -���� ��� ��� �����%����� ��������� �� �� ��� �� ����������� ��� �����!������� %�� ��� �� ��� �4����� �����������4 �� �� � ����� ��� ������������

+� A �� B ���� ���4 ����������� ����� ��� �� ����������� ��� ������������ ����%�� %�� ������������� P (AB) ���������� � �� ���� A �� B ��� ���������� ������ ��� �

P (A ∩B) = P (AB) = P (A) × P (B|A) = P (B) × P (A|B) 0�IO1

,� � ������ �� -���� ������� ����������� �� ���%������ 0�IO1 ����������� ���W �

P (A|B) =P (B|A) × P (A)

P (B)0�I1

���� P (A|B) �� ����������� � ��� � � �� A ��� ��� B� P (B|A) �� ����������� � � � � �� A��� ��� B� P (A) �� P (B) ��� ������������ � � � � ��� ���������� A �� B �������������� ,�������������� P (A) �� P (B) ���� ����� �������� � �������� �� �������� �� P (A|B) �� ������� � ����������� �� A ���� �� B �����

)�*�� �� � ������ ���� �� ����������� ���� ����� �� ��� �� ��������� ����������

8)()- '������� �����������

,� ����������� �������������� P (A|B) ���� 7��� ��� ����� �� ����������� �� A ����%�� B������� ����������� ������� � �� ����� ����� ����������� �F����� %�� B ��� ����*� 0P (B) = 11D� �������� ���� �� ������ �� ����������� P ��� �� ������ PB ��� (Ω,A) 5���� ������ ���� �������� ���� ����� �� ������ �� ����������� P ��� ��� ������������� B ���� ��� ������ �������������

Page 188: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�IA %����� /� 6�� � ���������� ���� ���� #�� �� ��������� �� �����

9'! ������ �� �������:�����

N���� ����� �� �� �������� ������� (x1, . . . , xn) �� ��� ��� �� ����������� Pθ� �� �������!������ %�����*� �� ����������� %�� ��� ������������ ����������� �9���������� ���� �� ��������0� ����%��1 �� �� ��� Pθ

5���������� C = {c1, . . . , ck} �� �������� *��� {Pθ} ��� ������� �� ���� �� ����������� ���C� �� n �� ������ ������� ��������� �� ���� � k D� ������� ������������� �������� � �� �������{Pθ}� �� �������� %�� � �� n!����� (x1, . . . , xn) ���������� �� C �� � ��� ������ θ �� ���������������� �� %������� �

L(x1, . . . , xn, θ) =n∏

i=1

Pθ(xi) 0�II1

,��������������� ��� �� �������� 5���������� �� �������� �� ��������� ����������(X1, . . . ,Xn) �� �� ��� Pθ �� ��*������� ��� ��������� ���������� X1, . . . ,Xn ���� �������!������ �� �� �7�� ��� Pθ (��� �� ����������� %�� ���������� (X1, . . . ,Xn) ��� ���� ��������������� �������� ������� (x1, . . . , xn) ��� �� ������� ��� ������������ ���� %�� Xi ������ �� ������xi� � ������ �

P[(X1, . . . ,Xn) = (x1, . . . , xn)] = L(x1, . . . , xn, θ) 0�IP1

(��� �� ��� ���� ������ ������� ��� R� �� ��� Pθ � ��� ������� ��� R� �� �� ����������� ����%�� ���� �������� ������ ��� ������ ������������ ��� ���&���� ����� /� ���� ����� ��������� ������������� Pθ ��� �� ������� ���� �� ��*������ �� �� �������������

����������� ������� {Pθ} ��� ������� �� ���� �� ����������� ��������� ��� R �� n �� ������;����� fθ �� ������� �� ����������� �� �� ��� Pθ D� ������� ������������� �������� � �� �������{Pθ}� �� �������� %�� � �� n!����� (x1, . . . , xn) ���������� �� C �� � ��� ������ θ �� ���������������� �� %������� �

L(x1, . . . , xn, θ) =n∏

i=1

fθ(xi) 0�IH1

,��������������� ��� �� �������� 5���������� �� �������� �� ��������� ����������(X1, . . . ,Xn) �� �� ��� �������� Pθ +��� ε �� ���� ����������� ������� 0�����1 ,� �����������%�� ���� �������� � ����%�� (X1, . . . ,Xn) ��� ��� ����������� ���� � - ε � �� �� ���� ��������������� (x1, . . . , xn) ���� �������� �

P[X1 ∈ [x1 − ε

2 , x1 + ε2 �� . . . �� Xn ∈ [xn − ε

2 , xn + ε2

]=∏n

i=1

∫ xi+ε2

xi− ε2fΘ(x)dx

� ∏ni=1 fΘ(xi)dx

= εL(x1, . . . , xn,Θ)0�P>1

)������ �� ��������� ��� �� ��� ��� �� ��4���� �� �������������� ����� ������������� ������ �� �� ��������� ����� %�� ���� ��4����� �� �������������� � ������ �� ���!�������� ���������� ��� ������� ����� ����������� ���� �� �������� �� �� ��� Pθ

+��������� ����������� %�� ���� ����� ������ (x1, . . . , xn)� �� �������� %�� � θ �������L(x1, . . . , xn, θ) ������� �� ��4���� ���%�� ,� ������ θ ���� ��%����� �� ��4���� ���������� ������ �� (x1, . . . , xn) �

θ = τ(x1, . . . , xn) = arg maxL(x1, . . . , xn, θ) 0�P�1

Page 189: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

/�&� ������ �� ������ �� ������� ���� ���� � ��� ����� ��������� 7���� ��I�

D� ������� ���� �� �������� ������������ ��� ��4���� �� �������������

+� (X1, . . . ,Xn) ��� �� �� �������� 0� ����%��1 �� �� ��� Pθ� �� �������� ��������� �

T = τ(X1, . . . ,Xn) 0�PA1

��� ������������ �� ��4���� �� ������������� �� θ

��� �� ������� ��� ���� �� ����������� ��������� ������������ �� ��4���� �� ���������������� ��*�� �� ��3�� ���%��� �� �� ������� �4����������� +�� �� ���� � ����%��� �� �������� ���������4 ��������� +��� ��� ���� ���� ����*��� ��� �� �������4 ������� ��������� ���������� %���� ��� ���������%������ ���� ����� �� ���������� D� �������� �� ���� %�� ���������� ��� �������� ,� ��� ��� �� ��4���� �� ������������� ��� ���� � ����%�������� ��������� ��� ��� ���� ������������ 5���� �� %�� ���� ������ ��������� ���� �� ���������������

8)-)" 9������ �� ������� �� �������:����

(��� �� ������� ��� ��� �������7� �����%��� �� ��� Pθ� �� ���� ����� �� �������������� ������ �4�������� ��������� ��� ������� � θ ��� �������� �� ��4���� �� �� �������������� ������ ���������� ��� ������� ���� ���%������ �� ������� �� �� ������������� �������� D� �����*������� �� ������������� ��� �� ������� �� ������������ �� �� ��������� %�� ���� 7��� ����=������%�� � ������� /� ��� ���������� �� ������� ��� ������ �� ����� ����%��� �� ����������� ��������� �� ������������� ��� ��� ������� �� ,� �������� ������� �� ����� ����������� ����� �%�������� �� ��4������ log(L(x1, . . . , xn, θ)) �� L(x1, . . . , xn, θ) <�� ���� ���������� ��������� �� θ ���� ��%����� �� ������� ��������� �� ���� ��������� � ������ �� �� ������� ������� %���� ����� ��� ���� �� ��4���� ;��� �������� ��!������� �� ��� ����� ������������ ;������

;��� ���������� �� ����4� 0���� ����4� -B1 �� ������������� �� �������� �� ��4������ ������������� ���� �� ��� ����� ��� ;������

+� (X1, . . . ,Xn) ��� �� �� �������� �� �� ��� ������� �� ���������� μ �� σ� ��� ����������� ����4���� �� ������������� �� μ �� σ ���� �������������� �� ������� �� �� �������� ������%���� ���� �������� 0�� $���4� -B ���� ����� �������������1

9'$ �����&� �� ������� �� �������:����� ���� �� ��� �����������:����� �������

��� �� ��������� ������������������ �� �������� ��� �� �7��� ���� ��� ������� ��������!������ ���� ���� ������%��� ��� ��� ���� ��������� ���4 ���������� ���� �������� ��� ��n!����� �� ����� (x1, . . . , xn) �� ������������� ���� �

L(x1, . . . , xn, μ, σ2) =n∏

i=1

1√2πσ2

e−(xi−μ)2

2σ2 =(

1√2πσ2

)n

e−1

2σ2

P(xi−μ)2 0�P�1

+�� ������� �� ��� �

log(L(x1, . . . , xn, μ, σ2)) = −n log(σ) − n

2log(2π) − 1

2σ2

n∑i=0

(xi − μ)2 0�PB1

Page 190: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�IB %����� /� 6�� � ���������� ���� ���� #�� �� ��������� �� �����

,�� �������� ���������� ��� ������� ��4 ���������� μ �� σ ���� �

∂ log(L(x1, . . . , xn, μ, σ2))

∂μ= − 1

σ2

n∑i=0

(xi − μ) 0�PO1

��∂ log(L(x1, . . . , xn, μ, σ

2))∂(σ2)

= −nσ

+1σ3

n∑i=0

(xi − μ)2 0�P1

)��� ���������� ���� �

μ =∑xi

n�� σ2 =

∑(xi − μ)2

n0�PI1

,�� �������� ���������� �������� ������ �

∂2 log(L(x1, . . . , xn, μ, σ2))

∂μ2= − n

σ20�PP1

log (L(x1, . . . , xn, μ, σ2))∂μ∂(σ2) = − 2

σ3

∑(xi − μ) 0�PH1

∂2 log(L(x1, . . . , xn, μ, σ2))

∂(σ2)2= − n

σ2− 3σ4

∑(xi − μ)2 0�H>1

,� ������� �������� 0������� ��� �������� ���������� ��������1 �� ����� (μ, σ2) ��� ���� �(− n

cσ20

0 − nbσ2

)

)��� ��� ��*��� ��������� �� ����� (μ, σ2) ��� ���� �� ��4����

Page 191: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�++�!� �

,� � �� �� ������ ��� �� ��������������

,� :�4 ����� ��������� ��� �� ������ � )K!� ���� � A� �� ��� ��� %�� ���� ������������ ����� ��� �� ������ �� ��������� �� ������� �� ������ � ������ ��� ���F������ ���� ����5�� ���F������ ���� ���� ���� ��������� �� �4�������� ��� �4������� ����� � �� ���� �� ������$5!� (��� �� �������� � �������� ���� ���������� �� %�� ���� ��� ���F������ ���� ���� �� ����4�������

,� ��� ��� ��������� ��!������� ��� �� ����� �� ������4 ����� �� ���� �� ����� .������ ;����� 0;,1 �� %�� �����%�� %������ ��� ������� ��4 ������ �����4 �� ��������� ��������������0������1 T+;V (� ����� ���� ����� � ��� ���� ������� ���� %���������� ����� ��� ��� ���� ��!������ �� ����*�������

*'� *��F������ ����5���� �� ��&������

,� ����� �� ������Y�������� 0�����1 � )K!� ���� � A T-+HBV �������� �� �� �������!������ ���� ������ ������%�� ��� ��������� �� ����!������ � ������ ����� ���%�� �� *���������������� �� ������ ��� ������������ �� *���� ���������� �� ������ ��� �� &�� �� *����� �� ��� ��������� ����� ���� �� �7�� ������� �� ����� �� %�� �� ���������� ,� ������ �� � �%������� �������� �� ��� �� ��������� �������������� �� �� ����� ������ (��� � �%�� ����� �����%������ �������� ����� ��� �����*�� �� ��4���� ����� �� ������������)� � )K� �� ������ �� *����� ��� �� �A ,��4� �� ����� ��� ������ �� ����� ������� ��������$ ����������� �� � �%�� ������ �� ������ ��� �����*� ��� �������������� &��%��� �� ������ ��4�!���� ,� ���� ���������� ��� �������� ���� �� ����� �� ���� �� �� ���� (������ ���� � � ����������� ���� � �%�� ���� ���� � �%�� ����� �� ��3�� � ������� ��������� �� ��������� ���������� ,� ������ �� ������ �� *����� ��� ��������� �������� �*� �� ���������� �� ��������� ������ �������� 5���� ������� ������ �� �������� �� ������ �� ���%���� ���������� �� ��!�������� �� ����� �� ���%���� %�� ���� ���� �������� ���� � �%�� ����� (��� � �%�� ���������� �� ���%���� ��� ��������� ����� ���� �������� ���� 7��� ������ ,� ��������� ���� ����������� ����� ������� ��� ��!%�����*������ �� ��� �� �������� �� �������� ��� ���� 5���� �����!���� ��� ����� ��������� ���� � �%�� ��� ���� �� ������ ���� ��� ��9������� ������ ��������������� ��� ��������� �� ��� ��9������� ,� �������� �� ���� ���� 7��� ��������� ����� ��

�IO

Page 192: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�I %����� �� -�������� �� � ���� ���� � ������ ���������

���� ���9�������� �� ���� �*� �� ��������� �� �������� �� ��!���������� �������������� ��:�4 �� ����

,� ������� $5!� T2((+HB� 8��V ��� ���� ��� �� ����������� �� C������ �� ������ �� ����������� �� ���� �� ������ �� ��!%�����*��� ��� ���F������ �� ���%����� ,������� 5� ���������� $5!� ��� ������� �� ����� ��� ��� ���7���� %�� �� � ����� ��� 5�� ����� ������������ ���� O�A �� ��������� ����� �� ���� �� � ����� ����� ������ �� �4���� ��� ���������� ���>>% ,� *���� ��I �������� �� � ����� �����$���� �� ������������ �� �4���� ���� O�A ���F������ %�� �������� �� ���� �� �� �����������

512

échantillons

��� ��I Z /����������� �� �������� �� � ����� ����� ���� �� ������ ����� $5!�

7��� ������� � AO � ������ ����� ��� ��%�� ������� +���������� ��� �������� ���� �� ��������������� 02($5� 2��� (����� $������� 5����������1 ,� ����� �� ������ �������� ��� ���!����� ��� ���� �4���� ��� ��������� �����*������ ���� �� ������� ������ �� ����� �� ������ ���������� �� ���4 ���� ������ ��� ���!�� �� (��� �� ���� �� ������ �� ���F������ ����� �� �7������ �� ���������� �� ���%����� ���� ������� ��� ���4 �� �� ���������� ���������� ������� <�����������0:��1 ��� ����� ���� �� :�4 �� ���� ���� �������� %�� ����� ��������� � ��� �9������,�� ���F������ ���� ���� ���� �� ������ � ������� :������� ���� ��� �������� �� �� �4������,� �������������� ��� ���%�������� ������� �� �� �������� �������*%��,�� ��0������ ����������� �� ���� ��� (������� ���� � � ,� &�� ���4������� ���� ���� ���!������� ��������� ��������� ���� ������ �������� ���� ��� ��������� *��� ��� ��� �� ���� ������� !��%�� ������� ��������� ��������� 5���� ������� ��������� ��� �� ������ �������� �� ������ �����%���� ��*�������� ���� � �%�� ���%������ �� ������ &��%���W �� ����� ���� 7��� ��������,� ������ �� ���%���� ������ �� ��������� �� ��!%�����*������ %�� ������� �� ��������� ��� �%�� ���F����� �� ������������ �� �������� 5���� �������� ��������� ��� ������ �����*�������� �� ������ ��������� ,�� �4������� ���� ��������� �������� ���� ��� ������������� ������ ������ �W �� ���������� %����� ���������� ���� 7��� �������������� �4�������$ ����������� ���� ����� ���� �� ������� ��0�����0����� �� �� ���%����� �� ���� �����1 ����������� ���� �� ����� ������� ,�� ������ ���� �������� �� ��3�� ��9���������� �� �� ���������&���� �� ��9������ ���� ����0����� ��������� 6���� �� ������ ����� �������� �� �����������= ������� ��� �4������� ������� 7��� ������%��� ���� ��������� ������ �� ���%������ ,���4������� ������� ����� 7��� ��������� �� ������� �� ���4 � %����� ���� �� ���������� �����!���� ���� ���� �� ���������� (�� &��4 �� ��4 ����� ���� ��������� ���� ��� ����� �� ���� ��$5!� ,� ������� ���� �� �� ����� �������� �� ������ �������� ���� ���4������ ����� ������ ��� �� ������4 ���������� ��� ����� �������� �� �� ����� ������� �������� �� �7�� ��0�����

*'� =�����&���� �� ����(����5��

,�������� �� ������� ���� �� ���������� �� %����� ������� ������ �

Page 193: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

���� -�������� �� �� ������� �II

� 5��������� ��� �������� ���� ����� �� �4��������

A 5����� �� ��������� �� ��������

� ���� � &��� �� �� ������� �� ��������� �� ������� ��

B (�������� ��� ��������� ��������

,)()" ,������� ��� ������ ���+����� �� ��������

,� �������� ����� �������� �� �� ���������� ��� �������� ���� ���� �� �4������� (��������������� ��� ������� � )K!� �� $5!�� ���� ������� ������ �� �������������� ��� ������������ ���� ���� ��� �4������� �� �� ������� �������� �

Z ������ �� ������ �� �- 0��������1 �� ������� ���� ���� � ��������� 0���������� ��� −2 �������� �� ������� ���� ����1�

Z (������ �� �������� ��� −5.8 �- ��

Z ������ �������� �� ���� ���� � �� �������� �� �� �������� ����������

,� ������� �� �� *���� ��P ����� �� �������������� ����� ��� ���4 ������

C������ ���� ���� )4������>���A >��B�O ��I�P AH��>��� ��A��� B�B��O�� O�I��P��H A>�A��AA IA��AB�AO PA�AI�AP HAH��>��� �>�A�����B ���O����I �A�P��H�B> ��B��BA �BB��BB�BO �OB�BI�BP �BH�O>�O� �IOA�O��OB �POO�O�OI �HOP A>

��� ��P Z 2���� �� �������������� ����� ��� �������� ���� ���� �� ��� �4�������

Page 194: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�IP %����� �� -�������� �� � ���� ���� � ������ ���������

,)()( ,���� �� ������*�� �� ������

,� ���4���� � ��� �� ��������� �� �������� � �������� ��������� ������ ����� ���7��� ��������� 5���� ������� ��� ������� ��"�� � �� ������� �������� �

S(K) =E−1∑i=0

(2−expK,i

)20�H�1

���� expK,i �� i!���� �4������ ���� �� ���7��� ��������� �������� K �� E �� ������ ���4��!����� �������� ���� �� ������ �� ��������� ������ )� �������� ������� E ���������� � �� �������� �� ���7��� ��������� ��� ������� �����%��� ����� �������� �� ���� ���� ������� ������!��� ��� �������� ���� ���� �� � �%�� ���7��� ��������� �� �4������� �� ��������� �� ������� ���������������� �� �� *���� ��P

,)()- /��� � C�� �� �� ������ �� ������*�� �� ������

,� ��������� � ��� �������� � ������ � &��� �� ������� �� ��������� �� ������� .��������%�� �� ������� �� ��������� �� ������� �� ������ ��� �������� � ������ ��� �������� ������� ������������ �� M ���7���� ��������� ������������� �������� �� ���7��� K ����� ����� �� ���������� ���������� ,�� �4�������������� ��� ������ %�� �� ���������� �� ������� �� ��� ���������������� �� ������� ����\� %�� ��� ������� �����!�7��� ������� �� ������� �� ����������������������� ���� �� ��������� ��� �������� ,� ������� �� ��������� �� �������� SA(K) ��� ��������� �� ������� �������� �

SA(K) =1M

M−1∑i=0

log(S(K − i)) 0�HA1

,)(); ������� ��� ����:��� �������

,� �������� � ��� �� ��������� �� �������� � ������ �� ����� ��� ����� �� �������� ������ ��������� ��� ���������� ��� �������� /� �4���� ��� ��� ���� �� �������� ��������%��� %������������ ��������� �� �������� �� �������� 2��������� ����� ��&����� ����� �� ������ ������� �� ��������� ����� ���� ���� ���� ���������� � ��� ����� �� �������� ����� ��� ����������������� ����� (���� ��� ���7��� ��������� ����� ��� ���%����� ������� �� �� ��������� �������� ������������ �

log(S(K))SA(K)

≤ Tcompressed 0�H�1

���� Tcompressed �� ����� ��������� ���� �� ������� ��������� ������ �� ������� �4������������� �������� �� ����� ����� ������

<�� �������� ����������� �������� ��������� �� ��� ����������� ����� ��������� ������ ��������� ���� ��� ���������� �� ������ �� ����� ;��� �������� �� ������� ������ �� �������� ����� �� ���� �� ��� ��� ��� �� ������ �������� �� ��������� �� ������� �������� �� ������� ������ &��%��� �� ���7��� ��������� �������� ;��������� �� ����� �� �������� ������ ������%������ 0�H�1 ������� �� ���������� ������������� ����� �� ������ ���� ��%����� ���� ��������� ���� ����� ��������

Page 195: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

-��������%��

T$$(+>�V - $����� $ $���� 5 (����� + K ����� K /������� $ 8������ 5 ,���� 5!G,��� $ ;������ � ;�� ���� 5 ;���� E 8 ;��@� E E �������� . +��� �8 . +��� � + +���������� - , 2����� 2 J $� ?��� ��� ( U ��� /��������� ����!A>>A ����� ��������� ������ /� & �* � 012'34# 5 (����67�A>>�

T$$X>�V $ $ $������ $ ; $@����� ��� X X��� �����!����� ������ ����� �������������� ����� ���@�� ����� ��� �������!����� ���������� ����4��� ���������0�� ��� $���������� �B ���IZ�O�� A>>�

T$-,>�V + $������� � -b� ���� ��� + ,����� $�������� ����� ������*������ ���������� �������� ����� �������� /� & �* � 2� ������� $������� (�����@� A>>�

T$8HBV $������ ��� 8��� 2 � ��������� ����!���� �������� �� *�� ������� ������������� �9���� ��� ��� ������������ �P0�1 �H�Z�>�� �HHB

T$��>�V 2X $������� $� 4� ����� ������ ��� �������� $������� X�����+����� �� ���������� ��� +���������� A>>�

T$DHPV . $����!D���� � $ ��? ����������� ������� ��� � � ��������� ������������ ������������ ����� ������� 4222 0 �������� � $������8 ������ ��� ������& �������� �0�1 �AHZB>� �HHP

T$.IV - + $��� ��� , . .������ $ ������� ����������� ������� �� ������!��������!������� ������*������ ?�� ������������ �� ����� ����������� 42220 ���* $���*8 ������8 ������ & �������� $++ !AB0�1 �A>�ZA�A� �HI

T-��PPV � -��������� (�������� � ����� �� ������� ��� ������� ! � ������ $�������AB ��>HZ�A� �HPP

T-55HHV C -��������� + 5������ ��� $ 5�������� $ �����!� ����� ����� Y������� �����!��� ����� �� ���� ����� ���������� ��� ��==� ������*������ /� & �* 4'$��&�99������� �� ����� H�ZH� �HHH

T-KHV -��� ��� ��� C K������� J���� ������������ ��� ������ ������ � ������!��=����� ��� �������!����� ����� ����4��� /� & �* � 7 � 4222 4'4&� ������ ������� H>OZH>H� �HH

T-KKHHV -��� ���� � K������ ��� C K������� $ ���*�� ������� �� � �� � ������������� ��� ������ ������ � ��������=����� 4222 0 ���* � '� ���� ��������� � 3��� 0�������� H0I1 ��>�>Z�>BB� �HHH

T-K.+HHV -��� ���� 5 K������ . .������� K 2=������� ) J������ ��� ( U���&+���� ������������ ��� ����� ������� �4�������� ��� ����� ����4��� ��� ������!��� /� & �* � 34� $+�99� ������ ��B� ����� ABOZAOA� $��������� �HHH

�IH

Page 196: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�P> �����������

T- >AV ) -���� ��� ( ������� J���� � �� ��������� ����� �� ������ ���������� �������� /� & �* � 4'�2�6:� A>>A

T- (5,>AV 8 -�����! ������ � (�������!5�� ������ ��� ; ,���� $ ��� �� ��� �4���������� �����!������ ��������� �� ������ �� ����� ����� �������� /� )<.$+/ � �������2 �4&';�:66:� ������ ///� ����� �BOZ�BP� A>>A

T- 8>AV 5 -������ 8 ����� ��� + 8��� )4�������� �����!������ �������� ���� ��������� /� & �* � �� 4'$��&�6:� A>>A

T-+HBV R -���������� ��� K +���� /��!����!� ����� � $ ������� �������� ��� ��!���� �� �� %������ ������� ����� <� ��� � �� $��� 2������ ��� ������BA0�>1 �IP>ZIHA� �HHB

T-+ HHV K -���������� � (� +����� ��� K ���������� 8���� �����!����� ������������ ���� ������� ��%������ /� & �* � 4'�'��99� ������ A� ����� AAOZAAH��HHH

T5��V &��� 4�� �� ���� ��� �� � ��� '$��$"#1$ ���% &������ 1���� �� ��� �YY???�4���������� � ��������Y���������

T5- -�HHV C 5������� 8 -�����! ������ ( -����� ��� ) ����� C��� ������!������������ �4�������� ��� ����� ����4��� /� & �* � '.�4�99� ����� �A�Z�AH�2�������� �HHH

T5- ,-HHV C 5������� 8 -�����! ������ !G ,� ,���� ��� ( -���� -��@�� � $ ��������� ����� ������� �������� #�� � � :�# /� & �* � 4'�'��99� ����� IHZPB�C�������� �HHH

T55R+>�V , 5 ������� 2!+ 5 ��� 5!R R� � G U ��� E c�� E C���� ��� 6 2���$ �?�!����� �����!����� ������� ��� ����� ������������ �� ����� ��?� ����������� /� & �* � 012'34# 5 (����67� A>>�

T5EIPV (. 5�4 ��� (J E��@��� 0�� ����� ������� ,������ 5 ����� ��� E�����HIP

T5+,U>AV +!5 5 ��� �!, + ��� X ,���� ��� 5 U ��� +���� � ���� ��������� ������� ��� ����� ����� /� & �* � 4'�2�6:� ����� �OZ�P� A>>A

T5+UR>�V +!5 5 ��� �!, + ��� 5!5 U ���� ��� . , R�� ��� J���� ����� � ������������� ��� �� ����� ������������ ������������ ��� ��&��� ����@��� /�& �* � 4'�2�6=� A>>�

T(-$CHHV $ (����4� , -�������� � $������� ��� C ��������� $�������� ������*�������� ?������� �������� ������� <�� =7>� ������ � �� $������� ����� �$�� ��� ��� ? �� $������� 99� ����� �BZ�H� �HHH

T(-$ >>V $ (����4� , -�������� � $������� ��� C ��������� $�������� ����� ��!������� ��� ����������� ��� ����� ����������� /� & �* � 2 �4&';�66� ������>��Z�>�� 2������� C������� A>>>

T(- >�V � (���@ ��� 8 -�����! ����� .����� ������ � �������������� ��� ����� ��!��4��� ����� �� ����!A ������� :�? /� & �* � '.�4�6=� ����� OIZB� A>>�

T(5- >OV $ (��� , 5��������� ��� 8 -�����! ����� (�������� �� ������ ������ ������ ������� ������� ����� �� ���������� ��� �������� �������� /� & �* � '.�4�6@�8��� A>>O

Page 197: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

����������� �P�

T(��>>V (�������� +� ��������� � �� �� ������ �� ����� � �� ������������ ������� ���� 2 ��� �� ��������� /������� )������� A>>>

T(E+>>V . (���� E���� ��� ( +���@ ������ ������*������ <�� 5���� A ����A>>>

T(XHHV (��������� ��� 5 X����@��� $���� ���� ����4��� � <�� �� ������!��������������� ��� ����@��!����� ������������ /� 4222 4'�'��99� C�������� /������HHH

T(X>>V (�������� ��� 58 X����@��� (������ � $ ����@��!����� ������������ �������� ���� ����4��� ������ '���������� �A0�!A1 ����Z�A� A>>>

T)->BV $ )���� ������� ��� -���� D������ ���� ������������ �� ����!A ����� �����4222 0 �������� � '� ���� ��� ������ � 3��� 0�������� �B0�>1 ���HOZ�A>H� A>>B

T)�R R>>V R )�!���� � � R����� K �������� ��� R���� +���� Y����� ����������������� ���������� ������������ /� & � � 4'$��&�66� ����� ABBOZABBP� A>>>

T)�+RHHV R )�!���� � $ +���������� ��� R���� C���� ����� ����� ������*������ �������� ������������� �HHH

T);.5>�V 2 )�!;�&&���� D .����� ��� 2 5 ������ /�:����� �� �� ������������ ����!����� ��� ��� ������������ ���� ������� �� ���������� �� ���4 /� & �* �B120�4 :667� +�������� A>>�

T)��>�V $ )����� $�������� ������� ���������� ����������� �������� � ����� 2������<��������� �� 2�� ������� A>>�

TCEOAV ) C�4 ��� 8 , E����� (������������� �������� � ������������� ����������!���� � ����� ������ ����������� 0�������� 1�� "* ==* & ��� "* :=�C9�66C8 �$? ���� � $����� ��������8 1������ ?����8 0����� �HOA

TC8HPV � C���� ��� +K 8� ���� C��? ������ ������ �HHP

TC��HIV 8 2 C���� 5������!����� ��������� �� ����� ��� ����� ��������� � ������ $ ������� ������ 448 & �* � �&42� �AAH ���PZ�BI� �HHI

TK,$>�V 8!, K������� , ,����� ��� K $��� 2 � ����� ��������� ��?� ������������������� ������ '���������� A>>�

TK��HV � K���?�� .������� �������� �� ����� ��������!���� ���� /� & �������� ��� 4222 4�� ������ '��� ���� ;� $������8 ������8 ��� ������ & �������D4'$��&�9EF8 $����8 B$8 �$� ����� �>>OZ�>>P� �HH

TK (>>V C K������ C �� ��� ��� D (������ D� � � ��� �� =���!�������� ���� ��� ������������� �� ������*������ �� ���������� ������ /� & �* � �� ';�0 B�E'��� ���� � #����� $��� 2G��� D#$?H�66F� A>>>

TK.>AV K ������ ��� c .���� $������������ ��������� ������ ����������� ��� �����������*������ /� & �* � 4'�'�6:� K�������� (�����@� A>>A

TE�>�V $ E������� ��� �� /��������� �� ���� A>>� � $����=��� ��� ����� ��� �����!���� ��?� ����� /� & �������� � 012'34# :667� ;������� A>>�

TE��>AV $ E��&���� + ��!�������� ��������� � <�������� ��� �������� d 4222 0 ��������� � '� ���� ��� ������ � 3��� 0�������� �A0A1 �H>Z�>O� A>>A

Page 198: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�PA �����������

TE��>�V E���� ������������ ��������%�� �� ���� ������� � ����� �� �� ������� ����!������ �������� �������������� �������� �� ���� ��� &�# �����8 +�.148 ����� ��� . ����� =� A>>�

TE��HIV X� E������� +������� ����� ��� ��������� ��� � $������ ��� ������& ������� $4& & ���� �HHI

TE-(5>AV E����� $ -������� ��� � (�������!5�� ����� .���!���� ����� ���� ����?�� ������� �� � � �������� ������� & �������� � �� ';�0�BE '��� ����� #����� $��� 2G��� D#$?H�6:F8 I���� �8 B� ����� ����� �O�Z�O� A>>A

TE5>AV E E��� ��� , 5 �� 2�� ��%�� �� ������*������ �� ������ ������ �� ��� �������������� &������ &��� �� 6: 6J @CJ� 8������ A>>A

TE5>��V E E��� ��� , 5 �� 5���� � <� ������ ������4����� �� �� ����� ������ ������ ������������ �������%�� �� �4�������� �� ���� ���� /� & �* � ';12��$�67� A>>�

TE5>��V E E��� ��� , 5 �� K����� ������*������ ����� � ������� ����� ������*�� /�& �* � 4'�2�67� -��������� <+$� A>>�

TE5$>�V E E���� , 5 ��� ��� 8!G $����� +���� Y�����Y������� ��� ������ �����!���� ������� � /� & �* � �� >� 4�� ������ '��� ���� � #�� �������������� ������ D#���6=F� A>>�

TE5�R+>�V X E��� +!C 5 ���� � R�������� 5!X E����� 5!G ,��� ��� K /������(�������� ��� ������ �� ������� �����!����� �������� ��?���� ��?� ����� ���!��������� /� & �* � 012'34# 5 (��� :667� A>>�

TE(5>�V E���� ��� � (�������!5�� ����� <���� ����������� �����!��� �� � � ��������� :���������� �� ������ ��������� �� ����� ��!����� 2�� ����� ������� ,�-./� <��������� �� -������4 �� A>>� ��� �YY???�������Y,����Y �����������Y.�������!��������Y

TE(5>BV E���� ��� � (�������!5�� ����� 5��� ����� � � �������������� �������� ����� ��� ������������ ����� ������ ?�� � ���!���� ��!������� 2�� ����� ������� ,�-./� <��������� �� -������4 �� A>>B ��� �YY???�������Y,����Y �����������Y.�������!��������Y

TE(5>OV E$;;$ ��� � ()+$/;2)!5$2E)./;) $ ����������� ��� �������� �������� ������������ ����� ������ ?�� � ���!���� ��������� 2 1$�4& <$�& :66@��A0A>>O1 ��IHBZ�P>� A>>O

TE,(5- >BV E����� ; ,����� � (�������!5�� ������ ��� 8 -�����! ����� $���� ���!����� ��� ����� ������ ������������ /� 4��41 :66C� ������ �� ����� �A>Z�AB�A>>B

TE�K-PV X� E�������� + ��$����� $ K��=��� ��� -����= (������������� ���������� ������� <� ��� � $������� ����� � $�� ���� IH01 ��H�OZ�HAO��HP

TE+>AV E E��� ��� , + �� J���� ����� ����������� � $� ����� ����� ������� /�& �* � �� =� �2#4$"20 :667 '��� ����� ����� AB�ZAOB� +����� 2�����A>>A

TE+>�V E E��� ��� , + �� E�� ��� �� ��������� �� ������ ������ ����� �� ������������� /� & �* � '.�4�67� /./+$� .������ C������ A>>�

Page 199: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

����������� �P�

TEXHBV 8 ( E��� ��� E X�� ���� (�������� �� ���� ����� �� ���������� ����� /�& �* � �� 4'$��&�9C� �HHB

T8��V &��� ��� �� �� ������� �� #����� <��� D����� ����F ��� �YY����������������Y���&���Y

T8)$HHV + 8������ $ )���� �������� ��� ( $���������� +������ ��������� ��� ����������������������� ������� ��������� ������� I0A1 ��OIZ�B� �HHH

T8G,>>V +!- 8��� R G���� ��� E!G ,�� (������� ���������� ��������� ������� ������ ������!�������� ������������ �� ���� �����!����@ ����� /� & �* � ��J� $'� 4�* '��* � ���������� ����� �H�Z�HB� ������ (�� .��� 5����������<+$� A>>>

TR5,>>V G!� R��� + X 5 ��� ��� +!X ,�� C��� ����� � ���� ��������� ����� ������������� �4�������� ���� ���� ���������� ������ /� & �* � �� =@� 4'&1�66�A>>>

TR(HIV J R���� ��� ( (������� )4�������� �� �������� ��� ����4��� ����!���������� ����� /� 4222 ?� � 5 (��� � ��������� ������ & ������������� ��IZ�BA� �HHI

TRKK+>�V ) R�&�@� K K������� K���� , D����� ��� C -����� E�� ����� ������������� ������ ������ ����� ������ ��� ����� ���� /� & �* � 4'�2�67� A>>�

TRKDK>�V ) R�&�@� K K������� , D����� ��� K��� $���������� ����������� ��� ��������������� ����������� /� & �* � '.�4�67� /./+$� .������ C������ A>>�

TRXHV ( R����� ��� , X����4 $������� ������������ ��� ����� ���?���� /� & �� 4�� ���� '��*� �HH

T,��HPV + ,����� $��� 1�� �������� � #�� '�� ����� ��� '�� ����� #����� & ������� ( � ����� 55.�$� +������� <���������� �HHP

T,85PIV 8 ,��� � 8 8���� ����� ��� . 5��� ���� +���� Y ������� ��������������� ����!���� ������ ��� ���� ����� �������� �������� ��������� /� & �* �4�� ������ '��� ���� � $������8 ������ ��� ������ & ������� D4222F������ ��BPZ��O�� �HPI

T,8U>�V , ,�� E 8����� ��� E8 U ��� $ ������ ����� ������*������ ��� ��������������� �� /� & �* � �� 9� $'� 4�� ������ '��� ���� � ����������D���?�� 5������ A>>�

T,R5>>V G ,��� � + R�� �� ����� ��� 2!+ 5 �� 2������� �����!���������� ����������� ����� ������������ /� & �* � �&42 D� ��� ��� 1� ����� � �����#�������F� ������ �HIA� ����� BHBZO>O� 8�� A>>>

T,�>>V . ,������� ��� ���������� +������� ����4��� �� ���������� ���������4222 ���������� H0A1 �BBZO�� A>>>

T,� >BV . ,�������� ����������� ��� � ������� +������� ����4��� �� ������ �����!������ ��%������ � $ ���������� ������� ����� �� ���������� ���@�� � ����4222 0 �������� � '� ���� ��� ������ � 3��� 0�������� �B0O1 ��BZB�� A>>B

T,��>>V - ,���� ��� ���%����� �������� ���F������ ��� ����� �������� /� & ��������� � �� � � 4�� ������ �������� � ����� 4�� ���� 1� �����D4��41�66F� ������ � ������ ������� D������ A>>>

Page 200: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�PB �����������

T, .>�V $$ ,��� ��� K ������� ��� c .���� +������ ��� ������������ �� ���������������*������ �� ������� ����� ������� /� & �* � 4'�'�67� A>>�

T,..XP�V , C ,����� , . .������� $ ) .��������� ��� 8 K X����� $� ���������������� �������� ��� �������� ?��� ����������� 4222 0 ���* $���*8 ������8������ & �������� $++ !AH0B1 �IIIZIPO� �HP�

T,+,HIV K ,�������� 5 +�������� ��� . ,������� +���� ����@ ��������� � $ �����!����� /� & �* � 14#2�9J� ����� �BZB�� �HHI

T,X5HPV U ,��� G X���� ��� 2 5 �� $���� ������� �4�������� ��� �������� �������� ������������ ��� ������*������ 0�� <� ��� � 3+�4 ������ & ��������A>0�YA1 ��ZIH� �HHP

T,U8>AV , ,�� E!8 U ���� ��� E 8���� 5������ �������� ��� ����� ������*������ ��������������� 4222 0 �������� ;� ������ ��� $��� & �������� �>0I1 �O>BZO�� A>>A

T�$5>�V X �� ��� � $���������� ��� , 5 �� $�������� ����� ������������ ������� �������!�������� ����� ��� � �� � 4�� ������ <� ��� � "�K (��� ���4�� ����� ������� O� +�������� A>>�

T��@HOV 8 ��@ ��� ,����� ���������� � $ �������� �����? /� & �* 4222� ������ O������ O�ZOP>� �HHO

T���HPV ������ ������� ���������� ������*������ � $ �������!����������� ������� /�& �* � �� =7E� ������ � �� $������� ����� � $�� ���� D������ �HHP

T�-HOV $J ��5��� ��� 2 -���?��� ��4�� �4�������� ��� ������� ����� ��� ��?��� ���� ����� ������ 4222 0 ������� � ������ ��� $��� & ���������0B1 �ABAZAO>� �HHO

T�-HV ����� ��� $ -������ /������� ��������� �� �����@ ���������� �� �������������!������ ���� & �������� � 4�� ������ '���� ����� '��� ����D4'�'�9EF8 I���L��8 '����� ����� �>>Z�>�� �HH

T�->�V �C ��R����� ��� 8 -�������� C������� ��� ����� ��� ����� ������*������/� & �* � 4��41�67� A>>�

T�C>�V 8 ��� ��� K C�������= J���� � �� �������� ��������� ����� �� ����� ��!������ /� & �* � 012'34# 5 (����67� A>>�

T�E/+>AV $ ������ 2 E������ K /��������� . C�� �� ��� D E��=�� $�������� � ���������� ��������� ��� ������*������ �� ������ ��� ������� ������ /� & �* �012'34# 5 (��� :66:� A>>A

T��>AV -+ ���&���� ��� X!G �� 0��� � ���� �� � ����� � ����� A>>A

T���H>V C. ����� )������� ��� �������� ����� & ����� I���� �HH>

T���>BV ( ������ ��������� �� ����� � �� ������� ����� � ����������� M��������� - �� ���� ��� ����� ���� ��������� 2 ��� �� ��������� /�������;������� ������ ��%�� �� K�������� A>>B

T���V �&2B�> M '���8 ;�������� ��� 0�������� 1������ D3*=:F/+DY/)5825�Y+5AHYXK��Y;AP�

T;$2HPV 8 ;��� � $�� ������� ��� $ 2�?*@ $����!������ �������!����� ������������ � ��������=����� /� & �* � 4'4&�9J� ������ �� ����� �O�Z�OI� �HHP

Page 201: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

����������� �PO

T;) +>OV 8 ;�������� C )����� 8 �� ���� 8 -�����! ������ ��� , �����4 5����!����� �� � �� �������� ��������� ����� IPPZIH�� A>>O

T;��P�V E ;�� $� ������=����� ������� � ��� ����������� � � ��������� �� �������� ��!�������� /� & �* 4222 4�* '��* $���* ������8 ������ & ������� D4'$��&F������ IA>ZIA�� �HP�

T;RHIV G ;�&����� ��� 2 R����� +������� �������� ��� ����� �������� �4��������! �������� �� ����������� �� ��?� ����� /� & �* � =99> $'� 4�* '��* ����������� ����� �H�ZB>�� �HHI

T;,- +>BV 8 ;�������� ; ,����� 8 -�����! ������ � (�������!5�� ������ ��� �R ���!�����@ ,�?!����� �����!����� ����������� ������� ��� �������� ������������ �������!������ ������� �� ��� ���������� ����������� /� & �* � 45��4&�6C�A>>B

T;�- +>BV E ;������� $ �������� 8 -�����! ������ X (����� ��� ( -���� K������������ � ��� ���� ������ ����� �� �� ������ ����������� /� & �������� � 4'4&������ �IZ�H� A>>B

T; U>AV 5!X ;��� 2!5 ���� ��� E!8 U ��� D� ���������� ��� ��������� �� ��!��� � ��� � ���� �������� ������ �������� 4222 0 �������� � ����������B0B1 �BBZBOP� A>>A

TD-HOV 8!� D����= ��� -��� ��� .����� ��������������� ���������� �� ������!���� ������ ������ <� ��� � 3����� '��������� ��� 4���� 1�� ��������� 0B1 ��BPZ�O� �HHO

T ��>AV + ��?� 5��� �� � $ ����� ����������� %���� �� ������ ������ /� & �*� 4��41�6:� A>>A

T - R(>BV , �����4� 8 -�����! ������ R�e���� ��� 8! (������� + �� ����������������� �� � � �����?��@ �� ���� ����4��� �������� A>>B

T 5HV ) ����� ��� �8 5����� ,������� ����������� ������ ������*������ /�& �* � �� 4'$��&�9E� �HH

T ��PPV 8 ���� & ��������� ������� �� ��������� ������ M ��K (� � ������������� ���� ������ R�������� +�� ������ 5$� �HPP

T ��>BV K ������ $ ����� ��� �� ����� �������� ��� ����� ����������� 0���������� ���������*������1 �� � � ������� ���&��� ' 4#$#; & ��� 1�� � A>>B

T C)HV + ���9��� + C��� ��� ��� X )9������� $�������� ����� ������� ��������& �(����� 4�� ���( 438 ���* ��������8 B� ����� �HH

T ��>AV $ �����e@� /���4��� ����� ��������� ����� ��������� �4�������� ���%����� ����� A>>A

T .HPV K ������ ��� c .���� $������ �� ���� ��� �� ���� �������4 ��� �� ��� �������� & �������� � �� <� ���� ��4�� ���!�� �������� D<4��9JF8 +� +����������� ��8 ? ����� �HHP

T .HHV K ������ ��� c .���� +����� � $ ��? ��������Y���� ���� ��� �� ������������� ���@ � ��� ����������� � ��� ��� ���������� �������� & �������� �4�� ������ '���� ����� '��� ���� D4'�'�99F8 .������8 '����� ������O�Z�O� �HHH

Page 202: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�P �����������

T .>�V � 8 ��@����� ��� + � .b��� �����!��������� ����� � ��!� ���� ���������/� & �* � =6� 0�� 12 ����� '��� ���� D012'�=6F� A>>�

T ��>>V ( �������=�� ������� ���� ��������%��� �� ���������� �� ������ /� & �*� <4�� A>>>

T .�$D>�V 8 ��%����� 8!, .����� 8 ��������� ��� . $����!D���� � (�������� �� �������� �� �� �� ����%�� ���� ��� ��������� ������� � ������ �� ���4 ������ ��/� B120�4�67� A>>�

T +$D>A�V 8 ��%����� 5 +����� ��� . $����!D���� � /���4����� �� �� ����� ������ �.�� ��� � ��� ����������� ������ �� ����%�� /� & �* � 1?4$�6:� $������C������ A>>A

T +$D>A�V 8 ��%����� 5 +����� ��� . $�����!D���� � +���� ��� ����� ������*�������� ����� ��������� /� 4'�+&�6:� A>>A

T 2>BV 5 ��������@�� ��� K 2=������ $ ����� Y����� ������������� ����� �� ������ =���!��������� 4222 0 �������� � ���������� 0O1 �IZP� A>>B

T.8H�V , .������ ��� -E 8���� ?���������� � ������ 1������� ������� E���+����� ��������� ������� E���� )����?��� 5��9�� ;8� �HH�

T.��HIV 5 .���� +���� �������������� �� ����������� ������� ������ & ������������� B��ZB�P� �HHI

T.��HPV 5 .���� ,������������%�� 0���� � � �������� ����� ��������1 #���� �HHP

T..HOV ($ .������� ��� .5 .��� .����� ����!����������� ����@�� ������*����������� �������� ��4���� ����@�� ������ 4222 0 ���* ������ ��� $��� & ��������� �0�1� �HHO

T.+IOV , . .������ ��� � . +����� $� ������� � ��� ����������� � � ��������� ���������� ���������� .��� ������ 0�������� <� ���� J�� OB �AHIZ��O� C��������HIO

T.+IIV , . .������ ��� � . +����� $���������� �� �� ��� �������� ������� ��� � ������!��������!������� ��������� ������� 4222 0 ���* $���*8 ������8������ & �������� $++ !AO ���PZ�B�� �HII

T.+IPV , .������ ��� .X +� ���� (������ ���������� �� ����� ������� 2����K�'��G�8 "*<* M & ����� I���� �HIP

T.+>�V U .�� ��� ��� � +� � +���� ��������� �� ����?��� ������ ��� �� � �?�/� & �* � '��� ���� � 3���� ��� &�� � 1������� D'3&1�67F� A>>�

T+$HHV 8D +��� ��� 8+ $��� -��@ ��� ��� �������� ���������� 4222 0 ��������� ������ ��� $��� & �������� I01 �HIZI>P� ;������� �HHH

T+��HV 8 +������� .���!���� �������������� �� ��������� ����� Y����� /� & �* �4�* '��* $������8 ������8 ������ � ��������9E� ������ A� ����� HH�ZHH��HH

T+-G>BV 8 +���� +G -��� ��� R G��� ���!����� ������ �������������� �� ����� ��������� ��� %����!��! ������ ������ /� & �* � 4��41�6C� A>>B

T+5>>V E +������� ��� +!C 5 ��� J���� ����� ������������ ����� ����� ��� ������������� /� & �* � 4'�2�66� A>>>

T+ �HIV - + �� E� ����� ���������� ����� ��� ��������� /� & �* � 34� $+�9>�+�� (����� 5���������� <+$� �HHI

Page 203: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

����������� �PI

T+E�+>�V � +������ R E��� �� R ���������� C +������ ��� G ;�@�&��� + ���������� ������������� �� ���� ���������� ������ ��� ����� �������������4��������� ��� ������� A>>� /� & �* � 012'34# 5 (����67� A>>�

T+8-+HIV � +������� < 8���� -.�&� ��� . +���� $�������� ������������� ������*��!���� ��� ���������� �� ��������� ��?� ����� /� & �* � �� #$1&$ ������1������� 5 (���8 0�� 5������� '��� ���� '��� � �HHI

T+,HIV 5 +������� ��� . ,������� $���� �� � ������� �� ����� � ���� ������������ � ��������=����� �� ����� ��%������ /� & �* � 4'$��&�9>� ������ /J������ AOHIZA>>� ����� � K������� �HHI

T+;V $ +����� ��� 8 ;������� +������ ���������� ������!���� ������ ��?�� �� ���������� ����� XD >A>H�P>� ��� �YY��������������Y������� d(-S) D(D5f/(cSXD>A>H�P>�fCSPf. ;SXD>A>H�P>�f(D5S���BO�>A�HIAAH�H��A�H��HHO�����I�

T+��P�V (� +��=� $ ����������� ������� �� � � ������ �� �� �������� ����!�������=���������� �������� 4222 0 �������� � $������8 ������ ��� ������ & ��������$++ !��0�1 �IPZPB� �HP�

T++H>V c +���� ��� 8 +��� +������� �������� ���� ���� � � ����� ��������Y���� ���������� ����� �� � ������������� ���� ���� ����� ������������� '���� �����<� ���� �B0B1 ��AZAB� �HH>

T++HIV ) +� ����� ��� � +����� 5����������� ��� ���������� �� � ������ ��������!����� ����� Y����� ������������� /� & �* � �� 4'$��&�9>� �HHI

T++>�V +�������� ��� 8 . +��� ����!I ���������� ����������� �� ���� 42220 ���* � '� ���� ��� ������ � 3��� 0�������� ��01 �IBPZIOH� A>>�

T2��HOV 2��@�� $ 1��� $�� ��� � &��� 0 ��(��� R���� ��� ���?�� 0���1� �HHO

T25HHV K 2=�����@�� ��� 5��@ ������������ ����� ������������ ��� ���?���� ������������� /� & �* � 4222 5 (��� � $��������� � ������ & ������� $��� ��� $������� ;�? ���=� ;�? G��@� <+$� �HHH

T25>AV K 2=�����@�� ��� 5��@ ������� ����� ������*������ �� ����� ������ 42220 �������� � ������ ��� $��� & �������� �>0O1 �AH�Z�>A� A>>A

T25>BV K 2=�����@�� ��� �!G 5 �� -������� ����� ������*��� ��� ��������� ��?���������� /� & �* � 54$�4��6C� ,������� �������� A>>B

T2� HV - 2� �����@�� +��� �� �� � ������� �� � /� .������� �HH

T2((+HBV 5 2���� $ (�������� C (����� ( C������� ( ,��@� ��� + J����� $�!� �C��4���� ���������� ������ ��� ����� ������������ ��� ������� /� $2� 9E��������� �HHB

T2 HHV + 2��@������ ��� / ���� $����!������ ������� �������� ��� �������!����� ���������4��� /� & �* � 4'�'��99� ������ /� ����� IZIA� C�������� /����� �HHH

T2��IAV � 2����� #������� �������� ���� ������ ��� ������� �HIA

T2+R.>>V G! 2��� ( ( +���� + . R��@����� ��� 8 .������ .���� ������������ ������ ������ ���� ���������� ����� ?�� ����������� �� ����� ����������4222 0 �������� � '� ���� ��� ������ � 3��� 0�������� �>0�1 ����Z�B� A>>>

Page 204: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

�PP �����������

T2U>BV X 2��������� ��� 8 U �� + �� ���������� ��� ��%��� ��� ����� ���?����4222 0 �������� � ���������� 0B1 �O�IZOAI� A>>B

TJ��>>V E J������ 0�� �� ��� � �������� M �������!��� �/. ������� A>>>

TJ�>>V 2+ J���� ��� 2EG ���� )4������� �������� �������� ���� ���� ?�� ��������� �������� ���� ���� '���� ����� <� ���� AB0A1 �BIZOH� A>>>

TJ.->>V ) J������ . .������� ��� -��� ��� C��� ����� � �� ���������� �� ��!%����� ������������ /� & �* � 4'&1�:666� ����� AOBZAOI� -��������� A>>>

TJ.+-HHV + J��������� R. .���@��� ��� +E +�������� ��� ; -���@��� �� $��������� �������� ��� ����� � ���� ��������� �� � � ���� ���������� ������ /�& �* � 4222 7 � 5 (��� � ��������� ������ & �������� ����� �H�Z�H�5���� ����� (�����@� �HHH

TX-XHV ) X���� 2 -���� ��� 8 X ����� 5������!����� ������*������� ����� ������������ �� ����� 4222 ���������� �0�1 �AIZ�� �HH

TX/-+>�V 2 X���������� 2 / /������ , -��������� $ �� J����� ��� ( E�������5�������� ����������� ������� ��� ����� ��������� /� & �* � 012'34# 5 (�����67� A>>�

TX.>>V 8 5 X�&��� ��� , 8 � .�� @����= +������ ��������� ��� ��?��Y����������������������� �� ����� ��%������ /� & �* � J� 4'��0�66� ����� �>BZ�>H�$��������� A>>>

TX2E>>V G X�� 6 2���� ��� 2+ E���� (����������� ������� � ?�� ����������� ������� ��������� /� & �* � 4222 ''3&1�66� A>>>

TG,HOV �� G���� ��� - ,�� )F����� ���� ��� ��� ���������� �� ����� � ��� /�& �* � 4'4&�9@� ����� ��PZ�B�� X�� ������� �HHO

TG��HV X$ G��� ��� �� �������� ������� ������ 8��� �HH

TGG,HV �� G����� -!, G��� ��� - ,�� )4�������� ����� ����� ���� ���� ����������� ����� ���?���� ��� ���������� /� & �* � 4'�'��9E� ����� AHZ�>O� E�!��� ���� �HH

TUCHHV ) U?��@�� ��� E C���� ��� ���������� � ����� ��� ������ �HHH

TURH�V E!8 U ��� ��� $ R��@�� ���� $�������� ������������ �� ����!������ �������������� ������� �0�1 ��>ZAP� �HH�

TURHHV 2 U ��� ��� 5!5 8�� R�� E������ ���� ������*������ �� ����� ���� ��� ��� �!���� ��� ���������� /� 4222 4��* '��* � $��&� ������ � ����� �>>�Z�>>B��HHH

TUR>�V 2 U ��� ��� 5!5 8�� R�� $���� ������� �������� ��� ������ ��������������� ������������ ��� ������*������ 4222 0 �������� � ������ ��� $���& �������� H0O1 �BB�ZBOI� A>>�

TU >BV $ U��� ��� C �� �� $�������� �4�������� �� ����� ����������� ���� ��������������� /� & �* � 4��41 6C� A>>B

TU+;>�V $ U������ . +� ������ ��� E ;�� )4�������� ��� ��� �� ������� ������� ��������� ����� ����������� /� & �* � 2� �������67� ������ �� ����� BHIZO>>�+�������� A>>�

Page 205: Indexation cross-m edia vid eo/son des contenus multim ...grenet.drimm.u-bordeaux1.fr/pdf/2006/LOUIS_NICOLAS_2006.pdf2006 Indexation cross-m ´ edia vid ´ eo/son des contenus multim

1�� � ��� ������ ���� �������� ��� ��� � %���

T�V ,���� ; ��� E���� � +���������� ������*������ �� ������� ����� ������� 5-�/ A>>O�A>>O

TAV E���� � ,���� ;� (�������!5�� ����� � ��� -�����! ����� 8� $���� �������� �������� ������ ������������� /+�/. A>>B� A>>B� �� �A>!�AB

T�V ;������� 8� ,���� ;� -�����! ����� 8� (�������!5�� ����� � ��� ��������@ �R�,�?!����� �����!����� ����������� ������� ��� �������� ������������ �� �����!������ ������� ��� ��� ���������� ������������ /X++/ A>>B� /)))� A>>B� �� A�O!A�P

TBV ,���� ;� 5����!����� ������� ��� �������� ������������ �� ������� ���������� ��������2�� ����� /������� ����� .������ A>>A

TOV -�����! ����� 8� (�������!5�� ����� �� ,���� ;� $ ��� �� ��� �4�������� �� �����!������ ,�������� �� ������ �� ����� ����� ��������� )<+/ 5D A>>A� A>>A� ///� �BO!�BP

�PH