Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense1

Argos

Evaluation of video surveillance tools

Thomas Fourès

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense2

General description

Steering committee

CLIPS IMAG EURECOM INA IRIT

LABRI LIP6 NOVELTIS SFRS

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense3

Goals Evaluation of analysis tools applied on heterogeneous contents Content sets

Documentaries, TV news, Videosurveillance

Results analysis Comparing methods Identifying remaining locks

General description

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense4

Tasks and evaluation

Phase 1Shot segmentationTransition effects identificationCamera motion identificationShot locationPresence of personsPresence of text

Phase 2Phase 1 tasks +Framing identificationSame person identificationText-in-video transcriptionStory segmentationBehaviour identification

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense5

Evaluation

Type of resultsSegmentation:

Starting/ending frame

Feature detection:Presence in a segment

Confrontation with the ground truth

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense6

Corpus

42 hours

11,2

10,510,5

10,5

Journaux télévisés -INA

Documentaires -SFRS

Videosurveillance 1

Videosurveillance 2

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense7

Corpus

Documentaries: 10h24 MPEG-2 720x576 25fps

TV News:11h10 MPEG-1 352x288 25fps

Videosurveillance I :10h32 MPEG-2 352x288 25fps

Videosurveillance II :10h50 MPEG-1 352x288 24 fps

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense8

Implementation

Web site : www.irit.fr/argos Public software resources

Evaluation tools Annotation tools

Ground truth Results submission

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense9

Implementation

ParticipantsCLIPS-IMAGEURECOMIRISAIRITLABRILIFLLIP6LIRIS

ParticipantsLISTICVIPER – U. GenevaENST

Cost 292

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense10

Implementation

Time ScheduleEnd January 2006 : Evaluations of the first phaseMarch 2006 : ResultsSeptember 2006 : Evaluations of the second phaseNovember 2006 : Results

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense12

Results in XML Schemes

Segmentation description scheme (T 1.1, 2.1, 2.10)

Feature description scheme (T 1.2, 1.3, 1.4, 1.5, 1.6, 2.2, 2.3, 2.4, 2.5, 2.6, 2.7, 2.8, 2.9)

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense13

Segmentation

<?xml version="1.0" encoding="utf-16"?> <xs:schema id="SegmentationEval" xmlns:xs="http://www.w3.org/2001/XMLSchema"> <xs:complexType name="segBoundaryResultsType"> <xs:sequence minOccurs="1" maxOccurs="unbounded"> <xs:element name="segBoundaryResult" type="segBoundaryResultType" /> </xs:sequence> </xs:complexType> <xs:complexType name="segBoundaryResultType"> <xs:sequence minOccurs="1" maxOccurs="unbounded"> <xs:element name="document" type="documentType" /> </xs:sequence> <xs:attribute name="sysId" type="xs:string" use="optional" /> </xs:complexType> <xs:complexType name="documentType"> <xs:sequence minOccurs="1" maxOccurs="unbounded"> <xs:element name="segment" type="segmentType" /> </xs:sequence> <xs:attribute name="src" type="xs:string" use="required" /> <xs:attribute name="sNum" type="xs:integer" use="required" /> </xs:complexType> <xs:complexType name="segmentType"> <xs:attribute name="FirstFrame" type="xs:integer" use="required" /> <xs:attribute name="LastFrame" type="xs:integer" use="required" /> </xs:complexType> <xs:element name="segBoundaryResults" type="segBoundaryResultsType" /> </xs:schema>

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense14

Segmentation

ARGOS Element TrecVideo Equivalent

Segment transDocument segsegBoundaryResult shotBoundaryResultsegBoundaryResults shotBoundaryResultsX type (transition effect)X asr (speech transcription)

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense15

Segmentation

<segBoundaryResults> <segBoundaryResult sysId="CLIPS_run01"> <document src="INA01" sNum="101"> <segment FirstFrame="1" LastFrame="256" /> <segment FirstFrame="313" LastFrame="558" /> </document> <document src="INA02" sNum="101"> <segment FirstFrame="1" LastFrame="117" /> <segment FirstFrame="257" LastFrame="879" /> </document> </segBoundaryResult> <segBoundaryResult sysId="CLIPS_run02"> <document src="INA01" sNum="210"> <segment FirstFrame="1" LastFrame="123" /> <segment FirstFrame="263" LastFrame="558" /> </document> <document src="INA02" sNum="210"> <segment FirstFrame="1" LastFrame="256" /> <segment FirstFrame="533" LastFrame="578" /> <segment FirstFrame="579" LastFrame="879" /> </document> </segBoundaryResult>

</segBoundaryResults>

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense16

Detection

<?xml version="1.0" encoding="utf-16"?> <xs:schema id="DetectionEval" xmlns:xs="http://www.w3.org/2001/XMLSchema"> <xs:element name="VideoFeatureExtractionResults" type="VideoFeatureExtractionResultsType" /> <xs:complexType name="VideoFeatureExtractionResultsType"> <xs:sequence minOccurs="1" maxOccurs="unbounded"> <xs:element name="VideoFeatureExtractionRunResult" type="VideoFeatureExtractionRunResultType" /> </xs:sequence> </xs:complexType> <xs:complexType name="VideoFeatureExtractionRunResultType"> <xs:sequence minOccurs="1" maxOccurs="unbounded"> <xs:element name="VideoFeatureExtractionFeatureResult" type="VideoFeatureExtractionFeatureResultType" /> </xs:sequence> <xs:attribute name="sysId" type="xs:string" use="optional" /> </xs:complexType> <xs:complexType name="VideoFeatureExtractionFeatureResultType"> <xs:sequence minOccurs="0" maxOccurs="unbounded"> <xs:element name="item" type="itemType" /> </xs:sequence> <xs:attribute name="fNum" type="xs:integer" use="required" /> </xs:complexType> <xs:complexType name="itemType"> <xs:attribute name="seqNum" type="xs:integer" use="required" /> <xs:attribute name="segId" type="xs:string" use="required" /> <xs:attribute name="textTranscription" type="xs:string" use="optional" /> </xs:complexType> </xs:schema>

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense17

DetectionArgos Element TRECVidéo Equivalent

videoFeatureExtractionResults videoFeatureExtractionResults

videoFeatureExtractionRunResult videoFeatureExtractionRunResult

sysId sysId

X trType (training type)

X priority (run priority, lab ranking)

X Desc (method textual description)

videoFeatureExtractionFeatureResult videoFeatureExtractionFeatureResult

fNum fNum

Item Item

segId shotId

seqNum seqNum

textTranscription X

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense18

Detection Result Submission

<VideoFeatureExtractionResults> <VideoFeatureExtractionRunResult sysId="IRIT_run01"> <VideoFeatureExtractionFeatureResult fNum="2081"> <item segId="INA01_00001" seqNum="2" /> <item segId="INA01_00003" seqNum="1" /> </VideoFeatureExtractionFeatureResult> </VideoFeatureExtractionRunResult> </VideoFeatureExtractionResults>

<VideoFeatureExtractionResults> <VideoFeatureExtractionRunResult sysId="INA"> <VideoFeatureExtractionFeatureResult fNum="2090"> <item segId="INA01_00001" textTranscription="Journal" seqNum="1" /> <item segId="INA01_00003" textTranscription="Les titres" seqNum="1" /> <item segId="INA02_00002" textTranscription="Proche Orient" seqNum="1" /> <item segId="INA02_00003" textTranscription="Climat" seqNum="1" /> </VideoFeatureExtractionFeatureResult> </VideoFeatureExtractionRunResult> </VideoFeatureExtractionResults>

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense19

Evaluation : recall x precision

« TRECVID-like » results

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense20

Participation

Corpus restriction to the videosurveillance partAgreement

Contact : joly@irit.fr

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense21

Schémas de soumission des résultats - détection

fNum : PTTCP : Phase = {1,2}T : TâcheC : Numéro de la caractéristique

Tâche 1.2 : Identification des effets de transition

Cut 1021Transition complete par interpolation progressive (fondus, morphing ...) 1022 Transition complete par incrustation progressive (volets, iris...) 1023Transition partielle (compositing, incrustations, ...) 1024Autre 1020

Tâche 1.3 : Identification des mouvements de caméra plan fixe 1031 zoom/trav avant 1032 zoom/trav arrière 1033 pan/trav à droite 1034 pan/trav à gauche 1035 plongee/pano/ trav vers le bas 1036contre-plongee/pan/travvers le haut 1037Autre 1030

Tâche 1.4 : Identification du lieu du tournageinterieur 1041exterieur 1042autre 1040

Programme Techno Vision

Ministère délégué à la RechercheMinistère de la Défense22

Schémas de soumission des résultats - détection

Tâche 1.5 : Identification de la présence de personnes a l'image

Présence de personnes 1051Absence de personnes (non requise) 1052

Tâche 1.6 : Identification de la présence de texte à l'image

Présence de texte 1061Absence de texte (non requise) 1062

Tâche 2.7 : Identification du cadrage Plan rapproche (1 visage, 1 objet, ...) 2071 Plan moyen (2 ou 3 visages, 2 ou 3 objets, ...) 2072 Plan d'ensemble 2073 Autre 2070

Tâche 2.8 : Identification des différentes apparitions d'une même personne

personne 1 2081 personne 2 2082 personne 3 2083 …

Tâche 2.9 : transcription du texte ascii présent dans une vidéo 2090

Tâche 2.11 : identification du comportement de personnes

Courir 2111 S'arrêter 2112 Déposer un objet 2113