France Télécom R&D - Avril 20051 Bao LY VAN Doctorant – INT [email protected] secure contracts signed by mobile phone IST-2002-506883

France Télécom R&D - Avril 2005 1

Bao LY VAN

Doctorant – INT

[email protected]

secure contracts signed by mobile phoneIST-2002-506883


Plan de Présentation

• Introduction au projet SecurePhone

• Modalités utilisées– Signature, voix, visage et visage parlant

– Fusion

• Base de données:– Scénario d’Imposture

• PKI et Carte à Puce

• Mise en œuvre sur une plateforme choisie

• Quelques problèmes à résoudre


SecurePhone• Projet européen de 30 mois, démaré en janvier 2004• Coût total: plus de 3M euros• 8 partenaires européens• Objectifs:

– Signer un document à distance en utilisant l’infra-structure PKI sur un SmartPhone

– La biométrie est utilisée pour débloquer la carte SIM d’où vient la clé privée

– Utiliser des modalités non-intrusives: signature, voix, visage et visage parlant

– Fusion de plusieurs modalités pour avoir un système plus robuste– Produire une application conviviale, facile à utiliser et efficace

• www.secure-phone.info


Partenaires


Les partenaires académiques: Algorithmes de vérification biométrique

Les partenaires industriels: Mise en œuvre sur les plateformes SmartPhone: interface, PKI…

Dissémination


Modalités Biométriques Utilisées• Signature manuscrite en-ligne

– Fusion d’informations de vraisemblance et de chemin de Viterbi données par HMM

• Voix– GMM avec MFCC et ondelettes– Dépendant du texte

• Visage– PCA, ondelettes, Contour des lèvres, GMM…

• Visage Parlant=> adaptater aux condition de SmartPhone


Problématique de Fusion de Modalité


Problématique de Fusion de Modalité: Techniques

• Fusion au niveau des paramètres– Synchroniser les paramètres de deux modalités pour

construire un seul modèle: ex. visage parlant

• Méthodes de fusion au niveau des scores:– Support Vector Machine– Réseaux de neurones– Moyenne Arithmétique...

• Méthodes de fusion au niveau des décisions– Règle ET, OU, vote


Problématique de Fusion de Modalité: Stratégies

• Définir des stratégies de fusion en fonction de l’application, de l’utilisateur, de l’environnement et des modalités...– Fusionner à quel niveau?

– Comment fusionner: en parallèle ou en série…• AND, OR...

– Combien de modalités, quand...?• Ne pas pouvoir utiliser la voix quand il y a beaucoup de bruit


Exemple d’un Scénario de Fusion

Signature rejetée: REJET

Signature Acceptée: SUIVANT

Demander la signature

Demander la voix

Voix rejetée: REJET

Voix Acceptée: ACCEPTATION

Règle AND: authentication forte


Base de Données

• Adaptation des bases de données aux conditions de SmartPhone– BANCA pour audio-visuel

– BIOMET, Philips, SVC2004 et MCYT pour la signature

• Acquisition d’une nouvelle base de SmartPhone:– Vidéo

– Signature


Scénario d’Imposture• Voix: transformation de fréquence• Visage parlant: synthèse des séquences de vidéo • Signature:

– Imitation de l’image de la signature

– Imitation de la dynamique, du geste


PKI et Carte à Puce• Clé privée sauvegardée sur la carte

• Signature digitale créée sur la carte– La biométrie est utilisée pour accéder à la clé privée

Réalisé sur la carte à puce


Mise en Œuvre de la Biométrie sur SmartPhone

• Plateforme choisie: QTEK 2020, système d’exploitation PocketPC

• Plusieurs fonctions ont été mises en œuvre:– Ondelettes, FFT, HMM..

– Acquisition de signatures et de séquences de vidéo

• Versions exécutables pour la signature manuscrite: – GINAS (Graphic Identification aNd Authentication

using Signature): login pour le SmartPhone

– SecureSign: démonstration académique


Quelques Problèmes• Problème de synchronisation entre la voix et l’image• Carte à puce à puissance limitée:

– Le calcul de signature digitale sur la carte est-il possible?– Complexité des algorithmes biométriques: la vérification

biométrique sur la carte à puce est-elle faisable?– Si la carte n’est utilisée que pour sauvegarder des modèles

biométriques la taille totale de tous les modèles doit être inférieure à 64 Ko

• Le SmartPhone a aussi une puissance limitée


Merci de votre attention!

secure contracts signed by mobile phoneIST-2002-506883

Pour plus d’information

[email protected]

[email protected]


Online Handwritten Signature Verification


Fusion of two Complementary Information of the HMM

HMM

input

Likelihood Score

Viterbi Score

outp

ut 1

output 2

Fusi

on

Fusion Score

• Original approach: fusion of HMM likelihood and Viterbi path scores for on-line signature verification

• HMMs with parameter normalization techniques which improve the performance.

• Scores are normalized into [0, 1] before fusion• Simple arithmetic mean for fusion (no extra training)


Likelihood Score vs Viterbi Path Score

• Important overlap between clients (+) and impostors (●) when using only one score

• Viterbi and Likelihood scores complementary


State-of-the-art Result

• Detection error trade-off curves for test on BIOMET database

• Fusion performs better

• Comparison with state-of-the-art: 2nd/12 teams and 6th/15 teams in two SVC2004 tests

Documents

France Télécom R&D - Avril 20051 Bao LY VAN Doctorant – INT [email protected] secure contracts signed by mobile phone IST-2002-506883