Entrée gestuelle et reconnaissance de gestes

Quelques exemples de systèmes à entrée gestuelle,et d’ensembles de gestes …

a) rectangleb) ellipsec) ligned) groupee) copief) rotationg) supprimer (“x”)

Le Graffiti

EdgeWrite( http://depts.washington.edu/ewrite/ )

• Une façon méchanique de simplifier la reconnaissance de gestes, avec des contraintes physiques

Tivoli

Tivoli

Tivoli

Menu radial hiéarchique

Combinaison de sélection rectangle et lasso

Question: comment l’ordinateur peut-il distinguer entre le geste à gauche et celui à droite?

Reconnaissance de gestes

Comment distinguer les gestes dansun “Marking Menu” hiéarchique?

Comment trouver un “coin”dans un geste?

• Lorsque le geste est bruité ?

• (voir notes écrites)

Comment permettre à un utilisateur (ou un concepteur) de définir des nouveaux

gestes sans écrire du code ?

• Spécifier les nouveaux gestes avec des exemplaires !– Nécessite de faire du “pattern matching” entre

les exemplaires de gestes pré-fournis, et chaque geste entré pendant l’interaction

La reconnaissance de gestes avec l’algorithme de Rubine (1991)

• Chaque geste entré (ou exemple de geste) est réduit à un vecteur de caractéristiques (“feature vector”); il s’agit alors de classer un vecteur entré dans un espace de gestes possibles

• Taux de reconnaissance > 95%

• (voir notes écrites)

Rubine (1991)http://doi.acm.org/10.1145/122718.122753

Pourquoi utiliser des hyperplans et pas juste la moyenne?

Le reconnaissance de gestesavec l’algorithme à “$1”(Wobbrock et al., 2007)

• Utilise seulement des opérations mathématiques de base

• Simple à implémenter en peu de code, sans libraries

• Rapide• Bon pour prototyper des interfaces gestuelles,

même dans des plateformes moins performants (comme Flash ou JavaScript)

• Taux de reconnaissance supérieur à Rubine• Une des étapes clés: rééchantillonage du geste• (voir notes écrites)

Wobbrock et al. (2007)http://doi.acm.org/10.1145/1294211.1294238