LinteractionLes priphriques dentre, styles dinteraction, techniques dinteraction, et les modes

Les priphriques dentreou dispositifs dentre(input devices)

Comment font les humains pour entrer/exprimer de linformation ?MainsMouvements, gestes, pointage (avec souris etc.)critureAppuyer/tourner des boutons, appuyer des touches (sur un clavier)VoixVisageLa penseAutres ?

(Anecdote: http://fr.wikipedia.org/wiki/Albert_Mehrabian et la rgle du 7%-38%-55% (verbale, intonation, visage))

Quelles sortes dinformationssont exprimes par les humains ?interaction tasks classify the fundamental types of information entered (dfinition du livre de Foley et al., Computer Graphics: Principles and Practice)Foley et al. donnent une liste des 6 types dinformations:spcifier une positionsaisir du texteslectionner un objetquantifier (c.--d. saisir un numro)spcifier une orientationspcifier un chemin ou une trajectoire (par exemple, pour animer un objet)Autres ?

Les priphriques dentre: les claviers

http://world.std.com/~jdostale/kbd/SpaceCadet1.jpeg

Clavier pliable pour Palm PilotClavier flexible; 24 $ http://www.thinkgeek.com/computing/input/5a7f/?cpg=ab(prix de 2008)

Clavier projethttp://en.wikipedia.org/wiki/Projection_keyboard160$ http://www.thinkgeek.com/computing/input/8193/ (prix de 2008)

Optimushttp://computer.howstuffworks.com/keyboard.htm/printable

Optimus MaximusChacune des 113 touches contient un cran de 48x48 pixels.

1864 $ US ! (prix de 2008)

http://www.artlebedev.com/everything/optimus/

Optimus MaximusConfigur pour langlais

Optimus MaximusConfigur pour le russe

Optimus MaximusConfigur pour le jeu Half-life

Optimus MaximusConfigur pour Photoshop

Boutons sur les magntophonesLe statu quo:des boutons uniformesBoutons avec diffrentes formes: permettent de les utiliser sans regarder (eyes-free operation)

Clavier de piano

Clavier virtuel du iPhone de Apple

Clavier de Scholes versus clavier de DvorakConu en 1873 !Reste encore la norme.Nest toujours pas la norme :-(Remarquez que toutes les voyelles se trouvent sous une main dans la range du milieu

Comparaison avec Dvorakhttp://infohost.nmt.edu/~shipman/ergo/parkinson.html

Boutons surchargs (overloaded) de fonctionsComment saisir des lettres de lalphabet avec un clavier numrique? Stratgies: Multitap: appuyer la touche 2 une fois pour a, deux fois pour b, trois fois pour c Permet de saisir du texte sans regarder (eyes-free operation) Comment saisir des lettres rptes? Avec une pause (timeout) T9: cherche des mots probables dans un dictionnaire Appuyer une touche Next pour corriger si la chane suggre nest pas la bonne Difficile dentrer des mots qui ne sont pas dans le dictionnaire LetterWise (MacKenzie et al. 2001): cherche une chane de caractres probable dans un tableau de chanes de N caractres Ncessite moins de mmoire que le dictionnaire de T9 Plus rapide que Multitap(Pour plus dinformations, voir aussi Wigdor et Balakrishnan 2004.)

TiltText (Wigdor et Balakrishnan, 2003)http://www.youtube.com/watch?v=hxXF3C0y4qY

Demi clavier (Half Keyboard) de Matias Corp.http://www.halfkeyboard.com/

Septambic keyer ou chorded keyboardCombien de combinaisons de touches sont possibles ?4 x 24 1 = 63 accords possibles

Les priphriques dentre:les priphriques de pointage(pointing devices)

La premire souris1968Douglas EngelbartStanford Research InstituteDeux galets pour x et y

30+ ans plus tardPav tactile (touchpad)Rotation sensingRockin MouseRetour haptique (retour de force, force feedback)

Dautres sortes de dispositifs de pointage 2DTablette numrisante ou tablette graphique (digitizing tablet, graphics tablet) avec stylet (stylus) et/ou souris (puck)cran tactile (touchscreen)Crayon optique (light pen)Pav tactile (touchpad)Manette, manche balai (joystick)isomtrique (rigide, capte la pression, exemple: Trackpoint)lastique (comme isotonique, mais retourne au centre lorsquelle est lche)isotonique (peut-tre dplace librement)Boule de commande (trackball)Oculomtre (command oculaire, eye tracking)

TrackPoint (manette isomtrique)Pav tactile (touchpad)

Boules de commande de Logitech

Tablettes graphiquesWacom Bamboo5.8x3.7 pouces; 80$Wacom Cintiq 21UXavec cran intgr21.3 pouces (17x12.75); 2500$Wacom Intuos312x19 pouces; 750$(prix de 2008)

Priphriques pour tablettesLes stylets peuvent avoir un capteur de pression au bout un bouton sur le bout du stylet pour permettre un clic un bouton sur le ct (barrel button) une molette (scroll wheel) quon peut tourner

IntuPaint (Vandoren et al. 2008)et FluidPaint (Vandoren et al. 2009)

Proprits des dispositifs de pointageCapture absolue vs rlativeExemple: la souris capte des mouvements relatifsExemple: les tablettes numrisantes capte une position absolue, mais peuvent tre utilises en mode absolu ou en mode relatif pour dplacer un curseurLaquelle est plus gnrale? Autrement dit, laquelle permet de simuler lautre si on veut? Rponse: capture absolue

Proprits des dispositifs de pointage (2)Pointage direct vs indirectPointage direct: les espaces dentre et de sortie concidentExemple: une souris, ou une tablette numrisante sans cran intgr, permettent un pointage indirectExemple: un cran tactile, ou une tablette numrisante avec cran intgr, permettent un pointage directLequel est plus intuitif ? directLequel est plus prvisible ? directLequel est moins fatiguant ? indirectLequel vite de cacher le retour visuel ? indirectLequel est prfr par les artistes/graphistes ? a dpendLequel est plus prcis ? a dpend non de la dimension direct/indirect, mais si on pointe avec notre doigt ou un intermdiaire

Proprits des dispositifs de pointage (3)Capture discrte vs continueExemple: une souris capte une position (essentiellement) continue, mais on pourrait larrondir vers une de N positions discrtes si on voulaisExemple: touches de flches (ou touches de direction), ou un interrupteur N positions, permettent de capter des donnes discrtesLaquelle est plus gnrale ? Les deux peuvent simuler lautre

Proprits des dispositifs de pointage (4)Contrle de position (ou contrle dordre zro) vs contrle de vitesse (ou contrle de taux ou contrle de premier ordre)Contrle de vitesse: la position du priphrique dtermine la vitesse laquelle une autre variable (ex: position de curseur) changeExemple de contrle de vitesse avec une souris, dans Microsoft Word 2007:La vitesse de dfilement est dtermine par le dplacement de la sourisExemple: la fentre sur une porte dautomobile peut tre ouverte/ferme avec un levier (contrle de position) ou bien un interrupteur (contrle de vitesse)Exemple: souris capte une position, et permet une contrle de position ou bien une contrle de vitesseExemple: manette isomtrique ne permet quune contrle de vitesseLaquelle est plus gnrale ? positionLaquelle permet mieux dtre prcis ? positionLaquelle ncessite typiquement moins despace sur un bureau ? vitesse (exemple extrme de cela: le TrackPoint, qui prend < 1 cm carr)

Priphriques de pointage contrle de vitesse, pour le 3DSpaceballSpacemouseSpaceball 5000MagellanSpaceNavigator (60$)3dconnexion.com(en 2008)Dautres produits de 3dconnexion.com(en 2008)

Taxonomie des priphriques dentre (Buxton)M: intermdiaire MchaniqueT: Toucher

Quelques propritsavantageuses de la sourisLe poids de la souris stabilise et attnue les tremblements dans la main.La direction de mouvement des boutons est perpendiculaire au plan de mouvement de la souris. Donc, on peut appuyer un bouton sans affecter la position de la souris (contrairement aux boutons sur le ct des stylets).On peut lcher et ressaisir la souris sans changer sa position.Quels autres priphriques ont ces proprits ? (Pour une analyse plus dtaille des proprits avantageuses de la souris, voir, par exemple, Balakrishnan et al. 1997, http://doi.acm.org/10.1145/258549.258778 )

Modle trois tats de Buxton (1990)tat 0: pas de coordonnes (x,y)tats 1 et 2: la position (x,y) est capteExemples: Tablette numrisante: tats 0, 1, 2 Souris: tats 1, 2 cran tactile: tats 0, 1

Modle trois tats de Buxton (1990)tat 0: pas de coordonnes (x,y)tats 1 et 2: la position (x,y) est capteExemples: Tablette numrisante: tats 0, 1, 2 Souris: tats 1, 2 cran tactile: tats 0, 1tat 0: hors de porte sans coordonnestat 1: survol (x,y)tat 2: glissement (x,y)

TouchMouse(Hinckley et Sinclair 1999)tats 0, 1, 2

TouchMouse(Hinckley et Sinclair 1999)

Pop Through Buttons(Zeleznik et al. 2001, http://doi.acm.org/10.1145/502348.502384 )

PreSence (Rekimoto et al. 2003)

Haptic PenLee et al., "Haptic pen: a tactile feedback stylus for touch screens", UIST 2004

Handheld Projector and PenCao et Balakrishnan, "Interacting with Dynamically Defined Information Spaces using a Handheld Projector and a Pen", UIST 2006

PenLightSong et al., "PenLight: combining a mobile projector and a digital pen for dynamic visual overlay", CHI 2009

Pointing Devices used for Text Entry ?Dasher (David MacKay)http://www.inference.phy.cam.ac.uk/dasher/ http://www.inference.phy.cam.ac.uk/dasher/TryJavaDasherNow.html http://www.youtube.com/watch?v=0d6yIquOKQ0

Typing Devices used for Pointing ?QPointer, by Commodiohttp://www.commodio.com/products_keyboard.htmlvideo

Autres priphriques dentre?

Priphriques plusieursdegrs de libert(High Degree-of-Freedom devices)

Le Monkey(W. Bradford Paley, didi.com)

ShapeTapemeasurand.comBalakrishnan et al. 1999

Un rpertoire de priphriques dentrehttp://www.billbuxton.com/InputSources.htmlPlus de 20 catgories de dispositifs

Les styles dinteraction

Quelques styles dinteraction(interaction styles,interaction paradigms)Entre via langage de commandeEntre habituellement par texte, mais pourrait tre par reconnaissance de la paroleSyntaxe rigide et vocabulaire limitEntre via langue naturelleEntre par texte ou par reconnaissance de la paroleSyntaxe dentre beaucoup plus flexibleAutres formes dentre audioEntre de parole numris (sans reconnaissance), par exemple: message destin une bote vocaleEntre vocale sans parole (exemple: Igarashi et Hughes 2001)Sortie audioSortie audio sans parole (effets sonores, alarmes, etc.)Synthse de la paroleMenusFormulairesWIMPs / GUIsManipulation directeInteraction gestuelle

Command LanguagesUser-initiatedHarder for beginner, can be more efficient for expertDemands good retention by casual, infrequent usersUser must remember syntaxExample: UNIXls -l *.docgrep "^From:" inbox | grep i robertSome command languages (e.g. shell languages in UNIX) are extremely flexible (e.g. pipelining, macros, scripts )

Command NamesHard to choose best, most natural command name(Bad) Example: grepDesigners have difficulty choosing best nameProbability( 2 individuals generating same name) = 0.07-0.18 (Furnas et al. 1987)Delete, remove, expunge, wipe out, take away, ...A possible solution: rich aliases in command namesUse of abbreviationsCan increase typing efficiency, but is dangerous too !Compromise: have full words and abbreviations (e.g. gdb)Alternative solution: use auto-completionSpelling a problemBut spelling checkers and correctors feasible

Langue naturelle(Natural Language)DEC Voice (vido) (Cowley et Jones, 1993)Reconnaissance de parolesSynthse de paroles

Langue naturelle:quelques observations Mains et yeux librs pour dautres tchesFiabilit de la reconnaissance? Dpend de Emplacement du microBruits de fondTaille du vocabulaire reconnatreUtilisation pour entrer beaucoup de donnes?La fatigue et lennui peuvent changer la qualit de la voix de lutilisateurUne entre multimodale (voix pour commandes, clavier pour donnes) serait peut-tre mieux

Langue naturelle:quelques observations (2)Utilisation pour pointer?La souris est mieux pour spcifier des points prcisMessages derreurNe pas donner toujours le mme message derreurDonner pltot progressivement plus de conseils ou des instructions diffrentes si une erreur est rpteRecherche de mots cls dans une phrase entreReconnaissance plus fiable car le vocabulaire est restreintPeut donner une fausse impression que la machine comprend vraiment

Langue naturelleAvatar REA (vido) (Cassell et al. 1999)Reconnaissance de parolesSynthse de paroles

Quelques observationsOn voit une indication visuelle de ltat du systme, nous disant sil nous coute ou nonREA tourne son dos vers nous lorsquelle nest pas lcouteOn est capable dinterrompre REA pour parler

Langue naturellePut that there (vido) (Bolt 1980)Reconnaissance de parolesPointageMultimodal

Langue naturelleSpoken Language Shell et Office Manager(vido) (Lunati et Rudnicky 1991)Reconnaissance de parolesPointageMultimodal

Quelques observationsNotion de focus de voixChaque application moins de mots reconnatre, donc la fiabilit est meilleureContrle sur le endpointing (segmentation des phrases entres)Une contrle manuelle va augmenter la fiabilit aussiCorrection (par voix ou par clavier) des parties de lentre qui ont t mal-reconnuesRemarque: ncessite un retour visuel

Voice + Gestural InputGestures as annotationsVoice annotationsVIDEO Wang Freestyle (Hsiao & Levine 1989)

Remarque: une fois enregistrs, les gestes pourraient tre utiliss pour indexer dans laudio

Entre audio sans parolesIgarashi et Hughes 2001

Sortie audioUsine Arkola (vido) (Gaver et al. 1991)Simulation dusine avec effets sonores

Sortie audioLe Earpod (vido) (Zhao et al. 2007)

Menu DialoguesComputer-initiated display of alternativesTextVoice, e.g., Would you like to speak to... 1. Linda... 2. Susie... 3. Pierre... or 4. The operatorItems can have argumentsEither typed in, or in submenusMenu display and organizationMenu items displayed as words or pictographs (icons)?Menu pages simple, pull-down, pop-up, scrolled,

Menu DialoguesDepth (d) versus breadth (b) tradeoff: n = bdVery deep: b=2d=6Intermediate: b=4d=3Shallower: b=8d=2One-level:b=64d=1Generally, breadth is better than depthMenu organizationLogical, alphabetic, frequency of use, recency of useAdaptive versus adaptable menus

WIMPs (Windows, Icons, Mouse Program or Windows, Icons, Menus, Pointer) orGUIs (Graphical User Interfaces)Components:Windows (one of them active)MenusIconsControls and control panelsQuery and message boxesMouse/keyboard interfaceDirect manipulation

Les fentres (windows)Habituellement rectangulairesUne ou plusieurs fentres par logiciel ou par tcheFentres non-chevauchantes (Tiled windows)Fentres chevauchantes (Overlapping windows)

Fentres non-chevauchantes dans Eclipse

Elastic Windows (Kandogan et Shneiderman)

Compiz : systme de fentrage sur linux avec des effets visuels 2D/3D acclrs par GPUhttp://mybroadband.co.za/blogs/wp-content/uploads/2010/02/xgl-compiz-01.jpg

Direct ManipulationShneidermans definitionContinuous representation of the object of interestManipulation through physical actionsRapid, incremental, reversible operationsExamplesDragging a file to a trash can instead of typing del foo.txtWYSIWYG text editors (like Xerox Star, Microsoft Word)SpreadsheetsMusical score editorsProgramming languages ?Why Direct Manipulation ?One goal of interaction design: Minimize the effort required to translate the users real world goals into system goals.

Direct ManipulationText fields for entering positions vs 3D widgets that can be dragged.

Gestural InputGestures can be executed rapidly, and can be used as symbols to activate commands or select objectsSketchescan be used to quickly enter text or diagrams, without requiring the user to switch from the pointing device to something elseHave an informal, loose, implicit structureCan carry much more (implicit) information than typed textGestures as characters to recognizeGraffiti, Unistroke

Alvarado et Davis 2001http://www.youtube.com/watch?v=NZNTgglPbUA

LaViola 2007 http://doi.acm.org/10.1145/1281500.1281558

Phun (2008)Jeu/simulateur physique gratuit avec entre gestuellehttp://www.acc.umu.se/~emilk/

Phun

Entre gestuelleTeddy (Igarashi et al. 1999)

Entre gestuelleLes gestes comme donnes, exemple: objets et mouvementsVIDEO GENESYS Animation (Ron Baecker, MIT, 1971)

Le stylet sert pour faire de la capture de mouvements (motion capture ou mocap)

Entre gestuelleKurtenbach et Buxton (vido)Exemple de geste: encercler, dplacer, et une lettre "C" pour copier des formes

Les modes, et quelques exemplesde techniques dinteraction(utilisant lentre gestuelle et autre)

Techniques dinteraction (Interaction Techniques)are ways to use input devices to enter information"are made up of single input-device actions. (Foley, et al. Computer Graphics: Principles and Practice)

Verbes (actions, commandes, outils, oprations)Noms (objets, endroits)

Verbes dans un menu droulantNoms (objets, endroits)

Noms (objets, endroits)Verbes dans un menu contextuel

Les modes crent la possibilit davoir des erreurs de mode, o lutilisateur se crot en un mode lorsquil est dans un autreUn retour visuel indiquant le mode actuel est bien, mais souvent nest pas assez pour empcher les erreurs de modeExemples de retours visuels indiquant le mode: icne doutil surlign, forme de curseur, barre dtatLes menus contextuels aided viter les erreurs de mode, via des modes temporaires et (parfois) un retour kinesthsique (pression dans le doigt qui tient une touche appuye) augmenter lespace dcran disponible pour montrer le contenu/donnes (quoique ce contenu/donnes seront cachs temporairement pendant que le menu est affich)Diminuent la distance traverser avec le curseurPeuvent fusionner la slection de nom et verbe (slection plus rapide; meilleur couplage mental (mental chunking Buxton 1986))

tant donn tous ces avantages des menus contextuels, pouvons-nous amliorer leur conception?Y a t-il des widgets ou des techniques dinteraction encore mieux?

Menu radial(Radial Menu, Pie Menu)

Exemple utilisant, effectivement, des menus radiauxYatani et al., CHI 2008

Menus radiaux versusmenus linairesLes directions sont plus mmorables et plus faciles reproduire que les distances.

Menu radial hiarchique

Mouse Gestures pour Firefox

Marking MenuScale invariant recognition: Reconnaissance des gestes (marques) qui ne dpend pas de la longueur des segments; seule les angles des segments importe. Donc, les marques peuvent tre dessines en petit et donc rapidement, de faon balistique.Un utilisateur qui sait quelle marque dessiner na mme pas besoin de voir le menu safficher.

Ensemble de marques dcouvrables (self-revealing), contrairement aux interfaces gestuelles habituelles

Prsentation graphique amliore

Marking MenusVidoDmonstration (cobaye voluntaire s.v.p.?)

Transition de nophyte en expertMenus traditionels: Pointage versus racourcisMarking Menus: Transition graduelle et naturelle !

Les Marking MenusPermettent une slection plus rapide quavec les menus linaires (marques directionnelles et ballistques)Peuvent tre utiliss sans regarder lcran (eyes-free operation)Ont un ensemble de gestes dcouvrablesPermettent une transition graduelle et naturelle de novice en expertPeuvent tre utiliss pour slectionner nom et verbeSont limits environ 8 commandes par sous-menu, et une profondeur denviron 3 niveaux

RsumLes modes temporaires, maintenus en appuyant un bouton ou touche avec retour kinesthsique Permettent dviter les erreurs de modeExemple: une touche/racourci quon doit garder appuye pour maintenir un changement temporaire de modeExemple: widgets popup (contextuels)Peuvent combiner la slection de nom+verbeConsomment moins despace sur lcranUn widget popup avec plusieurs avantages: Marking MenusPermettent des gestes balistiquesTransition graduelle dutilisateur novice en utilisateur expert

Dautres exemplesde modes, outils, etc.vido: "Selection and Positioning tasks", Buxton 1983

Quelques observationsTechniques montres dans la vido:1. Glisser-dposer2. Barre doutils modale3. Moving menu (menu contextuel)4. Moving menu avec mmoireQuestions: parmi les 4 techniques, lesquelles Ne sont pas modales (ou bien ont seulement des modes temporaires avec retour kinesthsique), donc ont peu de possibilits derreurs de mode ? vitent des mouvements aller-retour entre la toile et la barre doutils, et ne ncessitent pas de consacrer de lespace une barre doutils ? Ont des affordances (barre doutils) visibles, montrant les oprations possibles ? Permettent quune mme forme soit cre plusieurs fois de suite, trs rapidement ? Assurent que chaque forme est toujours slectionne avec le mme geste de glissement, permettant lutilisateur dapprendre les gestes par cur et de les excuter rapidement ?

Can we extend popup menus/widgetsfor other uses?

Dautres menus et widgets contextuelsHotbox (Kurtenbach et al., 1999), Control Menus (Pook et al., 2000), Flow Menus (Guimbretire et Winograd, 2000), FaST Sliders (McGuffin et al., 2002), Tracking Menus (Fitzmaurice et al., 2003), Trailing Widget (Forlines et al., 2006) Hover Widgets (Grossman et al., 2006), PieCursor (Fitzmaurice et al., 2008)Ces widgets et techniques dinteraction sont adapts pour:Un grand nombre de commandesLe contrle de variables continuesLentre de texte et de nombres avec des gestesLutilisation dun stylet (par exemple, sur un tablet PC)

Le hotbox: un menu 2D dans Maya

FlowMenus (Guimbretire et al., 2000)

Manipulation 2D avec un FlowMenu (Guimbretire et al., 2000)

Toolglass :manipulation bimanuelleClic--travers: slection simultane de nom (objet) et de verbe (commande) !

Dautres utilisations des deux mains?

Entre bimanuelle ( deux mains)Utilisations possibles:Main dominante (MD) sur la souris, main non-dominante (MND) sur le clavierDeux souris, deux curseurs, symtrique :Est-ce quon peut cliquer plus rapidement en alternant entre les deux mains?Translation+rotation+changement dchelle simultane en 2DDeux souris, asymtrique :MND pour la camra, MD pour slectionner ou manipulerMND pour la palette doutils, MD pour cliquer--travers (Toolglass)

Modle de chane cinmatique(Yves Guiard 1987)La MND (main non-dominante) effectue des mouvements plus lents et plus grossiers que la MD (main dominante)Le mouvement de la MND prcde le mouvement de la MDLa MND tablit une rfrence de travail pour la MD

*Close-up photo: http://afreesingingvoice.com/piano_keys.jpgPhoto from side: http://www.kirstenvolness.com/p-logo.jpgDiagram from top: http://www1.webtrick.com/pt/instructors/0/4/8/PianoLayoutImagePNG.PNG

*http://www.intomobile.com/wp-content/uploads/2007/06/apple-iphone-intelligent-keyboard-on-screen-demonstration.png

*Closeup of keypad: http://www.cbc.ca/consumers/market/files/services/cellphones/gfx/keypad.jpg

*http://en.wikipedia.org/wiki/Keyer

*Images from dell.ca

*Intuos3: http://oneapiprod.synnex.com/image_technote/I115179539.jpgOthers: wacom.com

*http://www.freetimefoto.com/blog/wp-content/uploads/2007/04/intuos_stylus_lineup.jpg

*Spaceball: http://www.schrotthal.de/sgi/misc/spaceball.htmlSpacemouse: http://www.schrotthal.de/sgi/misc/spacemouse.htmlSpaceball 5000: http://www.gamedev.net/features/reviews/productreview.asp?productid=509Magellan photo: http://radiography.tees.ac.uk/soh_research/img/magellan.jpgMagellan diagram: http://www.dgp.toronto.edu/~gf/papers/PhD%20-%20Graspable%20UIs/Thesis.gf.html

*http://www.siggraph.org/publications/newsletter/v32n4/contributions/paley.html

**Furnas, G.W., Landauer, T.K., Gomez, L.M., Dumais, S. T., The vocabulary problem in human-system communication. Communications of the Association for Computing Machinery, 30 (11), Nov 1987, pp. 964-971

*Interesting issue:In command languages, users can copy-paste fragments/sequences of commands, treating them like macros or subroutines.In some cases, users can even write scripts containing lists of commands.Is there any way to do this in direct manipulation interfaces ?Example: the MEL language in Maya mirrors everything that can be done interactively. Users can perform an action interactively, and see the script that would have performed the same action. They can then drag this script onto a tool bar, creating a button that executes it over and over.

*Point out the tools and modes here. This paradigm of tools and modes is used a lot of many software packages, not just paint programs but also in: your favourite word processing program (fonts), or video editing packages (zoom tools, splicing tools, etc.)

Question: How do we indicate the current mode to the user ? - hiliting the tools icon, displaying text in the status bar, modifying the cursor shape,

Question: have you ever forgotten what mode you were in ? Clicked down with a tool only to realize its the wrong tool ? Not necessarily in a paint program, it could be in a word processor, or Premiere.Explain what a mode error is. Visual feedback, even at the cursor, isnt enough to prevent mode errors.// Does this ever happen in the real world ?

Wed like a way to allow the user to select these tools without running into mode errors.In reality, there are two things we want to allow the user to select: actions/tools/command/verbs and objects/locations/nouns.A lot of what users do with computers can be described in terms of selecting nouns and verbs, so itd be good to have a understanding of how to ease the selection of nouns and verbs.

*We could completely avoid the tool palette on the left, and have all commands in menus.We could design things so the user is always in selection mode, and goes to the menus whenever they want to create or modify an object.This avoids modes, since were always in selection mode, or temporarily in some creation mode after which we fall back to selection mode.So we avoid mode errors.We also save screen space.// Question: problems with this design ?Not necessarily the best design for all situations (e.g. creating multiple instances of the same class of object), but some products like Maya actually work along these lines.

*Question: any advantage or disadvantage to using popup menus over pulldown menus ?User doesnt have to travel as far with the mouse ?

The popup menu also has the advantage of combining verb and noun selection into a single action, which is often faster and corresponds better to the users mental chunking.

Earlier, we talked about visual feedback for indicating mode.It turns out that kinesthetic feedback is far superior to visual feedback (maybe mention experiment by sellen and kurtenbach et al. with vi with foot pedal vs keyboard and strong visual feedback)Kinesthetic feedback is not restricted to popup menus: talk about hitting hotkeys in 3D Studio MAX to manipulate camera versus *holding* down Alt in Maya.

*These are in use now in web browsers and games.

*Directions are easier to remember and reproduce than distances.Question: why?Picture taken from Kurtenbachs phd thesis*http://img327.imageshack.us/img327/346/027zd.gif

**Ballistically: marks can be drawn very quicklyExpert users only need to see ink stroke, which is less distracting than seeing the entire menu.

*Theres a natural correspondence between pathways in the menu and marks.Self-revealing gesture set.Explain why this is so great: other systems with gestures (graffiti for palm pilot etc.) require the user first learn the gestures

*Picture from Kurtenbachs phd thesis

*Note: marking menus are actually used in products, mainly Alias products.Radial menus are also used in web browsers and games.Question: disadvantages of marking menus ?*Repeat that these techniques can be used in commercial software systems and are currently used in real commercial systems (web browsers and games with radial menus; Alias Maya)

Mention that there are variations on Marking Menus, and there are examples of interfaces that combine Marking Menus and Toolglasses, or that combine 2-handed input with other popup widgets.

See the T3 paper for (Kurtenbach et al. CHI 97 ?) for one way of combining marking menus with toolglass.Theres also an article (TOCHI 2005 ?) by Guimbretiere et al. that compares different ways of merging command selection and direct manipulation, including toolglass.

*Marking Menus have some really nice properties, but they arent the end-all of popup interaction.Its possible to design many variations on popup widgets like marking menus.

Recall that: Why should we be interested in popup widgets ?Avoid modesBetter use of screen space: UI only appears when its needed

*Now, there is another interaction technique which integrates parameter selection and adjustment.A flow menu is sorta like a radial menu, where the user selects items by crossing a boundary. Here we see the user first selecting the item submenu, and then the contents of the submenu appear. The user can then cross back in to the centre to select zoom, which we see in the 2nd picture, and then in the 3rd we see that the menu items have been replaced by zoom values. At this point the user crosses a final time to select a zoom of 100 %.

So, FlowMenus are a hierarchical menu system.*In addition, FlowMenus can be used to perform direct manipulation of a 2D value. Blah blah blah.And by the way, Control Menus can also be used to do this : as soon as the user gets past the boundary of the radial menu, they could start dragging some object.