77
École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de perception pour robots mobiles Coordonnateur: Réjean Plamondon, ing. Ph.D., professeur titulaire Département de génie électrique, section génie biomédical (A.429.16) Courriel: rejean.plamondon @ polymtl.ca Chargé de cours et de laboratoire: Julien Beaudry, étudiant M.Sc.A. (A.321) Courriel: julien.beaudry @ polymtl.ca Chargé de laboratoire: Moussa Djioua, étudiant Ph.D. (A.408) Courriel: moussa.djioua @ polymtl.ca

École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

Embed Size (px)

Citation preview

Page 1: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

École Polytechnique de MontréalDépartement de génie électrique

ELE3100 - Projets de génie électrique

Robotique et informatique

Cours no. 4: Systèmes de perception pour robots mobiles

Coordonnateur:Réjean Plamondon, ing. Ph.D., professeur titulaireDépartement de génie électrique, section génie biomédical (A.429.16)Courriel: [email protected]

Chargé de cours et de laboratoire:Julien Beaudry, étudiant M.Sc.A. (A.321)Courriel: [email protected]

Chargé de laboratoire:Moussa Djioua, étudiant Ph.D. (A.408)Courriel: [email protected]

Page 2: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Plan du cours

2

• Problématique

• Classification des capteurs

• Capteurs usuels

• Cas particulier: vision artificielle

• Capteurs redondants et fusion d’information

• Interfaces avec ordinateur de bord

Page 3: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Problématique

3

Rôle du système de perception au sein du logiciel de contrôle du robot:

Page 4: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Problématique

4

Rôle du système de perception au sein du logiciel de contrôle du robot:

Donner au robot une représentation adéquate des informations lui permettant d’accomplir son travail. Ce système doit utiliser des capteurs capables de mesurer certaines informations propres au robot ainsi que certaines caractéristiques de l’environnement.

Page 5: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Problématique

5

Qu’est-ce qu’un robot peut chercher à mesurer?

Page 6: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Problématique

6

Qu’est-ce qu’un robot peut chercher à mesurer?

• L’état de divers systèmes (ex.: tension des batteries, position, vitesse de ses roues)

Page 7: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Problématique

7

Qu’est-ce qu’un robot peut chercher à mesurer?

• L’état de divers systèmes (ex.: tension des batteries, position, vitesse de ses roues)

• Son état dans l’environnement (ex.:position, vitesse de son centre de masse ou de son effecteur)

Page 8: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Problématique

8

Qu’est-ce qu’un robot peut chercher à mesurer?

• L’état de divers systèmes (ex.: tension des batteries, position, vitesse de ses roues)

• Son état dans l’environnement (ex.:position, vitesse de son centre de masse ou de son effecteur)

• L’état de l’environnement (ex.: position de balises, position et dimension d’obstacles, relief du terrain)

Page 9: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Problématique

9

VALUEJUDGMENT

SENSORYPROCESSING

SENSORS

DATABASE

BEHAVIORGENERATION

ACTUATORS

ENVIRONMENT

WORLDMODEL

PLAN

RESU

LTS

SITUATIONEVALUATION

PERCEIVE

D

SITUATIO

NS PLANEVALUATIONS

STATES

PLANS

PREDICTEDINPUT

UPDATES

ACTIONSEVENTS

INTERNAL

EXTERNAL

OBSERVEDINPUT

COMMANDEDACTIONS

Planning andExecution

SituationAssessment

J.S. Albus, « Outline for a Theory of Intelligence », IEEE SMC, vol. 21(3), pp. 473-509, 1991.

Page 10: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Problématique

10

VALUEJUDGMENT

SENSORYPROCESSING

SENSORS

DATABASE

BEHAVIORGENERATION

ACTUATORS

ENVIRONMENT

WORLDMODEL

PLAN

RESU

LTS

SITUATIONEVALUATION

PERCEIVE

D

SITUATIO

NS PLANEVALUATIONS

STATES

PLANS

PREDICTEDINPUT

UPDATES

ACTIONSEVENTS

INTERNAL

EXTERNAL

OBSERVEDINPUT

COMMANDEDACTIONS

Planning andExecution

SituationAssessment

J.S. Albus, « Outline for a Theory of Intelligence », IEEE SMC, vol. 21(3), pp. 473-509, 1991.

Logiciel de contrôle

Page 11: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Problématique

11

VALUEJUDGMENT

SENSORYPROCESSING

SENSORS

DATABASE

BEHAVIORGENERATION

ACTUATORS

ENVIRONMENT

WORLDMODEL

PLAN

RESU

LTS

SITUATIONEVALUATION

PERCEIVE

D

SITUATIO

NS PLANEVALUATIONS

STATES

PLANS

PREDICTEDINPUT

UPDATES

ACTIONSEVENTS

INTERNAL

EXTERNAL

OBSERVEDINPUT

COMMANDEDACTIONS

Planning andExecution

SituationAssessment

J.S. Albus, « Outline for a Theory of Intelligence », IEEE SMC, vol. 21(3), pp. 473-509, 1991.

Logiciel de contrôleSystèmede perception

Page 12: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Classification des capteurs

12

Il existe 2 grandes catégories de capteurs:

Page 13: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Classification des capteurs

13

Il existe 2 grandes catégories de capteurs:

• Capteurs proprioceptifs: capteurs capables de mesurer des informations propres (internes) au robot. Grâce à ces capteurs, le robot peut déterminer l’état de certaines de ses composantes (batteries, actuateurs, etc.). Il peut possiblement en déduire son état dans l’environnement.

Page 14: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Classification des capteurs

14

Il existe 2 grandes catégories de capteurs:

• Capteurs proprioceptifs: capteurs capables de mesurer des informations propres (internes) au robot. Grâce à ces capteurs, le robot peut déterminer l’état de certaines de ses composantes (batteries, actuateurs, etc.). Il peut possiblement en déduire son état dans l’environnement.

• Capteurs extéroceptifs: capteurs capables de mesurer des informations provenant de l’environnement (mesures externes). Il permettent au robot de modéliser son environnement extérieur.

Page 15: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Capteurs usuels

15

Mesure de position/vitesse angulaire

Le dispositif le plus utilisé est l’encodeur optique. L’idée est d’utiliser un disque troué, une source lumineuse et un capteur optique pour générer un signal numérique lors de la rotation de l’axe rotatif.

Page 16: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

16

Mesure de position/vitesse angulaire

Le dispositif le plus utilisé est l’encodeur optique. L’idée est d’utiliser un disque troué, une source lumineuse et un capteur optique pour générer un signal numérique lors de la rotation de l’axe rotatif.

http://www.eventide.com/technote/

Capteurs usuels

Page 17: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

17

Mesure de position/vitesse angulaire

Le dispositif le plus utilisé est l’encodeur optique. L’idée est d’utiliser un disque troué, une source lumineuse et un capteur optique pour générer un signal numérique lors de la rotation de l’axe rotatif.

http://www.eventide.com/technote/

Il existe principalement deux types d’encodeurs optiques :

•Encodeur optique absolu

•Encodeur optique incrémental

Capteurs usuels

Page 18: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

18

Encodeur optique absolu :

• Il discrétise l’axe de rotation en un nombre N de positions et retourne une valeur binaire unique pour chacune des positions.

• La position est alors représentée par un nombre n de bits où N=2n. Ces bits peuvent être lus de façon parallèle.

• Cet encodeur a l’avantage de demander peu de conversion pour obtenir l’orientation actuelle de l’axe et de ne pas dériver au niveau de la position angulaire (d’où le terme absolu), mais il demande plus de câblage puisque la lecture se fait en parallèle.

Capteurs usuels

Page 19: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

19

Encodeur optique absolu, signaux générés :

Disque d’un encodeur 8 bits

Source: BEI (http://www.beiied.com)

Capteurs usuels

Page 20: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

20

Encodeur optique incrémental :

• Il envoit de façon sérielle des bits 0 et 1 pour indiquer la rotation de l’axe.

• Il est alors nécessaire d’utiliser des compteurs suffisamment rapides pour lire ces variations de position et mesurer le déplacement angulaire dans un intervalle donné.

• La quadrature de phase permet de mesurer le sens de rotation et d’augmenter la précision de l’encodeur (par un facteur 4).

• Cet encodeur a l’avantage de donner directement le déplacement de l’axe (facilite le calcul de vitesse) et demande peu de câblage.

• Par contre, la mesure d’orientation n’est pas directe et peut occasionner une dérive, d’où l’utilité d’un bit INDEX pour signaler un tour complet de l’axe.

Capteurs usuels

Page 21: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

21

Encodeur optique incrémental, signaux générés :

Source: National Instruments (http://zone.ni.com/devzone/conceptd.nsf/webmain/)

Principe de fonctionnement Grâce à la quadrature de phase, 4 fois plus de précision

Capteurs usuels

Page 22: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

22

Mesure de position/vitesse angulaire

Il existe quelques autres dispositifs :

• Potentiomètre (résistance variable): la valeur de la résistance permet de déterminer la position angulaire grâce à un CAN. Solution économique mais précision moyenne.

• Tachymètre: génération d’un signal analogique ou numérique en fonction de la vitesse angulaire.

• La majorité des circuits de contrôle de moteurs DC fonctionnent avec des encodeurs optiques.

Capteurs usuels

Page 23: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

23

Mesure de position linéaire:

Utilisation de capteurs de rotation grâce à un lien mécanique. Traduction du mouvement rotatif mesuré en mouvement linéaire.

Exemple:

Source: BEI (http://www.beiied.com)

Capteurs usuels

Page 24: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

24

Capteurs inertiels:

Les capteurs inertiels cherchent à mesurer les accélérations, linéaires et/ou angulaires, du véhicule en mouvement.

Capteurs usuels

Page 25: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

25

Capteurs inertiels:

• Accéléromètres: mesure des accélérations linéaires du repère mobile, généralement grâce à un système micro électromécanique (MEMS).

Capteurs usuels

Page 26: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

26

Exemples d’accéléromètres:

• ADXL202 de National Instruments (http://www.analog.com/)

Capteurs usuels

Page 27: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

27

Exemples d’accéléromètres:

• ADXL202 de National Instruments (http://www.analog.com/):

• Mesure des accélérations selon 2 axes (X et Y)

• Bon marché (moins de 10$US par circuit)

• Caractéristiques intéressantes pour le prix: (voir fiche technique)

• Pratique pour mesurer des collisions sur des véhicules mobiles

• Peu approprié pour du positionnement (trop de bruit)

• Fabricant d’accéléromètres : INTERTECHNOLOGY, (http://www.intertechnology.com/Kistler/indexAcceleration.htm)

Capteurs usuels

Page 28: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

28

Utilisation des accéléromètres:

• Attention à la largeur de bande du capteur (mesure de vibrations?)

• Attention à l’emplacement p.r. au repère mobile:

Capteurs usuels

Page 29: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

29

Utilisation des accéléromètres:

• Attention à la largeur de bande du capteur (mesure de vibrations?)

• Attention à l’emplacement p.r. au repère mobile:

xm

ym

accéléromètre X-Y

ra

θ

cos 00 sinm m a

AxA A rAy

Am

αm cos 00 sinm m aA A r

Mesures du capteur:

Accélérations linéaires:

doit être connu

Capteurs usuels

Page 30: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

30

Capteurs inertiels:

• Gyroscopes: mesure des vitesses angulaires.

Capteurs usuels

Peuvent être mécaniques en utilisant le principe d’une toupie : http://www.accs.net/users/cefpearson/gyro.htm

Peuvent être optiques en utilisant le principe de Sagnac: http://www.mathpages.com/rr/s2-07/2-07.htm

Exemple: DSP-5000 de KVH, http://www.kvh.com/products/product.asp?id=45

Exemple: GG2479 de Honeywell,http://content.honeywell.com/dses/products/gyros/rlg-gg2479.htm

Page 31: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

31

Capteurs inertiels:

• Inclinomètres: mesure de l’inclinaison p.r. à l’horizontale, généralement grâce à une masse en mouvement. Ils sont généralement influencés par l’accélération du repère mobile (compensation possible en environnement dynamique).

Capteurs usuels

Page 32: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

32

Capteurs inertiels:

• Inclinomètres: mesure de l’inclinaison p.r. à l’horizontale, généralement grâce à une masse en mouvement. Ils sont généralement influencés par l’accélération du repère mobile (compensation possible en environnement dynamique).

Capteurs usuels

Exemple: CXTILT02 de Crossbow,http://www.xbow.com/Products/productsdetails.aspx?sid=39

Page 33: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

33

Capteurs inertiels:

• Centrale inertielle (Inertial Measurement Unit, IMU): combinaison de plusieurs capteurs inertiels pour donner les déplacements tri-dimensionnels d’un véhicule en mouvement.

Capteurs usuels

Page 34: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

34

Capteurs inertiels:

• Centrale inertielle (Inertial Measurement Unit, IMU): combinaison de plusieurs capteurs inertiels pour donner les déplacements tri-dimensionnels d’un véhicule en mouvement.

Capteurs usuels

Exemple: DQI de BEI Technologies, http://www.systron.com/pro_DQI.asp

Page 35: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

35

Capteurs inertiels:

• Il est possible d’obtenir les positions et vitesses d’un véhicule par l’intégration des mesures des capteurs inertiels

• Mais attention à la dérive des mesures, il est nécessaire de corriger par capteur absolu.

Capteurs usuels

Exemple Matlab de positionnement avec accéléromètre

Page 36: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

36

Capteurs de force/pression:

• Les capteurs de force peuvent être utiles pour manipuler des objets à l’aide d’un bras robotisé (mesure de contact, contrôle en force, limites de sécurité, etc.)

• Ils existent sous différentes technologies, voici un exemple utilisant des résistances piézoélectriques:

Capteurs usuels

Page 37: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

37

Capteurs de force/pression:

• Les capteurs de force peuvent être utiles pour manipuler des objets à l’aide d’un bras robotisé (mesure de contact, contrôle en force, limites de sécurité, etc.)

• Ils existent sous différentes technologies, voici un exemple utilisant des résistances piézoélectriques:

Capteurs usuels

Exemple: capteurs de force de Honeywell,http://content.honeywell.com/sensing/prodinfo/force/

Page 38: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

38

Capteurs de contact:

• Capteurs donnant un signal binaire (interrupteurs) lors d’un contact physique. Ils sont faciles à interfacer et peuvent aider à la navigation sécuritaire d’un robot.

Capteurs usuels

• Ils peuvent également être regroupés sous forme de pare-chocs instrumenté.

Exemple: interrupteurs de contact de Omron, http://www.omron.ca/

Page 39: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

39

Système de positionnement global GPS: permet d’obtenir la position en longitude et latitude sur le globe.

• Précision de plusieurs mètres si utilisé de façon conventionnelle

• Utilisation du GPS différentiel pour améliorer la précision. Possibilité d’atteindre des précisions de quelques centimètres.

Capteurs usuels

Référence web: http://www.wordiq.com/definition/Global_Positioning_System

Page 40: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

40

Capteurs à ultrasons (sonar): capteurs combinant un émetteur et un récepteur à ultrasons. Le temps de transport de l’onde permet de déterminer la distance relative d’objets extérieurs.

Capteurs usuels

Page 41: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

41

Capteurs à ultrasons (sonar): capteurs combinant un émetteur et un récepteur à ultrasons. Le temps de transport de l’onde permet de déterminer la distance relative d’objets extérieurs.

Capteurs usuels

Exemple: Nomadic Sensus 200

Page 42: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

42

Capteurs laser (laser rangefinders):

• Utilisation semblable à un capteur à ultrasons. Mesure de distance en mesurant le temps de transport du signal laser ou son déphasage à la réception. Précision de l’ordre de quelques mm.

Capteurs usuels

Page 43: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

43

Capteurs laser (laser rangefinders):

• Utilisation semblable à un capteur à ultrasons. Mesure de distance en mesurant le temps de transport du signal laser ou son déphasage à la réception. Précision de l’ordre de quelques mm.

Capteurs usuels

Exemple: SICK LMS200,http://www.sick.de/de/products/categories/auto/lasermeasurementsystemsindoor/en.html

Page 44: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

44

Autres types de capteurs:

• Capteurs de lumière: capteurs infra-rouges, photorésistances, phototransistors, cellules photoélectriques

• Capteurs sonores: microphones

• Capteurs de températures

• Capteurs olfactifs

Capteurs usuels

Page 45: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

45

Concept de base

Tout comme pour l’être humain, la vision d’un robot est de loin son « sens » le plus complexe. Mais c’est également le plus puissant puisqu’il permet d’obtenir une quantité impressionnante d’information provenant de son environnement.

Page 46: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

46

Concept de base

Tout comme pour l’être humain, la vision d’un robot est de loin son « sens » le plus complexe. Mais c’est également le plus puissant puisqu’il permet d’obtenir une quantité impressionnante d’information provenant de son environnement.

Au sein d’un robot, l’objectif de la vision artificielle est d’acquérir une certaine information visuelle de l’environnement, et de la traiter adéquatement de façon à mettre en forme une représentation adéquate de ce dernier.

Page 47: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

47

Principales utilités d’un système de vision au sein d’un robot mobile:

• Reconnaître le terrain (relief, obstacles, etc.)

• Recherche de balises et positionnement par rapport à un référentiel absolu

• Reconnaissance d’objets mobiles (caractéristiques, positionnement relatif, etc.)

• Traitement d’information visuelle abstraite (symboles écrits, expressions visuelles, etc.)

Page 48: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

48

Comment développer un tel système???

Quel type de lentille utiliser? Mon image sera-t-elle déformée?

Quel type de caméra utiliser? Combien de fps vais-je obtenir?

Qu’est-ce que la vision stéréo? Est-ce nécessaire?

Vision couleur ou noir et blanc?

Comment je traite mon image une fois numérisée?

Page 49: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

49

Principaux types de caméras:

• Caméras analogiques: caméras avec capteur CCD de dimension variable retournant un signal analogique selon les standards NTSC, PAL ou SECAM (explications : http://www.alkenmrs.com/video/standards.html )

• Environ 30 fps

• Signaux sur câbles conventionnels (composite, coaxial ou RGB)

• Besoin d’une carte d’acquisition pour lire et numériser l’image

Page 50: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

50

Caméras analogiques, exemples de fabricants• Caméras: PULNIX (http://www.pulnix.com)

• Cartes d’acquisition: Matrox (http://www.matrox.com/imaging/)

Caméra couleur analogique

Acquisition couleur, format PC/104+

Page 51: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

51

Principaux types de caméras:

• Caméras numériques: caméras avec capteur CCD offrant un signal numérique en sortie

• Pas d’entrelacement comme pour caméras analogiques

• Possibilité de qualité d’image et de fps élévés

• Interfaces numériques standardisées (parallèle: LVDS ou série: CameraLink, FireWire)

• Besoin d’une carte d’acquisition pour lire image numérisée

Page 52: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

52

Caméras numériques, exemples de fabricants• Caméras: PULNIX (http://www.pulnix.com)

• Cartes d’acquisition: Coreco (http://www.imaging.com)

Exemple: TMC6700, caméra couleur numérique, format LVDS ou Camera Link, 60fps (http://www.pulnix.com/Imaging/Released/c-c6700.html)

Exemple: PC-CamLink, lecture de caméras numériques selon le format Camera Link, transfert direct en mémoire (DMA) à 120Mo/s, possibilités de traitement sur carte (LUT)

Page 53: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

53

Principaux types de caméras:

• Caméras USB: caméras avec capteur CCD offrant un signal numérique sur le bus USB

• en version USB 1.1 (12Mb/s), permettent environ 15fps maximum en couleur

• pas besoin de cartes d’acquisition

• solution bon marché à performances moyennes

• avec l’arrivée du USB 2.0 (480Mb/s), performances beaucoup plus intéressantes

Exemple de caméra: Logitech QuickCam Pro 4000

Page 54: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

54

Quelques configurations possibles:

• Caméra unique

• Caméras stéréoscopiques

• Caméras omnidirectionnelles

Possibilité d’utiliser ces configurations en combinaisons pour combiner leurs avantages

Page 55: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

55

Quelques configurations possibles:

• Caméra unique: champ de vision restreint, possibilité d’orienter la caméra

Chien AIBO: http://www.sony.net/Products/aibo/ Champions RoboCup: http://www.robocup.de/germanteam/

Vision and Mobile Robotics Lab, CMU:http://www-2.cs.cmu.edu/~vmr/

Page 56: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

56

Quelques configurations possibles:

• Vision stéréoscopique : reconstruction tridimensionnelle d’une scène à partir d’images planaires provenant de deux caméras

Page 57: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

57

Quelques configurations possibles:

• Vision stéréoscopique : reconstruction tridimensionnelle d’une scène à partir d’images planaires provenant de deux caméras

Robot humanoïde COG du MIT:http://www.ai.mit.edu/projects/humanoid-robotics-group/cog/cog.html

Page 58: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

58

Quelques configurations possibles:

• Vision stéréoscopique : reconstruction tridimensionnelle d’une scène à partir d’images planaires provenant de deux caméras

Robot humanoïde COG du MIT:http://www.ai.mit.edu/projects/humanoid-robotics-group/cog/cog.html

Robots d’exploration du Jet Propulsion Laboratory:http://marsrovers.jpl.nasa.gov/home/index.htmlhttp://robotics.jpl.nasa.gov/people/mwm/visnavsw/aero.pdf

Référence web: http://www.cs.ubc.ca/spider/jhoey/review/review.html

Page 59: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

59

Quelques configurations possibles:

• Caméra omnidirectionnelle : vision 360o, souvent obtenue grâce à un miroir convexe (sphérique, conique, hyperboloïdal, parabolique)

Page 60: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

60

Quelques configurations possibles:

• Caméra omnidirectionnelle : vision 360o, souvent obtenue grâce à un miroir convexe (sphérique, conique, hyperboloïdal, parabolique)

Projet VISTA à CMU:http://www.frc.ri.cmu.edu/projects/vista/

Page 61: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

61

Quelques configurations possibles:

• Caméra omnidirectionnelle : vision 360o, souvent obtenue grâce à un miroir convexe (sphérique, conique, hyperboloïdal, parabolique)

Projet VISTA à CMU:http://www.frc.ri.cmu.edu/projects/vista/

Projet Robofoot de Polytechnique:http://robofoot.auto.polymtl.ca/accueil.html

Référence web: http://www.cis.upenn.edu/~kostas/omni.html

Page 62: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

62

Quelques outils de développement:

• OpenCV: Open Souce Computer Vision Library, librairie C/C++ contenant une panoplie de méthodes usuelles en vision artificielle (http://www.intel.com/research/mrl/research/opencv/)

• CMVision: Color Machine Vision, librairie C contenant quelques éléments utiles pour vision couleur en temps réel (http://www-2.cs.cmu.edu/~jbruce/cmvision/)

Page 63: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

63

Quelques outils de développement:

• CVIPtools: librairie d’outils utiles au développement d’applications en vision artificielle (méthodes usuelles, interfaces de commande, etc.) (http://www.ee.siue.edu/CVIPtools/)

• Mathworks Image Acquisition Toolbox et Image Processing Toolbox: permettent d’acquisitionner des images provenant d’une caméra et de faire différents traitements au sein de l’environnement Matlab (http://www.mathworks.com/products/imaq/) (http://www.mathworks.com/products/image/)

Page 64: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

64

Quelques outils de développement:

Certains fabricants de matériel de vision par ordinateur développent leurs propres librairies, souvent adaptées à leur propre matériel pour de meilleures performances. Ces librairies sont rarement gratuites. Exemple:

• Matrox Imaging Library: (http://www.matrox.com/imaging/products/mil/)

Page 65: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Vision artificielle

65

Références:

• B. Klaus, P. Horn. Robot Vision. The MIT Press, Boston, USA, 1986.

• R. C. Gonzalez. Digital Image Processing. Prentice Hall, New Jersey, USA, 2002.

• G. Dudek, M. Jenkin. Computational Principles of Mobile Robotics. Cambridge University Press. Cambridge, UK, 2000.

• CVonline: The Evolving, Distributed, Non-Proprietary, On-Line Compendium of Computer Vision. http://homepages.inf.ed.ac.uk/rbf/CVonline/

Page 66: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Capteurs redondants et fusion d’information

66

• La redondance peut permettre une meilleure précision en combinant les qualités de plusieurs types de capteurs.

Page 67: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Capteurs redondants et fusion d’information

67

• La redondance peut permettre une meilleure précision en combinant les qualités de plusieurs types de capteurs.

• L’objectif est d’obtenir, à partir de plusieurs sources d’informations, un estimé dont l’erreur est inférieure à celle obtenue par une source unique.

Page 68: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Capteurs redondants et fusion d’information

68

• La redondance peut permettre une meilleure précision en combinant les qualités de plusieurs types de capteurs.

• L’objectif est d’obtenir, à partir de plusieurs sources d’informations, un estimé dont l’erreur est inférieure à celle obtenue par une source unique.

• La fusion d’information implique donc un certain filtrage des données provenant des différentes sources et un système d’équations permettant de les combiner

Page 69: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Capteurs redondants et fusion d’information

69

• La redondance peut permettre une meilleure précision en combinant les qualités de plusieurs types de capteurs.

• L’objectif est d’obtenir, à partir de plusieurs sources d’informations, un estimé dont l’erreur est inférieure à celle obtenue par une source unique.

• La fusion d’information implique donc un certain filtrage des données provenant des différentes sources et un système d’équations permettant de les combiner

estiméfiltre

source1

sourceN

. . .

Page 70: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Capteurs redondants et fusion d’information

70

• La redondance peut permettre une meilleure précision en combinant les qualités de plusieurs types de capteurs.

• L’objectif est d’obtenir, à partir de plusieurs sources d’informations, un estimé dont l’erreur est inférieure à celle obtenue par une source unique.

• La fusion d’information implique donc un certain filtrage des données provenant des différentes sources et un système d’équations permettant de les combiner

• Le filtre de Kalman est une technique pouvant donner un estimé à erreur minimale

estiméfiltre

source1

sourceN

. . .

Page 71: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Capteurs redondants et fusion d’information

71

Quelques exemples de redondance

Robot mobile:Position obtenue de l’odométrie (encodeurs optiques) et d’un système de positionnement p.r à un référentiel fixe (vision, GPS).

fusionposition x

y

odométrie 1 ... n

gyro/boussole

GPS G Gx y

vision V V Vx y

Page 72: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Capteurs redondants et fusion d’information

72

Quelques exemples de redondance

Véhicule aérien:Position obtenue d’un système GPS et d’une centrale inertielle.

fusionposition, orientation

x

y

z

xyzRRR

GPS G G Gx y z

IMU(centrale inertielle)

z zx y x yA A A

Page 73: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Capteurs redondants et fusion d’information

73

Quelques exemples de redondance

Véhicule sous-marin:Position obtenue d’un système à ultrasons (exemple: http://www.ixsea.com/php/contenu/en/p-lbl_system.php) et d’une centrale inertielle.

fusionposition, orientation

x

y

z

xyzRRR

ultrasons U U Ux y z

IMU(centrale inertielle)

z zx y x yA A A

Page 74: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Capteurs redondants et fusion d’information

74

Filtre de Kalman: un aperçu

• Ensemble d’équations mathématiques offrant une méthode numérique efficace (récursive) de la méthode des moindres carrés (http://mathworld.wolfram.com/).

• Ce filtre est intéressant pour donner un estimé de l’état actuel du système en fusionnant divers capteurs

• Ces capteurs peuvent donner des informations différentes, avec des niveaux de bruit différents, et à des intervalles de temps différentes.

Référence web: http://www.cs.unc.edu/~welch/kalman/

Page 75: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Capteurs redondants et fusion d’information

75

Filtre de Kalman: un aperçu

Source: G. Welch, G. Bishop. An Introduction to the Kalman Filter. http://www.cs.unc.edu/~welch/media/pdf/kalman_intro.pdf

Page 76: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Interfaces avec ordinateurs de bord

76

• Pour un robot mobile, le système de perception se doit d’être programmé sur l’ordinateur de bord.

• Cet ordinateur doit donc interfacer adéquatement les différents capteurs du robot.

• Différents types de capteurs = différents types d’interfaces.

Page 77: École Polytechnique de Montréal Département de génie électrique ELE3100 - Projets de génie électrique Robotique et informatique Cours no. 4: Systèmes de

ELE3100, Projets de génie électrique:

systèmes de perception pour robots mobiles

Interfaces avec ordinateurs de bord

77

Principales interfaces disponibles sur un ordinateur embarqué:

• Connection directe du capteur: CAN, I2C, RS232, RS422, RS485, USB, IEEE-1394 (FireWire), I2C, Ethernet, port parallèle

• Connection via une carte d’entrées/sorties: bus PCI (PC/104+), bus ISA (PC/104)

Référence web: http://www.interfacebus.com/Interface_Bus_Types.html