66
Mer Innovate La e-maintenance et la réalité augmentée Usage pour les éoliennes off-shore Vincent HAVARD ; M’hammed SAHNOUN; Navonil MUSTAFEE; Anna WIENKE; Dorian BOULC’H; Phil GODSIFF; Andi SMART; David BAUDRY 20/04/2015

La e-maintenance et la réalité augmentée · Contexte > E-maintenance pou les femes d’éoliennes off-shore La e-maintenance et la réalité augmentée 4/65 1 Contexte L’un des

  • Upload
    vodien

  • View
    214

  • Download
    0

Embed Size (px)

Citation preview

Mer Innovate

La e-maintenance et la réalité augmentée Usage pour les éoliennes off-shore

Vincent HAVARD ; M’hammed SAHNOUN; Navonil MUSTAFEE; Anna WIENKE; Dorian BOULC’H; Phil GODSIFF; Andi SMART; David BAUDRY 20/04/2015

Contacts > E-maintenance pour les fermes d’éoliennes off-shore

La e-maintenance et la réalité augmentée 1/65

Contacts CESI : [email protected] (chapitres 2, 3.1, 3.3, 3.5) Exeter : [email protected] (chapitres 3.2, 3.4)

Contacts > E-maintenance pour les fermes d’éoliennes off-shore

La e-maintenance et la réalité augmentée 2/65

Contenu Contacts ................................................................................................................................................... 1

1 Contexte .......................................................................................................................................... 4

2 État de l’art ...................................................................................................................................... 6

2.1 E-maintenance pour les fermes d’éoliennes off-shore ........................................................... 6

2.1.1 Définition ......................................................................................................................... 6

2.1.2 Implémentation de l’e-maintenance ............................................................................... 7

2.1.3 E-maintenance: conception du besoin à l’implémentation ............................................ 7

2.2 Les défaillances des éoliennes off-shore ................................................................................. 9

2.2.1 Défaillance du système électrique .................................................................................. 9

2.2.2 Défaillances du système d'orientation ............................................................................ 9

2.2.3 Défaillance de la boîte de vitesse .................................................................................... 9

2.2.4 Défaillance des systèmes hydrauliques ........................................................................... 9

2.2.5 Défaillances des pales.................................................................................................... 10

2.2.6 Classification des causes de défaillance ........................................................................ 10

2.3 La maintenance des éoliennes offshore ................................................................................ 10

2.4 La réalité augmentée et les opérations de maintenance ...................................................... 11

2.4.1 Réalité augmentée : contexte de la maintenance off-shore ......................................... 11

2.4.2 Réalité augmentée : définition ...................................................................................... 12

2.4.3 Réalité augmentée : les principes de fonctionnement ................................................. 13

2.4.4 Réalité augmentée : les méthodes de suivis (tracking) ................................................. 14

2.4.5 Réalité augmentée : les dispositifs d’affichage ............................................................. 19

2.4.6 Réalité augmentée : les frameworks existants ............................................................. 22

2.4.7 Réalité augmentée : recherches et projets ................................................................... 23

2.4.8 Conclusion sur l’état de l’art de la réalité augmentée .................................................. 25

3 Travaux et résultats ....................................................................................................................... 26

3.1 Modélisation et simulation basé sur les systèmes Multi-Agents .......................................... 26

3.1.1 Modèle .......................................................................................................................... 26

3.1.2 Modèle de cout ............................................................................................................. 30

3.1.3 Relation entre les différents agents .............................................................................. 31

3.1.4 Simulation ...................................................................................................................... 32

3.1.5 Résultats et discussion .................................................................................................. 33

3.1.6 Perspectives ................................................................................................................... 35

3.2 Simulation d’Evènements Discrets ........................................................................................ 35

3.2.1 Introduction ................................................................................................................... 35

3.2.2 Méthodologie de simulation ......................................................................................... 35

Contacts > E-maintenance pour les fermes d’éoliennes off-shore

La e-maintenance et la réalité augmentée 3/65

3.2.3 Description du modèle .................................................................................................. 38

3.2.4 Application pratique du modèle .................................................................................... 39

3.2.5 Limites et Perspectives .................................................................................................. 40

3.3 Serious game (CESI version) .................................................................................................. 41

3.3.1 Jeu sérieux basé sur les systèmes multi-agents ............................................................ 41

3.3.2 Perspectives ................................................................................................................... 42

3.4 Serious game (Exeter version) ............................................................................................... 43

3.4.1 Introduction ................................................................................................................... 43

3.4.2 L’edutainment pour l’apprentissage ............................................................................. 43

3.4.3 Le jeu pour la maintenance des éoliennes offshores .................................................... 46

3.4.4 Perspectives ................................................................................................................... 51

3.5 Standardisation des procédures de maintenance en réalité augmentée ............................. 51

3.5.1 Introduction ................................................................................................................... 51

3.5.2 Les modes de collaboration ........................................................................................... 51

3.5.3 Le modèle de maintenance pour la réalité augmentée ................................................ 52

3.5.4 Le démonstrateur de réalité augmentée dédié à la maintenance ................................ 55

3.5.5 Conclusions, Limitations et perspectives ...................................................................... 55

4 Conclusion ..................................................................................................................................... 57

5 Bibliographie .................................................................................................................................. 57

6 Table des illustrations .................................................................................................................... 64

Contexte > E-maintenance pour les fermes d’éoliennes off-shore

La e-maintenance et la réalité augmentée 4/65

1 Contexte

L’un des plus grands challenges auxquels l’humanité devrait faire face est la production énergétique [1]. L’énergie produite par des éoliennes offshores représente une piste très prometteuse qui peut remplacer les énergies traditionnelles. Elle est supposée devenir le première source d’électricité dans le futur [2] [3].

Un parc éolien offshore est un ensemble d'éoliennes utilisées pour générer de l'électricité. Le choix des sites d'implantation de ce type de parc dépend principalement de (1) la distance de la côte, (2) la profondeur des eaux, et (3) la qualité du vent. L'Europe est leader mondial dans ce domaine grâce aux parcs développés surtout par les pays nordiques tels que la Suède, la Hollande ou le Danemark [4]. Plusieurs pays sont de plus en plus intéressés par ce type de technologie. La France connaitra ses premiers parcs offshores début 2018 [5].

Le plus grand obstacle devant le développement de cette énergie est le prix d'installation, d'exploitation et de maintenance élevé comparé aux autres sources d'énergies [6]. La maintenance des éoliennes offshores est une tâche complexe, coûteuse et difficile à effectuer surtout quand les conditions météorologiques sont dégradées [7]. D'après [8], le coût de la maintenance constitue de 25 à 30% du prix global du kWh, alors qu'il est seulement situé entre 10 et 15% pour des éoliennes onshores (terrestres). Ce coût dépend très fortement de la stratégie de maintenance, par exemple la maintenance préventive (systématique et/ou conditionnelle) représente entre 0.003 et 0.006 (€/kWh) tandis que la maintenance corrective représente entre 0.005 et 0.01 (€/kWh) [9]. La réduction des coûts de la maintenance devient donc une nécessité pour l'avenir des éoliennes offshores.

L’utilisation des nouvelles techniques de maintenance est la seule manière pour réduire le cout de la maintenance des éoliennes offshore. Etant donnés les spécifications des parcs éoliens offshores, la e-maintenance semble une option intéressante pour avoir des plan de maintenance efficace et moins cher [10]. Cette technologie a prouvé son efficacité dans plusieurs applications offshores telles que les plateformes pétrolières [11] [12]. Elle a aussi été utilisée pour la maintenance des parcs éoliens offshores dans la mer du nord [13].

Plusieurs travaux s'intéressent à l'optimisation des plans de maintenance des éoliennes offshores. Par exemple, dans [14] (2001), les auteurs ont proposé une architecture permettant d'intervenir rapidement en cas de panne en installant un bateau permanent dans le parc éolien. Ce dernier va constituer une base pour les équipes de maintenance du parc. Rademakers et al [15] ont proposé de placer plusieurs grues de 50 MT pour réduire le temps de maintenance des pièces conséquentes telles que les boites de vitesse. Ils ont montré que la multiplication des grues à 150 K€ coûtera moins cher à long terme. [6] et [16] ont proposé une maintenance basée sur le risque pour éviter les maintenances correctives très coûteuses.

D’un point de vue opérationnel et vu la rareté des bons experts, même s’il y a de très bons programmes de monitoring déjà opérationnels les pannes continuent d’avoir lieu causant des pertes énormes pour les exploitants et mettant en cause l’investissement qui a été mis dans la maintenance conditionnelle. Plusieurs chercheurs ont essayé de surpasser ce problème en utilisant des systèmes expert basés sur des techniques d’intelligence artificielle. Un état de l’art très intéressant a été fait par Liao [17] et Kalogirou [18] sur les systèmes experts et leurs utilisations. A titre d’exemple Wang [19] et Warwick [20] ont utilisé des systèmes experts pour le monitoring et la maintenance des systèmes complexes.

La modélisation et la simulation des parcs éoliens offshores est une étape nécessaire pour pouvoir optimiser les plans de maintenance. L'intervention de plusieurs acteurs dans le fonctionnement du système rend la tâche de modélisation complexe et difficile. Plusieurs équipes de recherche se sont intéressées au développement de simulateurs permettant de reproduire une ou plusieurs parties du système. [21] présente un modèle simple basé sur les réseaux de Petri, il propose aussi plusieurs implémentations possibles pour son modèle. [7] ont proposé un simulateur basé sur la Spécification Des Systèmes à Evénement discret (Discrete Event System Specification (DEVS)). Ils ont modélisé

Contexte > E-maintenance pour les fermes d’éoliennes off-shore

La e-maintenance et la réalité augmentée 5/65

chaque composante de l'éolienne, et leur simulateur a permis de montrer les avantages de l'utilisation d'une maintenance préventive conditionnelle plutôt qu'une maintenance préventive systémique. L'étude s'est intéressée uniquement à la maintenance de la boîte de vitesse. Pieterman et al [14] ont aussi développé un modèle basé sur l'historique pour le calcul des coûts de maintenance, ils ont étudié le système de transport et proposé une solution optimale pour la cas d'étude qu'ils avaient. Toutes les précédentes études ont été confrontées à l'incontournable problème de la complexité de la planification de maintenance des éoliennes offshores, dû au nombre de paramètres non maîtrisés dans le système, tels que les conditions météorologiques, le facteur humain et la difficulté d'accès.

Deux techniques de modélisation et de simulation des systèmes complexes ont été utilisées pour le développement des simulateurs dans ce projet, à savoir les systèmes multi-agents (MAS) et les systèmes à évènement discrets (SED).

L'utilisation des systèmes distribués, notamment les systèmes multi-agents (MAS), est une solution intéressante pour ce genre de système. Plusieurs études [22] [23] ont appliqué les systèmes multi-agents pour la modélisation et la simulation des parcs éoliens offshores parce que les méthodes conventionnelles de modélisation ne permettent pas de traduire tous les phénomènes qui peuvent apparaitre dans un tel système complexe [13]. Ce type d'architecture permet de modéliser chaque partie du système indépendamment, et de gérer plus tard les interactions et la négociation entre les différentes parties du système [9].

Les systèmes à événements discrets (SED) permettent de représenter un système opérationnel en utilisant les files d’attente côté serveur. L’utilisation de cette technique de simulation était appropriée pour modéliser l’activité de Maintenance, de Réparation, et d’Opération (MRO) pour les éoliennes offshores. En effet, les ressources nécessaires pour les tâches de MRO (i.e. les techniciens, les bateaux et l’équipage pour le transport) pouvaient logiquement être représentées comme des serveurs qui ont besoin d’un certain temps (soit le temps simulé dans le modèle) pour servir une requête (par exemple le temps de réparation d’un capteur en faute par un technicien, le temps d’occupation du bateau et de l’équipage pour une tâche spécifique de MRO). De même, puisque les erreurs sont remontées par les turbines, elles ont besoin d’être stockées dans une file pour attendre les ressources permettant de réparer cette erreur. Une file d’attente logique est donc essentielle puisque notre système opérationnel, comme la plupart des autres, se situe dans un environnement aux ressources limitées. En d’autres termes, les ressources ne sont pas infinies et les ressources existantes se consacrent à une tâche particulière en fonction de la priorité et des tâches restantes dans la file d’attente.

Ce rapport est divisé en deux grandes parties : la première partie concerne l’état de l’art sur la e-maintenance, les modes et les causes de défaillances des éoliennes offshore, et se termine par la maintenance assistée basée sur la réalité augmentée. Dans la deuxième partie, nous allons détailler les travaux développés dans le projet Mer Innovate, notamment les modèles et les simulateurs par des systèmes multi-agents et des systèmes à événements discrets. Nous exposons, après le démonstrateur de la réalité augmentée, les jeux sérieux développées. Ce rapport se termine par une conclusion générale.

État de l’art > E-maintenance pour les fermes d’éoliennes off-shore

La e-maintenance et la réalité augmentée 6/65

2 État de l’art

2.1 E-maintenance pour les fermes d’éoliennes off-shore L’e-maintenance est un nouveau concept pour la gestion des tâches de maintenance en utilisant les nouvelles technologies de l’information et la communication. La littérature donne un panorama très hétérogènes de définitions pour la e-maintenance en indiquant si elle est caractérisé par des modèles spécifiques ou utilise des technologies ou des standards différents ou si elle est basée sur l’utilisation de l’internet [24] [25]. Ce problème de considération de la e-maintenance est la principale cause de son utilisation académique. Récemment quelques chercheurs se sont intéressés à la question et ont proposé une formalisation globale de la e-maintenance. Leur proposition est intéressante parce qu’elle considère une vision commune entre les différents avis sur la question [11]. La section suivante va exposer les différentes définitions que nous avons trouvées dans la littérature.

2.1.1 Définition La première utilisation du terme e-maintenance est apparue au début du siècle (années 2000) [24]. Maintenant, c’est devenu un terme très utilisé chez les industriels et les académiques [26] [27]. Plusieurs définitions existent dans la littérature telles que : Baldwin [28] a cherché à définir le « e » de la e-maintenance par la relation suivante :

E-maintenance = Excellence maintenance = Efficient maintenance (faire plus avec peu de personnel et moins de moyens) + Effective maintenance (améliorer la matrice RAMS) + Enterprise maintenance (contribuer directement à la performance de l’entreprise). Cette définition n’est pas approuvée par tous les ingénieurs et chercheurs qui s’intéressent à la e-maintenance.

La divergence dans les définitions est due principalement au point de vue de chaque utilisateur ou service. Par exemple : D’un point de vue conceptuel, Baldwin, quelques années plus tard, définit la e-maintenance cette fois-ci comme : le réseau qui intègre et synchronise les différents types de maintenance et application de la fiabilité des systèmes tous ensemble pour délivrer rapidement et dynamiquement des informations quand elles sont demandés. La e-maintenance est un sous ensemble du e-manufacturing et du e-business [29].

Le centre de la maintenance intelligente « The Intelligent Maintenance Center (IMC) » définit la e-maintenance comme : la capacité de surveiller les actifs d’une usine ou d’un système de production, relie les systèmes de production et de maintenance opérationnel, collecte le retour des clients et intègre toutes ces informations dans les niveaux les plus élevés de l’entreprise [30]. La e-maintenance est considéré aussi comme un composant critique de l’e-manufacturing qui est définit dans [31] par : “un système de transformation qui permet de faire des opérations manufacturières pour arriver à une performance où le temps de panne est proche du zéro aussi bien que la synchronisation avec le système d’affaire grâce à l’utilisation des technologies du web (internet) et la technologie de l’infotronique.

Une définition plus générale est donnée par [32]: « la e-maintenance est un concept de gestion de la maintenance selon laquelle les actifs sont suivis et gérés sur internet. Elle introduit un niveau de transparence sans précédent et qui est efficace dans toutes les industries. »

D’autres contributeurs de la e-maintenance la définissent comme une stratégie de maintenance (méthode de gestion de la maintenance [33], [34], un plan de maintenance [35] ou un support de maintenance [36] [37] ou aussi tout simplement un type de maintenance [38]). Le point commun entre toutes les définitions est l’utilisation des technologies de l’information et de la communication pour les tâches de maintenance et la nécessité d’avoir une infrastructure fiable et une architecture fiable pour l’implémentation de l’e-maintenance.

État de l’art > E-maintenance pour les fermes d’éoliennes off-shore

La e-maintenance et la réalité augmentée 7/65

2.1.2 Implémentation de l’e-maintenance L’e-maintenance peut être implémentée grâce à deux facteurs principaux [27]:

1. L’aspect technologique de l’e-maintenance : l’apparition des nouvelles e-technologies a permis l’implémentation des notions théoriques de l’e-maintenance et d’augmenter l’efficacité des tâches de maintenance. Ces technologies sont nécessaires à l’implémentation des supports techniques de l’e-maintenance qui sont considérés comme la caractéristique principale du concept de l’e-maintenance. Il est composé globalement de l’IntraNet, ExtraNet et InterNet [39], la collecte et le traitement de l’information [40]. D’une manière générale la e-technologie augmente les possibilités :

D’utiliser des données provenant de diverses origines et sous différentes formes (fusion de données)

De traiter une quantité importante de données rapidement pour pouvoir faire des décisions plus précises et efficaces.

D’implémenter des activités collaboratives et/ou coopératives. Apres plusieurs années d’expertise sur l’implémentation de l’e-maintenance, aucun chercheur ne peut constater le fait que l’implémentation des e-technologies pour l’activité de maintenance est la plus importante raison de l’émergence de l’e-maintenance.

2. Une nouvelle façon de penser l’e-maintenance: c’est le besoin d’intégrer les performances de l’entreprise dans la décision de maintenance, ce qui impose à la maintenance d’être ouverte, intégrée et en collaboration avec les autres services de l’entreprise (une nouvelle façon de penser la maintenance). Dans ce contexte, l’e-maintenance n’est plus considéré comme uniquement un nouveau type de maintenance qui utilise les technologies de communication et d’informations, mais une discipline qui s’inscrit dans un cadre plus global où elle considère une approche scientifique, et technologique afin de réduire la perte de productivité et l’efficacité des moyens de production, en regardant aussi la qualité pour une meilleure compétitivité. Etant donné cette révolution dans la manière et les outils pour faire de la maintenance, les chercheurs travaillent sur la structuration des connaissances autour de l’e-maintenance afin de bien définir ce nouveau thème de recherche. En effet, la plus part des gens surtout dans le domaine industriel pensent que la maintenance est un mal nécessaire et son rôle se limite à réparer des choses quand ils se cassent. En outre, le rôle de la maintenance a changé pour prendre en compte la gestion du cycle de vie du produit et la conception du produit [41]. Un autre principe dans la nouvelle vision de l’e-maintenance est l’éco-efficacité, où le coût global de la planification de la maintenance est pris en compte en considérant tous les effets indirects de tâche de maintenance [42] [43]. L’émergence du concept de maintenance de cycle de vie a conduit au développement d’une nouvelle chaine de valeur de maintenance avec deux objectifs : (1) pour garder le niveau fonctionnel du produit et préserver ses caractéristiques d’un point de vue environnemental, (2) pour être en ligne avec les objectifs d’affaire et de profit [30]. La maintenance doit être considérée comme un système conforme à la discipline de l'ingénierie des systèmes. L’e-maintenance inclut la télémaintenance qui est basée sur l’utilisation de l’internet et les principes collaboratifs.

2.1.3 E-maintenance: conception du besoin à l’implémentation En se basant sur l’architecture de la maintenance, la modélisation de la stratégie décisionnelle de la maintenance est définie afin d’être plus efficace et rendre les décisions de la maintenance plus collaboratives. Elle peut être structurée suivant les niveaux d’abstraction suivant [30] :

2.1.3.1 La vision stratégique de l’e-maintenance : La vision stratégique de l’e-maintenance consiste à définir les règles pour les décisions stratégiques de l’entreprise. Elles peuvent être formulées d’une manière quantitative ou qualitative. Dans ce niveau

État de l’art > E-maintenance pour les fermes d’éoliennes off-shore

La e-maintenance et la réalité augmentée 8/65

de décision la finalité et les objectifs de l’e-maintenance sont définis. Ce modèle est beaucoup plus textuel que formel, il consiste à définir les principales indications stratégiques

2.1.3.2 Le business process dans l’e-maintenance : Elle permet la description de ce que doit faire une entreprise pour déployer les décisions stratégiques de l’e-maintenance. Une fonction d’affaire (business) de l’e-maintenance organise son processus d’affaire (business process). Aussi, cette fonction organise les activités qui sont implémentées par des procédures au niveau organisationnel. Selon le contexte spécifique de l’e-maintenance, le processus peut être divisé comme suit :

Processus de maintenance conventionnels qui ne sont pas changés avec l’implémentation de l’e-maintenance.

Processus de maintenance conventionnels qui peuvent être changés avec l’implémentation de l’e-maintenance

Nouveaux processus qui émergent à partir de l’utilisation de l’e-maintenance, tels que le processus d’affaire, et le processus de dégradation.

2.1.3.3 Le niveau organisationnel de l’e-maintenance L'organisation de l’e-maintenance doit prendre en charge l'organisation des processus d'affaires de l’e-maintenance. Ce niveau est une projection du processus d’affaire de l’e-maintenance sur une ou plusieurs organisations de l’e-maintenance. Il permet aussi d’évaluer les finalités probables des niveaux stratégiques et d’affaires. Il doit être proche du modèle du comportement de l’IMS (Intelligent Manufacturing System) de chaque composant de du système dynamique. Par exemple : ce niveau de décision doit faire face à :

La caractérisation de l’organisation principale de l’e-maintenance

La définition des unités d’organisation dans l’organisation sélectionnée.

La définition de chaque procédure

La maitrise de l’organisation sélectionnée

L’interopérabilité organisationnelle entre les procédures (opérations)

2.1.3.4 Architecture des données et de services Dans ce niveau d’abstraction les infrastructures détaillées de l’e-maintenance sont modélisées. Il est composé d’un ensemble de composants (matériel, logiciel et hybride), soutenant chaque fonction qui aide à l’implémentation de la structure de l’e-maintenance définie dans les niveaux plus haut (stratégique, affaire, …). D’un point de vue e-maintenance, ce niveau est composé d’un ou plusieurs réseaux d’informations contenant des serveurs, des postes de travail, des logiciels, des capteurs, etc.

L’objectif principal de cette infrastructure est d’assurer un bon niveau de qualité de service des processus d’exécution en terme d’évolutivité, de disponibilité et de garantie de temps de réponse concurrentiel pour les actions de l’e-maintenance. Un très grand nombre de technique et de produit innovants sont utilisées pour l’implémentation de l’e-maintenance. Une liste des technologies innovantes les plus utilisées sont présentées dans la liste suivante :

Une nouvelle génération de capteurs intelligents (micro-capteurs autoalimenté, des cellules de mémoire, amplification analogique, convertisseur, etc. bien adaptés pour l'analyse de vibration, l'analyse de l'huile, …)

Les tags RFID

GPS

Technologies de transmission sans fil

Les équipements innovants de communication tels que la réalité augmentée et la réalité virtuelle, Smartphone, tablettes, lunettes intelligentes,…

Nouveaux outils pour le diagnostic et le pronostique

Bases de données dynamiques

Web service

État de l’art > Les défaillances des éoliennes off-shore

La e-maintenance et la réalité augmentée 9/65

Full Web GMAO (Gestion de Maintenance informatisé) (e-GMAO)

2.1.3.5 Les plateformes de l’e-maintenance Une plateforme de l’e-maintenance peut être un logiciel, ou un ensemble logiciel/matériel pour une plateforme globale comme un ERP. Plusieurs plateformes pour l’e-maintenance ont été développées les plus connues sont : ICAS-AME, CASIP et sa version améliorée KASEM, WSDF, PROTEUS, TELMA, MRPOS, IMS/D2BTM, REMOTE DATA SENTINEL, DIAMOND, IPDSS, INTERMOR, QUESTRA, ENIGMA, DEXTER, DYNAWeb et SEMATECH. Seulement peu d’entre elles traduisent le concept de la e-maintenance tel qu’on vient de l’expliquer comme TELMA développée dans le laboratoire CRAN qui est basée sur un processus physique connecté à un système automatisé contenant un plan de maintenance.

2.2 Les défaillances des éoliennes off-shore Afin de définir la meilleure stratégie de maintenance d’un parc éolien offshore et pour avoir une bonne implémentation des concepts de l’e-maintenance, il est nécessaire de connaitre les modes et les causes de défaillance qui peuvent avoir lieu sur les éoliennes offshores. L’effet des pannes ou du moins leurs causes sur le fonctionnement des éoliennes dépend de plusieurs facteurs, à savoir, l’état de la turbine, le délai entre la panne et l’intervention, la durée de la tâche de maintenance, le composant affecté par la panne, etc. Plusieurs études se sont intéressées à la classification des composantes de l’éolienne selon leur type de défaillance et leur coût de maintenance. Dans le projet Européen RELIAWIND [44], les chercheurs ont classé les composants des éoliennes en neufs sous-ensembles. Ils ont aussi défini les plus importants modes et causes de défaillances des éoliennes offshore [45]. Une étude des parcs éoliens offshores Danois [46] a montré que 60% des pannes concerne le système électrique, la boite de vitesse, le système de contrôle de la direction, le générateur et le système hydraulique. Dans les sections qui vont suivre nous allons examiner les types et causes de pannes de chacune de ces parties.

2.2.1 Défaillance du système électrique Les pannes des bobines, les court-circuits et les dommages qui peuvent atteindre les composants électriques, les pannes des transformateurs et coupures des fils électriques sont les principaux modes de défaillance du système électrique d'une éolienne [47]. Les plus importantes causes de ce genre de défaillances étant la foudre, la mauvaise installation électrique et les défauts techniques de quelques composants électroniques (résistances, capacités, …)

2.2.2 Défaillances du système d'orientation Ce système contrôle l'orientation de la nacelle pour qu'elle suive la direction du vent. En général, on rencontre des problèmes de fissuration des arbres d'entraînement, des défaillances de roulement et des fixations, des fractures des engrenages [47]. Ces défaillances sont dues à des phénomènes de givrage, de haute vibration durant les périodes de surcharge et surtout des pannes liées au fonctionnement du moteur [48].

2.2.3 Défaillance de la boîte de vitesse La boîte de vitesse représente le maillon faible dans une éolienne, son rôle est très important, elle tombe en panne très souvent et son remplacement est compliqué et prend beaucoup de temps (environ 5 jours [15]). Ses modes de défaillance sont principalement liés au roulement et à la cassure des dents des engrenages [49]. Elles sont déclarées comme étant les résultats de la contamination par des particules, l'arrêt et le démarrage très fréquent de l'éolienne, et le fonctionnement dans des périodes de surcharge [47].

2.2.4 Défaillance des systèmes hydrauliques Des composants hydrauliques sont utilisés dans plusieurs connections à haute pression placées dans différents endroits de l'éolienne tels que le système d'orientation, la boîte de vitesse, le système de freinage, etc. Les problèmes de fuite d'huile dans tous ces composants sont connus comme la

État de l’art > La maintenance des éoliennes offshore

La e-maintenance et la réalité augmentée 10/65

défaillance des systèmes hydrauliques. Il est dû essentiellement au changement fréquent de température, à la corrosion, aux vibrations, à la mauvaise conception et à la mauvaise qualité des composants du système (durits, électrovanne, etc.). La mauvaise installation des systèmes hydrauliques est responsable de 60% des défaillances [50].

2.2.5 Défaillances des pales Les pales sont directement responsables du transfert de l'énergie du vent en énergie mécanique grâce à leurs formes aérodynamiques. D'une manière générale on peut regrouper sous "défaillance de pales" tous les phénomènes de cassures, fissures, vibrations,…. Leurs principales causes sont: la turbulence du vent, la rotation non contrôlée, la foudre et les défauts de fabrication [51].

2.2.6 Classification des causes de défaillance En regardant les causes de défaillances des différentes composantes de l'éolienne, nous les avons classé en trois principales: (1) la météo, (2) les erreurs d'installation, et (3) les problèmes liés à la qualité des produits utilisés comme présenté sur la Figure 1. La planification de la maintenance doit prendre en compte ces éléments. Le modèle que nous allons décrire dans ce papier considère les effets de la météo sur les éoliennes, et les différentes dégradations dues aux éventuels défauts de fabrication ou de montage.

Figure 1: les causes principales des défaillances des éoliennes

2.3 La maintenance des éoliennes offshore La maintenance des parcs éoliens offshore est plus cher et compliqué que celle des parcs éoliens onshore à cause de leur position, taille et de l’influence des conditions météorologique [52] [2]. Le concept de l’e-maintenance devient donc indispensable pour améliorer l’exploitation des énergies marine [53] [54]. Plusieurs travaux se sont intéressés à la thématique de l’e-maintenance en traitant les aspects les plus critiques tels que la disponibilité et l’accessibilité [55]. L’amélioration de l’accessibilité impact directement la disponibilité des éoliennes offshore comme le montre [56]. C’est pour cette raison que plusieurs équipes de recherche se sont penchées sur l’amélioration de l’accès aux parcs éoliens offshores : certaines se sont intéressées au maintien des bateaux utilisés pour la maintenance, d’autres équipes ont exploré la facilitation de l’accès entre le bateau et l’éolienne en travaillant sur la stabilisation du pont qui relie les deux [57]. De nombreuses amélioration ont été apporté aussi aux bases des éoliennes afin d’augmenter la sécurité du personnel de maintenance tels que : des plateformes fixes, des ponts flexibles, des bateaux plus confortable, etc. [58].

Electrical

systems Yaw System Gearbox Hydraulic Blade Failures

Lightning

Poor electrical

installation

Technical

defects

Resonances within resistor-capacitor (RC)

circuits

Icing problem in

extreme weather

High vibration level

during overload

Particle

contaminations

Frequent stoppage

and starting

High loaded operation

conditions

High/Low

temperature

Corrosion

Vibration

Improper

installation (60%)

Poor system

design

Poor component quality and system

abuse

Production

defects

Turbulent wind

Out-of-control

rotation

Leakages Damages Cracks

Breakups Bends

Generator windings, Short-circuit

Over voltage of electronics components Transformers

Wiring damages

Cracking of yaw drive shafts, Fracture of gear teeth,

Pitting of the yaw bearing race Failure of the bearing mounting bolts

Wearing, Backlash,

Tooth breakage

Weather Human Technical

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 11/65

La problématique de la disponibilité doit être améliorée à travers l’amélioration de la fiabilité des éoliennes [58]. Le nombre de maintenance non planifiée (maintenances correctives) peut être réduit en augmentant la fiabilité des composants et par l’amélioration des plans de maintenance. Quelques recommandations doivent être prises en compte lors de la construction des modèles de l’éolienne tel que :

(a) La réduction de nombre de composants et la simplification des modèles (b) L’adoption des architecture modulaire afin de facilité le remplacement des modules

défectueux. (c) L’utilisation des composants de haute fiabilité (d) L’implémentation des systèmes de protection contre la corrosion (e) Le développement des systèmes de commande à distance de l’éolienne et des systèmes de

surveillance performants La conception pour réduire les coûts de la maintenance peut conduire à des modèles complètement différents des standards utilisés dans les éoliennes offshore actuels, tel que l’utilisation des éoliennes à deux pales, la suppression des boites de vitesses, le développement des systèmes de maintenance automatisés, etc.

2.4 La réalité augmentée et les opérations de maintenance

2.4.1 Réalité augmentée : contexte de la maintenance off-shore Comme évoqué en introduction, le contexte de la maintenance des éoliennes off-shore est particulier. En effet, les fermes d’éoliennes sont éloignées des côtes (en moyenne 1 heure de bateau) et les conditions d’accès dépendent fortement des conditions météorologiques (voir figure 2). Avant toute intervention, il est nécessaire de définir la fenêtre de temps disponible afin d’assurer la sécurité des équipages et l’efficacité de la maintenance. De plus, le coût des personnels qualifiés maitrisant le système à maintenir, les compétences techniques avancées et les habilitations demandées tel que le « travail en hauteur », ne permettent pas de disposer physiquement de l’ensemble de ces ressources sur les parcs off-shore. En effet l’expert en maintenance ne sera pas toujours présent sur les éoliennes pour guider l’opérateur dans ses procédures de maintenance. C’est pourquoi il faut pouvoir faire collaborer efficacement :

L’opérateur Son rôle est d’intervenir physiquement sur les éoliennes pour les réparer.

L’expert Son rôle est de maitriser les pannes possibles sur le système et les étapes à suivre pour réparer celles-ci. C’est lui qui crée les procédures de maintenance et guide les opérateurs en cas de problème d’exécution.

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 12/65

Figure 2: exemple dans la manche d’une configuration d'une ferme d'éolienne off-shore (en vert) et sa base de maintenance on-shore (en mauve) [59].

Cette configuration pose les problèmes suivants : comment améliorer la communication entre l’expert et l’opérateur afin d’obtenir la maintenance la plus efficiente possible ? Pour répondre à cette question, ce rapport étudie la réalité augmentée pour les procédures de maintenance. Nous allons tout d’abord faire un état de l’art sur la réalité augmentée (définition, principes de fonctionnement, projets existants) dans ce chapitre. Puis nous décrirons le modèle que nous avons proposé pour définir ce qu’est une procédure de maintenance en réalité augmentée dans le chapitre « 3.5 Standardisation des procédures de maintenance en réalité augmentée ».

Généralisation de la problématique Cette problématique énoncée précédemment est aussi présente dans d’autre contexte que l’éolien off-shore. L’éolien off-shore exacerbe cette problématique puisque la navigation sur mer allonge les temps de déplacement des opérateurs et empêche plus fréquemment les interventions. Par conséquent, ce rapport est aussi utile pour d’autres domaines, notamment sur la notion d’expertise à distance en lien avec les problématiques liées à l’usine du futur.

2.4.2 Réalité augmentée : définition Le terme « Réalité augmentée » (RA) est introduit par Caudell [60] en 1992. L’auteur prototype un casque de type Head-up display permettant de connaitre la position de la tête dans le monde réel et d’afficher des contenus virtuels à travers un système see-through en temps réel.

En 1994, Milgram propose une taxonomie pour la réalité mixte [61]. Il émet l’hypothèse qu’aucune frontière franche n’existe entre le monde réel et le monde virtuel, mais plutôt qu’il est possible de passer d’un monde à l’autre à travers un continuum, appelé la réalité mixte.

Comment améliorer

la communication ?

Expert Opérateur

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 13/65

Figure 3: Continuum réalité-virtualité [61]

En se référant à sa définition, nous pouvons placer la réalité augmentée plutôt du côté du monde réel.

Par la suite Azuma [62] propose une définition plus structurée de la réalité augmentée et qui ne dépend pas de la technique d’affichage employée. Tout système de réalité augmentée doit respecter ces 3 règles :

Combiner le réel et le virtuel.

Être interactif en temps réel.

Etre synchronisé en 3D. Contrairement à la réalité virtuelle, où l’utilisateur est entièrement immergé dans un monde virtuel, la réalité augmentée a pour but d’ajouter des contenus virtuels au monde réel. L’utilisateur voit donc principalement le monde réel. Le but de ces objets virtuels est d’apporter une information supplémentaire donnant un sens nouveau à l’utilisateur du système de réalité augmentée. Le sens donné dépendra évidemment de l’application souhaitée : marketing, médicale, communication, maintenance, jeu, formation, loisir, sport… [63] [64].

Bien que la réalité augmentée soit essentiellement basée sur la vision, il est aussi possible de créer des systèmes de réalité augmentée pour les autres sens. En effet les informations additives peuvent être d’ordre sonore ou haptique.

Pour faciliter la désignation des objets virtuels ajoutés, nous proposons cette définition : « Augmentation : nom féminin, objet virtuel ajouté au monde réel au moyen d’un système d’affichage de réalité augmentée. Cet objet devra être synchronisé en 3D et pourra être interactif en temps réel si besoin. » L’utilisation de ce terme dans la suite du document se référera à cette définition.

2.4.3 Réalité augmentée : les principes de fonctionnement Le but principal pour faire fonctionner un système de réalité augmentée est de connaitre la pose (position et orientation) de la caméra filmant la scène par rapport à l’objet réel que l’on souhaite « augmenter ». Une fois cela déterminé, il est possible d’ajouter tout type d’augmentation mixant réel et virtuel. Le principe de fonctionnement peut être découpé en 5 étapes (voir figure 4) :

La caméra filme la scène.

Dans chaque image filmée, un objet (marqueur, image de référence, modèle de CAO) est reconnu.

La reconnaissance de l’objet permet de calculer la pose (i.e. position, orientation) de la caméra.

Connaissant la pose de la caméra, les augmentations (objets virtuels) sont ajoutées en cohérence avec le monde réel.

Le rendu est mixé sur l’appareil d’affichage (PC, smartphone, tablette, lunettes intelligentes).

Monde réel Monde virtuel Réalité augmentée

Virtualité augmentée

Continuum réel-virtuel

Réalité mixte

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 14/65

Figure 4: Principe de fonctionnement de la réalité augmentée.

La seconde étape décrite ci-dessus est réalisée avec 2 types d’algorithme distincts :

Le recalage (ou registration en anglais) Dans cette étape, une image cible est recherchée dans la scène. Une fois détectée, la pose de la caméra est trouvée. Cette étape est la plus gourmande en calcul car elle nécessite des algorithmes de vision par ordinateur de type détection de points d’intérêts.

Le suivi (ou le tracking en anglais) En supposant que les mouvements de la caméra sont petits, la pose de la caméra peut être estimée à chaque rafraichissement en utilisant des algorithmes de suivi de points d’intérêts, suppléés par les centrales inertielles intégrées de manières standards dans les appareils actuels. Cette étape est beaucoup moins gourmande en temps de calcul et elle est évidemment privilégiée une fois le recalage effectué.

Dans la littérature, les 2 termes ne sont pas toujours distingués. La plupart du temps, on utilise plutôt le terme suivi (ou tracking en anglais) pour regrouper les 2 concepts. Dans la suite du document nous parlerons de suivi.

2.4.4 Réalité augmentée : les méthodes de suivis (tracking) Il existe 4 grandes catégories d’algorithmes de suivis :

Avec marqueur repère (voir figure 5 Fiducial).

Avec image de référence (voir figure 5 Image target). Dans la littérature, cette méthode est aussi appelée sans marqueur car elle est apparue après la première et son nom a été donné pour s’en différencier. Une autre appellation, que je trouve plus à propos, est utilisée. C’est le suivi par marqueur naturel.

Basé sur un modèle 3D de l’objet à suivre (voir figure 5 Markerless 3D).

Sans connaissance à priori de l’environnement avec des méthodes de type SLAM (Simultaneous Localization And Mapping) ou PTAM (Parallel Tracking And Mapping) (voir figure 5 SLAM ou PTAM).

Figure 5: Les différents types d'algorithmes de suivi.

Caméra filme

la scène

Recalage et suivipar rapport à une

cible

Calcul de la pose de la caméra

Ajout des augmentations

Rendu mixé sur afficheur

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 15/65

Afin de comparer les différents algorithmes, Lieberknecht [65] a proposé une base de données de vidéos permettant de tester différentes configurations rencontrées pour une application de réalité augmentée. 3 types de critères sont utilisés :

Le type d’image cible utilisée (peu et très texturée et densité des éléments affichés).

Le mouvement de caméra effectué.

Illumination. Cette base de vidéo est intéressante pour tester ses propres algorithmes et les comparer à ceux existants. En effet, pour chaque vidéo, la position du marqueur par rapport à la caméra est connue à chaque frame. Par conséquent il est aisé de mesurer l’écart entre la position réel et la position donnée par l’algorithme de suivi. Cela permet aussi de comparer les vitesses d’exécution des différents algorithmes.

2.4.4.1 Suivi avec marqueur (fiducial marker) Un marqueur, appelé Iref, est une image avec de fortes contraintes (voir figure 6) :

Une image carrée.

En noir et blanc.

Avec une épaisse bande noire autour.

Figure 6: Exemple de marqueur pour le suivi en réalité augmentée.

Ces contraintes de formes et de couleurs sont suffisamment fortes pour permettre de repérer facilement le marqueur dans une scène filmée, appelée Iscene, et ainsi en déduire la pose de la caméra. Le recalage se fait en plusieurs étapes (voir figure 7). Tout d’abord l’image est binarisée, c’est-à-dire le passage d’une image avec 256 niveaux de gris à une image en noir et blanc par un seuillage. Ensuite, les contours du carré sont détectés grâce à une transformée de Hough. Puis les coins du carré sont repérés avec le détecteur de coin de Harris [66]. La position ces derniers permet de calculer la pose de la caméra. Enfin, la partie centrale, sur fond blanc, du marqueur est comparée à une base de données de marqueur. Cela permet de connaitre quelle augmentation doit être affichée. Enfin l’augmentation choisie est ajoutée pour être rendue sur le dispositif d’affichage.

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 16/65

Figure 7: Algorithme de réalité augmentée avec marqueur. Images provenant du site ARToolkit [67]

Avantages

Rapidité d’exécution de l’algorithme de détection.

Stabilité de la détection. Inconvénients

L’environnement doit être préparé avec des marqueurs.

Une occlusion partielle du marqueur empêche la reconnaissance.

Sensible à la luminosité.

Image filmée

Binarisation par seuillage

Détection de contour (Hough

transform)

Détection des coins

(Harris Corner)

Reconnaissance du marqueur

Calcul de la pose de la

caméra

Ajout des augmentations

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 17/65

2.4.4.2 Suivi avec image de référence ou marqueur naturel (Image Target) Les inconvénients cités précédemment ont amené à rechercher d’autres algorithmes permettant de faire de la réalité augmentée. Le suivi avec images de références répond à ces contraintes. En effet, ce type de suivi étant basé sur des images plus « naturelles », déjà présente dans l’environnement, il n’est plus nécessaire de préparer l’environnement en y plaçant des marqueurs pour permettre au système de réalité augmentée de se repérer dans l’environnement. De plus, l’image de référence contient des centaines de points d’intérêts (voir figure 9). Par conséquent, une occlusion partielle de l’image de référence n’empêche pas le système de la repérer (seuls 3 points d’intérêts sont nécessaires pour calculer la pose de la caméra). Pour rappel, dans un système de réalité augmentée, le but est de retrouver une image de référence, appelé Iref, dans le flux vidéo filmant la scène Iscene. Le recalage par image de référence est basé sur la détection de points d’intérêts. L’extraction et la caractérisation des points d’intérêts font partie du thème plus large de la caractérisation d’une image. Une image peut être caractérisée de plusieurs manières :

Les bords ou contours Ils peuvent être détectés grâce aux filtres de types Sobel, Prewitt, Roberts or Canny.

Les coins Ils peuvent être détectés par le détecteur de coin de Harris [66].

Les points d’intérêts Plusieurs algorithmes existent pour cela. Citons parmi eux SIFT (Scale Invariant Feature Tracking) [68], SURF (Speeded Up Robust Features) [69], FAST (Features from Accelerated Segment Test) [70].

Ce sont ces derniers qui sont le plus intéressants dans le cas de la réalité augmentée. En effet, les points d’intérêts ont plusieurs caractéristiques indispensables. Comme expliqué par la Washington University [71], pour le cas du SIFT, le point d’intérêt possède ces caractéristiques :

Local : chaque point d’intérêt est local à l’image. Par conséquent, sa détection est robuste à l’occlusion.

Distinct : chaque point d’intérêt est caractérisé par un descripteur suffisamment unique par rapport aux autres. Une grande base de données d’image de référence ne pose pas de problème.

Invariable : chaque descripteur du point d’intérêt est invariable à la translation, à la rotation et en partie au changement d’échelle. Le descripteur est de plus partiellement robuste au changement d’illumination.

Quantité : Les points d’intérêts sont nombreux même pour une petite image. A titre d’exemple l’image de gauche de la figure 9 contient 865 points d’intérêts SURF (seuls 30 sont affichés).

Efficacité : l’algorithme a des performances proches du temps réel.

Extensible : le principe peut être appliqué avec différents descripteurs.

En matière de Vision Robot, la notion de scale a été utilisée pour répondre aux exigences de robustesse des points d’intérêts au changement d’échelle. Pour obtenir une image à différent scale, il est d’usage de convoluer successivement l’image avec un filtre Gaussien. La convolution permet de faire disparaitre petit à petit les textures de l’image (dans la figure 8, les écritures et les codes-barres) pour ne garder que les formes les plus marquantes.

Figure 8: Exemple de l'image à différentes échelles (scale). L'image de base est convoluée par un filtre gaussien de sigma=4,

puis l'image résultante est convoluée avec le même filtre gaussien… etc

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 18/65

La figure 9 ci-dessous montre un exemple de points d’intérêts extraits avec l’algorithme SURF. Les cercles verts sont centrés sur le point d’intérêt, la taille du cercle représente l’échelle (scale) à laquelle le point d’intérêt a été détecté. Le rayon du cercle, quant à lui, indique dans quelle direction se trouve le gradient le plus prononcé du point d’intérêt.

Figure 9: Points d’intérêts (features) extraits avec l’algorithme SURF. Image de référence Iref (à gauche), Image de la scène (à

droite)

Une fois que le point d’intérêt a été trouvé, il est caractérisé par un descripteur unique. Nous ne nous étendrons pas sur cette notion de descripteur. Plusieurs articles intéressants expliquent comment ils sont calculés [68] [69] [72]. Ce qu’il faut retenir est que chaque point d’intérêt peut être décrit de manière unique. Cela permettra donc de faire la mise en correspondance entre les points d’intérêts de l’image de référence et de l’image de la scène (voir figure 10).

L’algorithme, peut être schématisé de cette manière.

Figure 10: Algorithme de réalité augmentée avec image de référence.

Image filmée

Iscene

Extraction des points d'intérêts sur Iscene

Mise en correspondance des

descripteurs de points d'intérêts entre

Iref et Iscene

Calcul de la pose de la caméra

Ajout des augmentations

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 19/65

2.4.4.3 Réalité augmentée : suivi 3D (3D tracking) La reconnaissance d’objet 3D est basée sur de la détection de contour. Pour configurer celle-ci, il faut donner le modèle 3D de l’objet, puis paramétrer le point de vu de départ pour le détecter. Une fois paramétrer l’algorithme suit ces étapes.

Figure 11: Algorithme de réalité augmentée avec détection 3D

2.4.5 Réalité augmentée : les dispositifs d’affichage Idéalement, le contenu virtuel et réel devrait être affiché directement sur l’œil afin que l’objet virtuel et l’objet réel soient mixés directement dans la vue du sujet. Dans l’exemple exposé ci-dessous, nous supposons que l’objet réel d’intérêt est un ventilateur, et que l’augmentation est représentée par une flèche verte indiquant l’endroit dans lequel placer la vis pour fixer l’objet. La figure ci-dessous représente ce qu’un sujet humain devrait voir idéalement, sans passer par un appareil intermédiaire pour afficher l’augmentation.

Figure 12: Représentation idéale de la réalité augmentée vu par un sujet humain. La flèche verte représente l'augmentation

virtuelle.

Pour l’instant, il n’est pas encore possible de créer du contenu virtuel directement dans la vision d’un sujet humain. Il est donc nécessaire d’utiliser un système tiers : mobile, tablette, smart glasses, projecteur pour permettre de mixer le contenu réel et virtuel. La figure 13 ci-dessous recense les différents types d’appareil disponibles.

Image filmée

Iscene

Détection de contour

Reconnaisance du modèle 3D

Calcul de la pose de la

caméra

Ajout des augmentations

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 20/65

Figure 13: Les différents appareils d'affichage de la réalité augmentée.

En fonction de l’appareil choisi, le contenu virtuel et réel sera mixé et visible différemment par le sujet. La figure 14 montre le principe de fonctionnement d’un afficheur de réalité augmentée en Video See-Through et Optical See-Through

Figure 14: Principe de fonctionnement de l’affichage de la réalité augmentée avec 2 types différents d'afficheurs.

Video See-Through (à gauche) et Optical See-Through (à droite) [73]

La figure 15 représente les différentes manières de voir les éléments de réalité augmentée, que nous appelons « augmentation ». Tout d’abord avec des lunettes de type Optical See-Through (voir figure 15-(a)), les objets virtuels sont mixés avec le monde réel de manière naturelle. C’est-à-dire que le sujet regarde l’objet réel et la partie augmentée est visible sans que l’utilisateur ne doive déplacer son regard sur un autre écran. De plus le sujet a les mains libres et l’objet virtuel reste bien synchronisé avec les mouvements de la tête du sujet, si ces mouvements sont lents, moins de 5° par seconde. En effet, si les mouvements sont rapides, le temps de calcul nécessaire au recalage de l’augmentation créé un décalage entre la réalité et l’objet virtuel à synchroniser. Ce décalage créé de la fatigue mentale, visuelle et peut même provoquer des nausées. A cette inconvénient s’ajoute le fait que l’utilisateur voit l’objet virtuel en transparence car les écrans permettant de faire le rendu de l’objet virtuel sont semi-transparents ; le sujet doit pouvoir voir le monde réel en même temps (voir figure 14). De plus le Field Of View (FOV) est faible à cause des limites du matériel. Dans la figure 15-(a) l’écran est symbolisé par le rectangle vert. Cela veut dire que si l’utilisateur tourne la tête et que l’augmentation de la flèche verte sort du rectangle alors l’augmentation n’est plus visible pour l’utilisateur. L’autre inconvénient est pour la sécurité de l’utilisateur. En effet, les augmentations peuvent cacher en partie la vue du monde réel à l’opérateur, puisqu’elles apparaissent sur l’écran situé sur la paire de smart glasses. Il est donc nécessaire de bien penser son application afin de ne jamais boucher la vue de l’utilisateur et garantir sa sécurité tout le long de la procédure.

Display Technologies

Optical see-through

Optical Glance

Video see through

Hand held display

Projective worn

Projective fixed

Contact lens

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 21/65

Figure 15: Représentation de la réalité augmentée vue avec différents types d'appareil. (a) Lunette Optical See-Through, (b)

casque Video See-Through, (c) lunette Optical Glance (type Google Glass), (d) tablette et (e) projecteur.

En ce qui concerne les casques de réalité virtuelle (ou Video See-Through) figure 15-(b), l’utilisateur voit le monde réel et virtuel au travers d’un écran situé directement devant ces yeux. Cette configuration a été utilisée dans plusieurs expériences conduites précédemment [74], mais n’est évidemment pas utilisable dans le cadre de la maintenance industrielle. En effet l’utilisateur ressentira une perte de repère lié au fait qu’il devra se déplacer en voyant la réalité au travers d’un écran. L’arrivée sur le marché des lunettes intelligentes va rendre ce type d’appareil obsolète pour la réalité augmentée.

Dans le cas des lunettes Optical-Glance figure 15-(c), type Google glass, l’utilisateur voit le contenu virtuel et réel sur un écran situé sur la partie supérieure droite de ses yeux. Par conséquent il peut voir le monde réel en regardant normalement, et lorsqu’il a besoin de voir les informations données par les augmentations il suffit qu’il lève les yeux en haut à droite. Cette méthode d’affichage permet de rendre de manière synchrone le contenu réel et virtuel, avec un léger décalage dans le temps dû au traitement de l’algorithme. De plus elle permet de palier aux problèmes de sécurité rencontrés avec les lunettes Optical See-Through -dû à l’occlusion par les augmentations- mais pourrait occasionner une fatigue visuelle et mentale. En effet, le sujet doit constamment lever les yeux vers l’écran déporté pour voir les augmentations. Une fois qu’il a vu les augmentations dans l’écran déporté, il doit recentrer sa vision sur la scène réelle et projeter mentalement ce qu’il a vu sur la scène réel. Cette problématique est la même qu’avec un écran déporté ou un manuel papier. Aussi, la FOV limité de l’écran déporté, environ 15°, accentue cette fatigue visuelle.

En ce qui concerne la tablette figure 15-(d), elle est sensiblement équivalente aux lunettes de type Optical glance, sans l’avantage d’avoir les mains libres. Son écran de taille plus élevée, soit une FOV de 25° et sa meilleure résolution la rende tout de même efficace pour ce type d’application. Pour information, une FOV de 25° représente un écran d’environ 25 cm à une distance de 60 cm, c’est-à-dire à bout de bras. Le meilleur avantage de la tablette est qu’elle permet d’interagir de manière intuitive avec l’application de maintenance en réalité augmentée, ce qui n’est pas encore le cas pour les lunettes intelligentes. A tel point que les Epson Moverio BT-200 ont mis en place un système de track pad pour naviguer dans l’interface des lunettes. Pour tous les dispositifs basés sur des lunettes, il faut porter une attention particulière au fait qu’ils soient binoculaires ; cela offre un meilleur confort visuel que la version monoculaire.

Enfin, avec le projecteur figure 15-(e), le contenu virtuel n’est pas affiché sur un écran, mais on se sert du monde réel pour projeter des informations virtuelles dessus. C’est le fonctionnement inverse des autres technologies qui utilisent un écran pour afficher le monde réel et virtuel en même temps. L’avantage du projecteur est que l’utilisateur a les mains libres et ne doit rien porter sur lui pour voir les augmentations. Cependant, la projection nécessite un support. Par conséquent, il n’est pas possible de projeter une flèche verte flottante dans les airs, comme c’est le cas pour les autres afficheurs. C’est pourquoi sur la figure 15-(e), la flèche verte est à plat sur le ventilateur. En fait c’est le ventilateur qui

(d) (e)

(a) (b) (c)

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 22/65

sert de support de projection pour l’augmentation. Ceci limite donc le type de contenu qu’il est possible d’afficher avec ce matériel. Le choix de l’appareil est donc important pour une application de réalité augmentée. S’il y a nécessité d’avoir les mains libres, il faudra bannir la tablette. Si l’opérateur doit toujours avoir une bonne vision de son environnement, il faudra prendre en compte l’occlusion possible liée aux lunettes Optical See-Through. Le tableau ci-dessous permet de comparer les différents appareils affichant les éléments de réalité augmentée. Les critères de choix proposés (en italique) complètent le travail effectué par Van Krevelen [63].

Device Type Features

Contact lens

Optical see-

through

Optical Glance

Video see through

Hand held

display

Projective worn

Projective fixed

Mobile + + + + + +

Outdoor use + + + + +

User interface Gesture

or Tactile Gesture

or Tactile Gesture

or Tactile Gesture

or Tactile Tactile

Gesture or Tactile

Gesture or Tactile

Hands free usage

+ + + + + +

Field Of View + Limited Limited Limited + + +

Occlusion of real world by

AR object Yes Yes Limited Yes Limited No No

Free augmentation

model + + + + + No No

Binocular Possible Possible No Yes Yes Yes Yes

Eye strain Not

determined Yes Yes Yes No No No

Power usage Limited Limited Limited Limited Limited Limited Unlimited Tableau 1: Comparatif des appareils d'affichage de réalité augmentée.

2.4.6 Réalité augmentée : les frameworks existants Comme vu dans le paragraphe « Réalité augmentée : les méthodes de suivis (tracking) », la réalité augmentée est basée sur des méthodes de traitement d’image et des méthodes de rendu 3D. Afin de ne pas avoir à développer toutes les fonctionnalités nécessaires, il est plus intéressant d’utiliser des frameworks existants. Il en existe de nombreux, mais nous allons en énumérer seulement 4. Nous les choisissons car ce sont les frameworks les plus aboutis et les plus avancés dans ce domaine. Pour notre projet nous avons tout d’abord fait un premier démonstrateur sur Vuforia, puis nous avons choisi de poursuivre sur Metaio. Ce dernier offre notamment du suivi 3D sans limite de forme, contrairement à Vuforia qui le limite à des formes de boite et de cylindre. De plus Metaio a une forte communauté de développeur et de nombreux webinars présentés par des experts. Afin de pouvoir choisir le framework le plus adéquat, nous proposons le tableau 2 les comparant. Nous mettons sur fond vert les caractéristiques distinguant significativement un des frameworks des autres. Par exemple les webinars officiels permettent de prendre en main rapidement le framework et de créer ses premières applications rapidement. Le suivi 3D peut être utile pour aller plus loin dans la détection d’objets peu texturés.

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 23/65

AR Framework Characteristics

Metaio Vuforia Wikitude OpenCV

Marker tracking Yes Yes Yes Dev

Image Target tracking

Yes Yes Yes Dev

3D tracking Yes Limited

box and cylinder No Dev

Face Tracking Yes No No Dev

Unity 3D Yes Yes Yes Need

Integration

iOS Yes Yes Yes Yes

Android Yes Yes Yes Yes

Windows Phone 8 No No No Yes

PC Yes Yes Yes Yes

Accelerometer and Gyroscope sensors

Yes Yes Yes Dev

Developer community

Yes Yes Yes Yes

Official Webinar Yes No No No

Free Yes but

Watermark Yes but

Watermark Yes but

Watermark Yes

Open Source No No No Yes Tableau 2: Comparatif des SDK disponibles pour la réalité augmentée.

Ce tableau présente de plus OpenCV. OpenCV est une bibliothèque plutôt qu’un framework. Nous l’avons retenu car celle-ci contient tous les outils permettant de faire du traitement d’image et donc de la réalité augmentée. OpenCV a surtout l’avantage d’être open source, il permet donc de programmer et modifier tout type d’algorithme. C’est un besoin indispensable lorsque l’on souhaite faire des recherches dans le domaine de la vision robot et plus particulièrement dans les algorithmes liés à la réalité augmentée. Enfin OpenCV est portable sur les mobiles et tablettes Android et iOS.

2.4.7 Réalité augmentée : recherches et projets Les travaux de recherche sur la réalité augmentée sont nombreux. Ils peuvent s’intéressés aux algorithmes de suivi (tracking), comme par exemple SIFT [68], SURF [69], aux techniques de rendus des augmentations [75], à l’utilisation de la réalité augmentée pour le travail collaboratif [64]. Pour notre problématique nous nous intéresserons plus particulièrement aux recherches sur la réalité augmentée dédiée à la maintenance. Henderson [74] propose un système de réalité augmentée, avec un casque de type Video See Through, permettant à un opérateur d’être guidé pas à pas dans ses opérations de maintenance dans une tourelle de char. Le guide permet de localiser tout d’abord la tâche à effectuer puis détaille pour l’opérateur, en réalité augmentée, la procédure de maintenance à suivre pas à pas (voir figure 16). L’auteur compare avec 2 autres méthodes : un écran déporté et un casque Video See Through affichant les étapes de maintenance sans réalité augmentée.

État de l’art > La réalité augmentée et les opérations de maintenance

La e-maintenance et la réalité augmentée 24/65

Figure 16: Maintenance en réalité augmentée Henderson [74]. (a) et (b) indication de la localisation de la tâche. (c) et (d)

indication de l’étape à effectuer dans la procédure de maintenance.

L’auteur montre que la localisation de la tâche se fait 10% plus rapidement avec le système en réalité augmentée. L’exécution globale de la tâche n’est pas achevée plus rapidement avec le système en réalité augmentée. L’afficheur utilisé peut expliquer le fait que le temps d’exécution ne soit pas plus rapide avec le système en réalité augmentée puisque, dans cette expérience, l’utilisateur porte un casque en Video See-Through. Or, nous avons expliqué précédemment que la vision du monde réel à travers un casque en Video See-Through n’est pas naturelle et peut ralentir l’opérateur puisqu’il est désorienté par la manière dont il perçoit la réalité. Une autre expérience faite par Bottecchia [76] propose un système de réalité augmentée, appelé TAC, avec des lunettes Optical See-Through monoculaire, permettant à un opérateur d’être assisté à distance par un expert. Grâce à la caméra située sur ces lunettes, l’expert voit ce que voit l’opérateur et peut « augmenter » la vue de l’opérateur pour l’assister dans sa tâche. Cela permet à l’expert d’utiliser des références ostensives comme « Regarde cette pièce » ou « Prends cela ». Le pointage de l’objet d’intérêt par l’expert est fait grâce à une augmentation et non son doigt. Cette caractéristique de l’échange verbal permet aux 2 protagonistes de pouvoir échanger avec un sentiment de co-présence, comme-ci ces 2 personnes étaient dans le même lieu.

Figure 17: Système TAC [76]. Interface de l’expert. En rouge ce que voit l’opérateur dans ses lunettes Optical See-through.

Avec ce système TAC, la collaboration à distance se rapproche donc de la collaboration présentielle. L’étude conclue que la tâche n’est pas effectuée plus rapidement qu’avec un système classique de conversation téléphonique en main libre ou un système de réalité augmentée déportée sur un écran de PC. Cependant l’étude montre que l’opérateur a le sentiment que la conversation est plus aisée avec le système TAC. L’analyse des vidéos montre que l’opérateur prend plus son temps avec le système TAC et demande confirmation à l’expert.

Il existe aussi des projets industriels dans ce domaine. Citons parmi ceux-là le projet MARTA (Mobile Augmented Reality Technical Assistance) conduit par Volkswagen. Les véhicules étant de plus en plus complexes, leur maintenance nécessite des compétences avancées. Ce projet entend répondre à cette problématique. Il a pour objectif d’aider les opérateurs de maintenance via une tablette affichant la procédure de maintenance en réalité augmentée (voir ci-dessous).

État de l’art >

La e-maintenance et la réalité augmentée 25/65

Figure 18: Projet MARTA. La tablette affiche les opérations de maintenance en réalité augmentée.

2.4.8 Conclusion sur l’état de l’art de la réalité augmentée Lors de ce chapitre, nous avons présenté comment la réalité augmentée fonctionnait et les principes de vision par ordinateur qui permettaient sa mise en œuvre. Différents dispositifs d’affichage existent pour afficher des augmentations. Les choix disponibles sont variés et dépendent de l’application à développer. En ce qui concerne la maintenance, un dispositif main libre est indispensable. La sécurité des opérateurs étant un point important, un dispositif de type « Optical Glance » semble un bon compromis. Les projets de recherche existants sur cette thématique nous montrent déjà que cette technologie permet de localiser plus rapidement une tâche. De plus cela permettrait à l’opérateur d’exécuter la procédure de maintenance, si ce n’est plus rapidement, tout au moins de manière plus sereine.

Cependant, la création de contenu en réalité augmentée reste encore difficile d’approche pour des personnes n’ayant que peu de compétences en développement informatique. Il est donc nécessaire de rendre la création de contenu en réalité augmentée accessible à un maximum afin de rendre l’adoption de cette technologie effective. Nos travaux de recherche se sont donc faits dans cette optique : standardiser la création de contenu en réalité augmentée pour les opérations de maintenance afin rendre cette technologie industrialisable et à la portée de tous. C’est ce que nous présenterons dans le chapitre « 3.5 Standardisation des procédures de maintenance en réalité augmentée ».

Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents

La e-maintenance et la réalité augmentée 26/65

3 Travaux et résultats

3.1 Modélisation et simulation basé sur les systèmes Multi-Agents La maintenance des parcs éoliens est une tâche complexe qui se déroule sur plusieurs sites et soumise à des contraintes liées à la météo et à la disponibilité de ressources humaines qualifiées, des pièces de rechange et des moyens de transport et de levage. La réussite d'une tâche de maintenance requiert l'intervention de plusieurs acteurs du système. La décomposition du système en plusieurs parties interactives est la meilleure façon de modéliser le système afin de pouvoir en contrôler plus facilement les différentes parties. L'utilisation des systèmes multi-agents est une manière très intéressante pour la modélisation et la simulation de ce type de système.

3.1.1 Modèle Le système a été divisé en cinq parties reliées entre elles, chaque partie représentant un ou plusieurs agents autonomes comme le montre la Figure 38. Nous avons considéré 5 types d'agents:

Les agents type éoliennes

Les agents type maintenance

Les agents type ressources

Les agents type monitoring

Les agents type météo

Figure 19 : architecture basé sur les systèmes Multi-agent

Nous allons décrire dans les paragraphes suivants le comportement et la composition de chaque agent parmi ceux qui viennent d'être cités.

3.1.1.1 Les agents éoliennes Chaque éolienne est représentée par un agent autonome communicant. On considère quelques caractéristiques techniques liées à la production de l'énergie électrique en fonction de la vitesse du vent Vs , notamment:

Vcin la vitesse de coupure d'entrée représentant la vitesse minimale permettant la production d'énergie.

Vcout la vitesse de coupure de sortie c'est à dire, la vitesse maximale de fonctionnement. L'éolienne est arrêtée si la vitesse de vent y est supérieure.

Vr la vitesse minimale à laquelle l'éolienne produit le maximum d'énergie.

La puissance générée par l'éolienne suit la courbe de puissance représentée sur la Figure 20. Conformément aux travaux de [25] la puissance générée par une éolienne exposée à une vitesse de vent 𝑉𝑠 est calculée par la relation mathématique suivante:

Maintenance

Turbines Weather

Monitoring

*..1 Use

Sup

ervi

se >

*..1 Impact D

epen

ds

>

Select & Order >

SM CM CBM

Material Resources

Human Resource

S >

>

Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents

La e-maintenance et la réalité augmentée 27/65

𝑷𝒓 =

{

𝟎 𝒊𝒇 𝟎 ≤ 𝑽𝒔 < 𝑽𝒄𝒊𝒏

𝑷𝒓(𝒂 + 𝒃 ⋅ 𝑽𝒔 + 𝒄 ⋅ 𝑽𝒔𝟐) 𝒊𝒇 𝑽𝒄𝒊𝒏 ≤ 𝑽𝒔 < 𝑽𝒓

𝑷𝒓 𝒊𝒇 𝑽𝒓 ≤ 𝑽𝒔 < 𝑽𝒄𝒐𝒖𝒕𝟎 𝒊𝒇 𝑽𝒄𝒐𝒖𝒕 ≤ 𝑽𝒔

(1)

Tel que 𝑃𝑟 est la puissance nominale de l'éolienne. Les paramètres a,b et c de l'équation (1) sont obtenus par les equations suivantes:

𝑎 = 1

(𝑉𝑐𝑖𝑛 − 𝑉𝑟)2 [𝑉𝑐𝑖𝑛(𝑉𝑐𝑖𝑛 + 𝑉𝑟) − 4𝑉𝑐𝑖𝑛𝑉𝑟 (

𝑉𝑐𝑖𝑛+𝑉𝑟

2𝑉𝑟)3]

𝑏 = 1

(𝑉𝑐𝑖𝑛 − 𝑉𝑟)2 [4(𝑉𝑐𝑖𝑛 + 𝑉𝑟) (

𝑉𝑐𝑖𝑛+𝑉𝑟

2𝑉𝑟)3 − (3𝑉𝑐𝑖𝑛 + 𝑉𝑟)]

𝑐 = 1

(𝑉𝑐𝑖𝑛 − 𝑉𝑟)2 [2 − 4 (

𝑉𝑐𝑖𝑛+𝑉𝑟

2𝑉𝑟)3 ]

Figure 20 : Power curve.

La vitesse du vent est mesurée dans des stations météorologiques souvent situées au niveau de la mer ou au niveau terrestre. Cette vitesse n'est pas la même au niveau de la nacelle de l'éolienne, et elle dépend principalement de sa hauteur, la hauteur de la station météorologique et la rugosité de l'environnement [23]. La vitesse du vent au niveau de l'éolienne est donnée par la relation suivante [77] [78].

𝑉𝑠 = 𝑉0 (ℎ

ℎ0)𝛼

où: ℎ: La hauteur de la nacelle. ℎ0 : La hauteur du point de mesure du vent. 𝑉𝑠: La vitesse du vent au niveau de la nacelle. 𝑉0 : La vitesse du vent mesurée dans la station à la hauteur ℎ0 𝛼: Le coefficient du gradient vertical de la vitesse du vent. Nous avons proposé quelques indicateurs de performance de l'éolienne afin de pouvoir mesurer le risque de tomber en panne, le degré de défaillance de chaque composant, ainsi qu'un indicateur sur l'état de santé de toute l'éolienne. La Tableau 3 décrit les indicateurs que nous avons définis avec leurs significations.

Tableau 3: Performance indicators of a turbine

indicateur Description

EHF (Equipement Health Factor) C'est un indicateur de santé globale de l'éolienne, il varie dans le temps, lors d'un incident ou d'une tâche de maintenance. Il varie entre 0 (très mauvaise état) et 10 (très bon état)

Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents

La e-maintenance et la réalité augmentée 28/65

MAR (Material At Risk) C'est la quantité d'énergie produite depuis la dernière inspection ou maintenance.

IsD ( Inscpection Delay) Le temps passé depuis la dernière validation de l'éolienne par une maintenance ou une inspection.

L'éolienne possède plusieurs modes de fonctionnement qui impactent la qualité et la quantité de puissance produite. Nous avons identifié quatre modes de fonctionnement :

1. Fonctionnement normal: L'éolienne est en bonne santé avec un 𝐸𝐻𝐹 ∈ [8; 10] avec une probabilité de tomber en panne de 5%.

2. Fonctionnement dégradé: L'éolienne produit à 80% de sa puissance maximale. Cette situation coïncide avec un 𝐸𝐻𝐹 ∈ [4; 8[. La probabilité de tomber en panne dans ce mode est de 20%.

3. Fonctionnement critique: L'éolienne produit 30% de sa puissance maximale. Cette situation coïncide avec un 𝐸𝐻𝐹 ∈ [1; 4[et une probabilité de tomber en panne de 70%.

4. En panne: Dans cet état l'éolienne est à l'arrêt, elle attend une maintenance curative et son EHF ∈ [0; 1[ .

Pour définir le comportement de l'éolienne et ces interactions avec son environnement, nous avons défini deux fonctions:

1. Produce: Elle définit la puissance électrique produite. 2. Degrade: Elle met à jour les indicateurs de performance de l'éolienne. Les différents

composants de l'éolienne ont des taux de pannes qui suivent une loi de Weibull à trois stages avec des paramètres différents pour chaque composant. Nous avons pris en considération les cinq composants les plus influents. Notamment le système électrique, le système d'orientation, la boîte de vitesse, le système hydraulique et les pales. L'arrêt d'une composante de ce système provoque l'arrêt de l'ensemble, la fiabilité de l'éolienne est donc calculée par la formule suivante:

𝑅𝑡𝑢𝑟 = 𝑅𝑒𝑠 × 𝑅𝑦𝑠 × 𝑅𝑔𝑏 × 𝑅ℎ𝑠 × 𝑅𝑏𝑙

Où: 𝑅𝑒𝑠: la fiabilité de fonctionnement du système électrique 𝑅𝑦𝑠: la fiabilité de fonctionnement du système d'orientation

𝑅𝑔𝑏: la fiabilité de fonctionnement la boîte de vitesse

𝑅ℎ𝑠: la fiabilité de fonctionnement du système hydraulique 𝑅𝑏𝑙: la fiabilité de fonctionnement des pales

Les autres agents peuvent impacter des paramètres de performances des éoliennes tels que, l'agent météo ou l'agent maintenance, d'autres peuvent juste les consulter tel que l'agent monitoring.

3.1.1.2 L'agent météo La variation des conditions météorologiques est représentée par un agent météo. Il est caractérisé par la vitesse du vent 𝑉𝑠, la hauteur des vagues, 𝐻𝑠, les eclairs, 𝐿𝑔, et la visibilité 𝑉𝑖𝑠𝑖. Ces paramètres sont

générés suivant des lois statistiques (Weibull pour 𝑉𝑠 et Rayleigh pour 𝐻𝑠) qui changent de paramètres selon la saison. Nous avons défini deux fenêtres de météo pour limiter les types d'interventions possibles sur les éoliennes. 1. Fenêtre sécurisée: elle englobe des conditions météorologiques qui permettent une

intervention sécurisée sur les éoliennes par les techniciens et les experts (ingénieurs), même s'ils n'ont pas une très grande expérience maritime. Les conditions météorologiques sont :

𝑉𝑠 ≤ 8𝑚

𝑠 , 𝐻𝑠 ≤ 1.5 𝑚 ,and 𝑉𝑖𝑠𝑖 ≥ 5 𝑘𝑚.

2. Fenêtre large: elle est caractérisé par des conditions météorologiques sévères qui permettent des interventions sur les éoliennes par du personnel expérimenté à la navigation maritime et

l'intervention dans des conditions difficiles. Les limites de cette fenêtre sont : 𝑉𝑠 ≤ 12𝑚

𝑠 ,

𝐻𝑠 ≤ 2 𝑚 and 𝑉𝑖𝑠𝑖 ≥ 2 𝑘𝑚

Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents

La e-maintenance et la réalité augmentée 29/65

Le comportement de l'agent météo est défini par les fonctions update qui permet de générer les valeurs des caractéristiques du temps et la fonction degrade qui représente l'effet de la météo sur les performances des éoliennes.

3.1.1.3 Les agents ressources Nous avons défini deux types d'agent ressources : matérielles et humaines. L'agent ressources humaines est caractérisé par le nombre d'ingénieurs (Ing), le nombre de techniciens (Tech) et l'expérience des équipes (Exp). Cet agent s'expérimente avec le nombre d'interventions effectuées (la fonction Expérience), et se met à jour pour définir la disponibilité des équipes (la fonction update_R). L'agent ressources matérielles contient le nombre d'outils nécessaires pour effectuer une tâche de maintenance. On distingue les bateaux (grand, moyen et petit), les grues (2 MT et 50 MT) et les pièces de rechange. Le comportement de cet agent est géré par les fonctions dégradation et maintenance qui représentent respectivement la dégradation du matériel utilisé (bateau, grue) et sa réparation.

3.1.1.4 Les agents maintenance Les tâches de maintenance sont représentées par un ensemble d'agents de maintenance corrective, préventive systémique ou préventive conditionnelle. Chaque type est caractérisé par son coût, ses besoins en terme de ressources et ses conditions d'utilisation (fenêtre de temps, type de panne, etc.). 1. Maintenance préventive systémique: C'est le type de maintenance le plus utilisé vu son coût

peu élevé. En ce qui concerne les éoliennes, cette stratégie de maintenance est très utilisée. Souvent, les lubrifiants et les composantes à durée de vie inférieure à 12 mois sont remplacés et une vérification du système est faite. Ce type d'intervention dure entre 1 et 2 jours et demande l'intervention d'un expert et deux techniciens. Il est planifié en général deux fois par an quand les conditions météorologiques le permettent.

2. Maintenance préventive conditionnelle: C'est une maintenance provoquée par les retours capteurs et les indicateurs de performance de l'éolienne. Ce type de maintenance est accompagné d'un diagnostic des causes du problème. Souvent, on en profite pour effectuer les opérations de maintenance préventive systémique.

3. Maintenance corrective: On fait appel à ce type de maintenance pour corriger des pannes importantes qui provoquent l'arrêt de l'éolienne. C'est une intervention très coûteuse qui demande des moyens importants (appel à des sous-traitants, des bateaux de moyennes tailles, des grandes grues, etc.) et des délais allant de 2 à 5 jours d'intervention. Ce type de maintenance n'est pas recommandé. Pour notre modèle, on ne fait appel à ce type de maintenance que quand l'éolienne est en panne.

Les différents agents de type maintenance entretiennent une relation de coopération en terme de données et de dates d'intervention afin d'augmenter l'efficacité des tâches. Nous avons supposé que l'intervention avec n'importe quel type de maintenance remet l'état de l'éolienne à "Normale" et remet tous les indicateurs de performance à leur état initial hormis les taux de défaillances. Le comportement des agents maintenance est géré par les fonctions suivantes: 1. Demande Ressources : cela permet de récupérer les ressources matérielles et humaines

nécessaires à la tâche de maintenance sélectionnée. 2. Répare : Cette fonction enclenche la réparation de l'éolienne. Pendant toute la durée de la

tâche de maintenance l'éolienne est à l'arrêt en mode maintenance. 3. Rendre Ressource: Une fois la tâche de maintenance effectuée, l'agent maintenance rend les

ressources qu'il a utilisé, remet l'éolienne en marche et s'autodétruit.

3.1.1.5 L'agent monitoring C'est l'agent qui gère la planification des tâches de maintenance et la priorité entre les éoliennes qui ont besoin de réparation ou de contrôle. Il permet de surveiller l'état des autres agents, de sélectionner les éoliennes qui ont besoin de maintenance ainsi que le type de maintenance adéquat.

Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents

La e-maintenance et la réalité augmentée 30/65

Figure 21: Fonctionnement de l’agent Monitoring

Le choix de l'éolienne à maintenir se fait suivant un certain nombre de critères. Nous avons défini les critères de décision suivants: la date pour la prochaine maintenance préventive systémique, le niveau de risque de tomber en panne ou de propager la défaillance, ainsi que l'état de santé de l'éolienne. Le choix du type de maintenance à effectuer dépend du critère que l'on a utilisé pour la sélection de l'éolienne. Si le choix de l'éolienne est basé sur le délai, alors on choisit une maintenance systémique, s'il est fait en se basant sur l'état de la machine ou le niveau de risque, on choisit une maintenance conditionnelle. Si l'éolienne est en panne, on choisit une maintenance corrective. La Figure 21 décrit l’algorithme utilisé par cet agent pour faire le choix du type de la maintenance et l’éolienne à maintenir.

3.1.2 Modèle de coût Le coût de la maintenance est un critère important qui est toujours mis en avant dans le processus de planification de la maintenance. Ce coût dépend de plusieurs paramètres tels que le type de la panne, le type de la maintenance et sa durée, les conditions météorologiques, le coût de l’installation, et le coût des infrastructures nécessaires pour la maintenance [79]. Le modèle de coût de maintenance que nous avons proposé est un paramètre commun entre plusieurs agents où chaque agent vient rajouter son coût quand il y a lieu. Par exemple le coût de la maintenance accroit quand on utilise des ressources et quand l’éolienne ne produit pas à sa totale capacité (fonctionnement dans un état dégradé) ou quand elle est à l’arrêt. Cette perte de production est considérée comme un coût supplémentaire que l’on prend en compte. On considère que le coût de la maintenance corrective est plus cher que les autres types de maintenance. Conformément à [15] le coût d’une maintenance corrective est équivalent à deux maintenances préventives systémiques. Si on utilise la maintenance conditionnelle, un coût supplémentaire d’installation de matériel pour le monitoring nécessaire au fonctionnement de ce type de maintenance est ajouté au coût global de la maintenance. La maintenance conditionnelle est déclenchée suivant le niveau de l’EHF de l’éolienne. Le coût de la maintenance après une période de temps est calculé suivant la formule suivante :

𝐺𝐶 = 𝑖𝑠𝑐𝑏𝑚 × 𝐶𝑖𝑛𝑖𝑡 + 𝐶𝑚𝑎𝑖𝑛𝑡 + 𝐶𝑒−𝑙𝑜𝑠𝑠 = 𝑖𝑠𝑐𝑏𝑚 × 𝐶𝑖𝑛𝑖𝑡 + 𝐶𝑝𝑚 + 𝐶𝑐𝑚 + 𝐶𝑑𝑜𝑤𝑛 + 𝐶𝑑𝑔

= 𝑖𝑠𝑐𝑏𝑚 × 𝐶𝑖𝑛𝑖𝑡 + 𝐶𝑠𝑚 + 𝐶𝑐𝑏𝑚 + 𝐶𝑐𝑚 + 𝐶𝑑𝑜𝑤𝑛 + 𝐶𝑑𝑔

Où : 𝑖𝑠𝑐𝑏𝑚: est un indicateur booléen de la présence d’un système de monitoring pour la maintenance conditionnelle. 𝐶𝑖𝑛𝑖𝑡: Le coût d’installation d’un système de surveillance pour la maintenance conditionnelle.

Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents

La e-maintenance et la réalité augmentée 31/65

𝐶𝑚𝑎𝑖𝑛𝑡: Le coût global de la tâche de maintenance, il est compose du coût de la maintenance préventive systémique (𝐶𝑝𝑚), le coût de la maintenance corrective (𝐶𝑐𝑚) et le coût de la maintenance

conditionnelle (𝐶𝑐𝑏𝑚) 𝐶𝑒−𝑙𝑜𝑠𝑠: le coût généré par la perte de productivité du à une panne (𝐶𝑑𝑜𝑤𝑛) ou à un fonctionnement en mode dégradé (𝐶𝑑𝑔).

Le coût globale GC de la maintenance peut être écrit en détail comme suit : 𝐺𝐶 = 𝑖𝑠𝑐𝑏𝑚 × 𝐶𝑖𝑛𝑡

+ ∑ ( ∑ 𝐶𝑠𝑚

𝑖=𝑁𝑠𝑚

𝑖=1

(𝑖) ∙ 𝑋𝑠𝑚(𝑡𝑟, 𝑖) + ∑ 𝐶𝑐𝑏𝑚

𝑖=𝑁𝑐𝑏𝑚

𝑖=1

(𝑖) ∙ 𝑋𝑐𝑏𝑚(𝑡𝑟, 𝑖) + ∑ 𝐶𝑐𝑚

𝑖=𝑁𝑐𝑚

𝑖=1

(𝑖)

𝑡𝑟=𝑁𝑇

𝑡𝑟=1

∙ 𝑋𝑐𝑚(𝑡𝑟, 𝑖) + ∑ 𝐶𝑒

𝑖=𝑁𝑐𝑏𝑚+𝑁𝑐𝑚+𝑁𝑠𝑚

𝑖=1

× 𝐷(𝑡𝑟, 𝑖) + ∑ 𝐶𝑒 × 𝐷𝐺(𝑡𝑟, 𝑖)

𝑖=𝑁𝑐𝑏𝑚+𝑁𝑐𝑚+𝑁𝑠𝑚

𝑖=1

)

Où: 𝑁𝑇 : le nombre d’éolienne dans le parc 𝑁𝑠𝑚, 𝑁𝑐𝑏𝑚 et 𝑁𝑐𝑚: le nombre de maintenance systémique, conditionnelle et corrective respectivement durant une période de fonctionnement T 𝑋𝑠𝑚, 𝑋𝑐𝑏𝑚 et 𝑋𝑐𝑚 : des variables de décision booléenne tel que

{1 si l'éolienne 𝑡𝑟 est sélectionnée pour une maintenance à l'instant 𝑖 0 sinon

𝐷(𝑡𝑟, 𝑖) est un indicateur de l’état de l’éolienne 𝑡𝑟 {1 si l'éolienne 𝑡𝑟 est à l'arrêt à l'instant 𝑖 0 sinon

𝐷𝐺(𝑡𝑟, 𝑖): mesure le niveau de dégradation de l’éolienne 𝑡𝑟 à l’instant 𝑖. Cet indicateur est calculé comme suit :

𝐷𝐺(𝑡𝑟, 𝑖) =10−𝐸𝐻𝐹(𝑡𝑟,𝑖)

10

Le coût de la maintenance est une variable globale dans le simulateur, tous les agents peuvent la changer. On considère un coût cumulatif qui ne fait qu’augmenter dans le temps.

3.1.3 Relation entre les différents agents Le parc éolien offshore est composé d'un certain nombre d'éoliennes qui sont impactées par l'agent Météo, pour la production et la dégradation. L'agent monitoring surveille toutes les éoliennes et repère celles qui sont en panne ou qui ont besoin d'une intervention. Il sélectionne le meilleur type de réparation à faire et demande à l'agent maintenance adéquat d'intervenir; s'il n'existe pas il le crée. Avant d'ordonner une maintenance, l'agent monitoring vérifie la disponibilité des ressources nécessaires pour l'intervention et les conditions météorologiques. L'agent maintenance appelé demande les ressources dont il a besoin auprès des agents ressources et s'adonne à sa tâche. Une fois cette tâche terminée il rend les ressources et disparaît.

Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents

La e-maintenance et la réalité augmentée 32/65

3.1.4 Simulation Nous avons utilisé le logiciel NetLogo pour développer un simulateur basé sur le modèle définit dans le paragraphe précédent. NetLogo est un langage de programmation des systèmes multi-agents et un outil de modélisation des phénomènes dynamiques complexes [80].

Figure 22: The wind farm simulator developed with NetLogo

L'objectif final de ce simulateur est de définir la stratégie de maintenance qui permet une production énergétique optimale au moindre coût possible. Il nous permet de tester plusieurs stratégies de maintenance et de comparer des indicateurs de performance du parc éolien sur une longue période. Nous avons la possibilité d'observer plusieurs indicateurs de performances tels que la puissance électrique produite par le parc, le nombre d'éoliennes en fonctionnement, l'état de santé des éoliennes, le coût des actions de maintenance, le prix de l'électricité produite, etc.

Dans un premier temps, le critère d'évaluation que nous avons considéré est la production électrique instantanée du parc. On peut observer aussi la météo, notamment, la vitesse du vent, la hauteur des vagues et les d'éclairs. Le pas d'échantillonnage de la simulation est d'une journée, c'est à dire que chaque boucle de simulation représente une journée. Les valeurs considérées de tous les paramètres dynamiques sont des moyennes sur une journée.

La Figure 41 représente l'environnement de la simulation. Nous avons un bouton "Setup" qui initialise le système et le bouton Go pour lancer la simulation. Nous avons la possibilité de définir quelques paramètres du système tels que le nombre d'éoliennes dans le parc, et les ressources disponibles en termes d'ingénieurs, techniciens, bateaux, grues, et pièces de rechange. Chaque éolienne change de couleur selon son mode de fonctionnement: Vert pour le mode normal, jaune pour le mode dégradé, orange pour le mode critique et rouge pour dire qu'elle est en panne. Quand une tâche de maintenance est en cours d'exécution, l'éolienne est représentée par une couleur noire. Nous avons considéré des éoliennes de production nominale de 6MW avec les paramètres de

fonctionnement concernant la vitesse du vent suivants: vitesse de coupure de démarrage 𝑉𝑐𝑖𝑛 = 4𝑚

𝑠;

vitesse de fonctionnement nominal 𝑉𝑟 = 14𝑚

𝑠 ; et une vitesse de coupure de sécurité

𝑉𝑐𝑜𝑢𝑡 = 25𝑚

𝑠

La Figure 41 montre une simulation du fonctionnement du système sur une période d'une année. On remarque que l'énergie globale produite par le parc dépend très fortement de la vitesse du vent. Nous avons utilisé un historique des conditions météorologiques de l'aéroport du Havre situé sur la côte de

Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents

La e-maintenance et la réalité augmentée 33/65

la Manche. Nous avons supposé que la vitesse du vent est semblable à celle prélevée dans le large. Les hauteurs significatives des vagues suivent une loi de Rayleigh de paramètre 𝜎 variable suivant la saison [81]. Comme le logiciel Netlogo ne propose pas de fonction de génération de la loi de Rayleigh, nous avons utilisé la relation suivante pour générer la hauteur des vagues à partir d'une distribution uniforme:

𝐻𝑠 = 𝜎 × √− log𝑈 Où : U : est une variable aléatoire uniforme appartenant à l'intervalle Pour ressortir l'effet de la stratégie de maintenance sur la production, nous avons effectué des simulations avec une vitesse de vent constante toute l'année pour la production énergétique. Les variations météorologiques (vitesse du vent, hauteur des vagues, éclairs, …) sont utilisées uniquement pour faire le choix d'effectuer ou non la tâche de maintenance et pour la dégradation des éoliennes.

Figure 23: Production totale d'énergie et variation météorologique sur 5 ans

3.1.5 Résultats et discussion Nous avons effectué trois types de simulations pour pouvoir montrer l'influence de la stratégie de maintenance sur la production, et comparer les différentes stratégies de maintenance. Celles adoptées sont : 1. stratégie de maintenance préventive systémique à des dates pré-planifiées, plus des

interventions avec une maintenance corrective en cas de panne. 2. maintenance préventive conditionnelle quand les indicateurs de performance de l'éolienne se

dégradent, plus des maintenances correctives en cas de panne. 3. Stratégie de maintenance hybride (maintenance systémique, maintenance corrective,

maintenance conditionnelle): Dans ce cas l'agent monitoring choisit le type de la maintenance à effectuer en se basant sur le critère de choix de l'éolienne à maintenir. Si l'éolienne a été sélectionnée parce qu'elle a un EHF faible, on lance une maintenance conditionnelle, si elle est sélectionnée suite à une panne, alors on lance une maintenance corrective. Si au contraire, l'éolienne est sélectionnée parce que sa date de maintenance systémique est arrivée ou dépassé, alors on choisit une maintenance systémique.

La Figure 23 représente le niveau d'énergie généré par le parc éolien pendant 5 ans. Le parc est constitué de 80 éoliennes, qui sont maintenues par une équipe de 10 techniciens et 5 ingénieurs. Ils disposent de 6 bateaux et 6 grues supposés fonctionnels tout le temps, et un approvisionnement sans rupture de pièces de rechange. La durée des tâches de maintenance dépend de la nature de la panne et du type de maintenance a effectué. Nous avons supposé que la durée de la maintenance corrective varie de 1 à 3 jours ouvrés, alors qu’une maintenance préventive prend entre 1 et 2 jours. La Figure 23 montre que la stratégie de maintenance et les conditions météorologiques influencent fortement la production énergétique du parc éolien. La comparaison des valeurs moyennes sur 5 ans montre que la stratégie de maintenance hybride que nous avons proposée donne de meilleurs

Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents

La e-maintenance et la réalité augmentée 34/65

résultats avec une production moyenne de 90% de la production totale contre 87% pour la maintenance systémique et 85% pour la maintenance conditionnelle. La Figure 24 présente la valeur du coût cumulatif des trois stratégies de maintenance durant toute la période de simulation. Le coût de maintenance est calculé selon le modèle présenté précédemment dans le paragraphe 3.1.2. Les résultats obtenus montrent l’efficacité de la stratégie de maintenance hybride en termes de coût et de production énergétique.

Figure 24: Le cout de chaque stratégie

La Tableau 4 compare le nombre de fois où une maintenance a été nécessaire "Maintenances demandées", et le nombre de fois où elle a été effectuée "Maintenances effectuées". D'une manière générale, il est toujours possible de faire une maintenance sauf quand il n y'a pas de ressources ou lorsque les conditions météorologiques ne le permettent pas. La stratégie de maintenance basée sur la maintenance préventive conditionnelle est celle qui demande le moins de tâche de maintenance puisque l'on a effectué seulement 915 tâches de maintenance dont 27 maintenances correctives uniquement, mais elle représente le coût le plus élevé à cause de la perte de production considérable avec ce type de maintenance. La stratégie de maintenance basée sur la maintenance préventive systémique présente 1433 actes dont 27 maintenances correctives, avec un coût de maintenance légèrement inférieur à celui de la CBM. Cela est traduit par le niveau de production meilleur que celui de la maintenance préventive conditionnelle (2% mieux que la CBM). La stratégie de maintenance hybride montre des performances intéressantes à étudier, avec un nombre d'interventions supérieur aux deux autres stratégies avec seulement 14 interventions en maintenance corrective. Cette stratégie de maintenance est la moins cher, et cela est dû à son bon niveau de production énergique (plus de 90%). Avec cette stratégie la plus grande partie des interventions sont de type maintenance systémique plus de 60%. Avec la stratégie de maintenance les éoliennes sont en bonne état ce qui explique le bon rendement des éoliennes et peut être l’allongement des durées de vie.

Tableau 4: comparaison des stratégies de maintenance en termes de coût et nombre de maintenance effectuée

A travers le simulateur basé sur les systèmes multi-agents nous avons montré l'utilité et l'efficacité du modèle proposé. La stratégie de maintenance hybride permet d'avoir des performances intéressantes pour la maintenance des éoliennes offshores qui présentent des contraintes inhabituelles. Cette stratégie permet de faire un compromis entre la production d'énergie et les coûts de maintenance en choisissant l'éolienne à maintenir et le type de maintenance à effectuer.

CBM SM Hybrid

Number of CBM 888 0 239

Number of SM 0 1336 1225

Number of CM 27 97 14

Total 915 1433 1487

Cost 6626 6250 4947

Travaux et résultats > Simulation d’Evènements Discrets

La e-maintenance et la réalité augmentée 35/65

3.1.6 Perspectives Les résultats ont montré que la stratégie de maintenance hybride assure le meilleur rendement énergétique du parc et le cout le moins élevé, mais avec un nombre d’intervention très important. A travers ces résultats, on peut conclure que l'approche multi-agents ainsi que la stratégie de maintenance hybride donnent des résultats très intéressants. L'algorithme de décision qui permet de sélectionner l'éolienne à maintenir et le type d'actions de maintenance à mener est basé sur une simple comparaison de niveau critique des éoliennes. Une amélioration de cet algorithme va faire l'objet de nos travaux à court terme. Actuellement chaque éolienne est représentée par un agent indépendant, nous allons proposer de faire un modèle distribué de l'éolienne où elle constituera un ensemble d'agents (boîte de vitesse, système électrique, pales, …).

Plusieurs autres améliorations peuvent être apportées au modèle et au simulateur pour permettre d'effectuer la planification et l'optimisation des stratégies de maintenance telles que l'ajout d'autres types de maintenance (télé maintenance, maintenance proactive), la simulation avec des données météorologiques réelles et la réduction du pas de simulation à 30 minutes au lieu d'une journée.

3.2 Simulation d’Evènements Discrets

3.2.1 Introduction Les méthodes de modélisation et de simulation permettent aux parties prenantes d’analyser et d’évaluer les stratégies de gestion effective des systèmes complexes. Les techniques de simulations tels que : Monte Carlo, simulation basée sur des agents, chaînes de Markov, réseaux de Pétri, sont les plus fréquemment utilisées pour l’analyse quantitative des systèmes d’intérêts. L’approche que nous proposons pour la modélisation de la Maintenance, de la Réparation, et de l’Opération (MRO), dédiée aux parcs-éoliens off-shores est une Simulation à Evènements Discrets (SED), car les opérations de maintenance et de réparation peuvent être conceptualisées comme un système de file d’attente et le modèle DES un système par l’utilisation des serveurs et des file d’attentes. La maximisation du temps de capacité de l’éolienne via des stratégies MRO intelligentes est une opération de gestion d’activité primordiale pour les opérateurs du parc-éolien (pour maximiser le retour sur investissement) et les fabricants d’éoliennes (pour la compréhension des performances d’une éolienne sous des conditions actuelle données). Les stratégies MRO doivent prendre en considération le fait que les activités de maintenances dépendent des fenêtres de temps disponibles, par exemple : une hauteur de vagues admissibles, une vitesse de vent satisfaisante, la visibilité sont tous des facteurs importants qui peuvent déterminer si une maintenance offshore peut être entreprise. Le but de notre modèle DES est de permettre, pour l’expérimentation, avec différentes stratégies MRO qui vont augmenter l’up-time des éoliennes, tout en essayant de réduire les coûts associés à ce type d’opérations.

3.2.2 Méthodologie de simulation Les modèles de simulations peuvent être catégorisés en : modèles continus, et modèles discrets, qui dépendent de la façon dont le comportement du système change dans le temps. Un modèle de simulation continue assume que l’état du système change en permance. Un modèle de simulation discret, assume que le système ne change que si un évènement se produit à un instant t. Entre les différents évènements, l’état du système reste constant. Notre simulation MRO est un exemple de modélisation et simulation discrètes. Deux approches qui peuvent être utilisées pour le contrôle du flux de temps dans une simulation discrète sont : l’approche de division de temps (Time-Slicing Approach), et l’approche du prochain évènement (Next-Event Approach). L’approche de division de temps déplace le temps en avant dans des intervalles égaux de temps, alors que, l’approche du prochain évènement déplace le temps d’évènement à évènement [82]. L’approche que l’on a utilisé pour le développement du MRO est l’approche du prochain évènement. La méthodologie de simulation qu’on a suivi est donc la Simulation d’Evènements Discrets (SED). Dans l’algorithme SED les différents éléments de la simulation peuvent être catégorisés comme suit [83]:

Travaux et résultats > Simulation d’Evènements Discrets

La e-maintenance et la réalité augmentée 36/65

1. Horloge de simulation : Elle garde la trace du temps de simulation courant. L’horloge de simulation est incrémentée par le logiciel de simulation (aussi appelé exécutive de simulation).

2. Entités : N’importe qu’elle composante du modèle qui peut être imaginé pour conserver son identité durant le temps est une entité [84]. Les entités causent des changements dans l’état de la simulation.

3. Etats : ils représentent les statuts des entités. Dans le SED l’état reste constant entre les évènements.

4. Evènements : ce sont des actions qui vont être réalisées dans une instance de temps. Dans le SED l’état du système change après l’occurrence d’un évènement (exemple : une éolienne qui rapporte une erreur, le début ou la fin d’une opération de maintenance). Dans l’approche à trois phases de simulation (plus de détails dans les sections suivantes) il existe deux types d’évènements, Bound events, et Conditional events. Les Bound events peuvent être planifiés en avance, alors que les évènements conditionnels peuvent seulement être planifiés quand une certaine condition est satisfaite.

5. Règles d’évènement : Ils informent le logiciel de simulation des conditions qui déclencheront l’exécution de l’évènement conditionnel, les changements d’état qui vont être réalisés, et les évènements qui vont être rajoutés à la liste d’évènements (cette liste est détaillée dans les sections suivantes). Chaque évènement a sa règle d’évènement correspondante.

6. Liste d’évènement : Elle garde un enregistrement (une copie) des évènements planifiés, ainsi que le temps où ils ont été exécutés. Ces évènements sont planifiés à la suite d’une occurrence d’évènements précédents, et basés sur certaine règle d’évènement. L’exécution de la simulation envoie constamment des requêtes vers cette liste pour avoir des informations sur les évènements suivants. Après la réalisation d’un évènement, celui-ci est retiré définitivement de la liste.

7. Enregistrement de l’état actuel du système : le terme état du système est utilisé pour désigner l’état des entités qui prennent part à la simulation. Le logiciel SED enregistre l’état actuel du système après l’exécution d’un évènement.

8. Générateur de nombre aléatoires : ce sont des programmes qui génèrent des nombres aléatoires. Le logiciel du SED est capable de générer un très grand nombre de valeurs aléatoires. Les nombres aléatoires sont utilisés afin d’introduire une variabilité dans le modèle.

9. Statistiques de sortie : Le but de l’exécution d’une simulation est de rassembler des statistiques qui vont nous aider dans le processus de prise de décision. La plupart des logiciels de simulation permettent au modélisateur de choisir les statistiques qui vont être collectées.

Dans le SED, l’exécutant de la simulation dispose du contrôle total de la simulation. Elle exécute répétitivement des évènements conditionnels et bound, change l’état du système, planifie de nouveaux évènements, incrémente l’horloge de simulation, et collecte les statistiques. Tous les traitements (tâches) qui vont être exécutés dans l’exécutive de simulation sont organisé comme suit, qui est aussi appelé : approche à trois phases. K. D. Tocher (Keith Douglas Tocher) a divisé en 1963 originellement cette approche. Dans une approche à trois phases Figure 8, l’exécutive de simulation itère continuellement entre les phases A, B, et C. dans la phase A elle envoie des requête pour avoir les prochains évènements à exécuter de la liste d’évènement, et avance l’horloge de simulation. Dans la phase B, tous les Bound Events sont exécutés, l’état actuel du système est enregistré, les nouveaux évènements (s’ils existent) sont planifiés et les statistiques mis à jour. Dans la phase C, les Conditional Events sont exécutés, l’état actuel du système enregistré, et les nouveaux évènements (s’ils existent) sont planifiés, et les statistiques misent à jour.

Travaux et résultats > Simulation d’Evènements Discrets

La e-maintenance et la réalité augmentée 37/65

Figure 25 Exécution de simulation à trois phases (adapté de [63])

Dans un contexte de pratique de la simulation dans l’industrie, bien que les langages de programmation puissent être utilisés pour construire des simulations dans certains cas, les modèles sont généralement développés en utilisant des logiciels commerciaux de simulation disponible [85]. Les Systèmes de modélisation Interactive et Visuelle (SMIV) se réfèrent habituellement aux logiciels SED qui permettent à l’utilisateur de créer des modèles dans un environnement graphique à travers une sélection interactive d’objets de simulation prédéfinis (points d’entrée, files d’attentes, stations de travail, ressources, etc.) et les relient ensemble afin de représenter les interactions logiques sous-jacentes entres les entités qu’elles représentent [86]. Des exemples de SMIV incluent des logiciels SED commerciaux disponibles comme Witness (Laner group), Simul 8 (Simul8 corp.), AnyLogic (XJ technologies) and Arena (Rockwell automation). Actuellement, les SMIV sont plus communément référés comme commerciaux, Off-The-Shelf (COTS) Simulation Packages (CSPs). Dans le but de développer notre propre simulation MRO nous avons utilisé CSP Simul8.

Travaux et résultats > Simulation d’Evènements Discrets

La e-maintenance et la réalité augmentée 38/65

3.2.3 Description du modèle Le modèle simule les processus opérationnels, à partir des fautes spécifiques qui viennent d’être rapportés par les éoliennes (incluant les évènements de la maintenance préventive), et jusqu’à ce que les fautes ont été rectifiées et les ressources libérées (restituées) pour les opérations de maintenance ultérieures. Les ressources en question sont des parties de la maintenance, la disponibilité des techniciens/ingénieurs qui vont effectuer nos activités MRO, la disponibilité de bateau à la bonne taille (par exemple : un bateau plus large est requis si la maintenance requiert le transport de parties de rechange très grande) et le bon assemblement de ces ressources pour une tâche spécifique du MRO. Deux parc-éoliens offshores sont modélisés, avec 10 et 20 éoliennes respectivement, et les ressources de maintenance sont partagées entre les deux parcs éoliens. Nous avons aussi modélisé les fenêtres de météo (à travers l’utilisation des distributions ; incorporer les prévisions météorologiques d’un bureau météorologique est notre perspective) qui peuvent assurer que les ressources ne sont envoyées pour les opérations de maintenance que si la météo offre une opportunité de succès complet des activités dans un environnement qui est sûr pour les opérateurs de maintenance. La Figure 27 présente la logique du SED en utilisant une charte de flux. La Figure 26 présente une capture d’écran du modèle.

Figure 26 Capture d’écran du modèle Simul8

Travaux et résultats > Simulation d’Evènements Discrets

La e-maintenance et la réalité augmentée 39/65

Start

Faults reported by individual turbines

Work order generated / Check inventory for parts

Are parts available?

Are parts available?

Order parts?

Indent parts

YesNo

Wai

t fo

r pa

rts

Are engineers available?

Are engineers available?

Is the right size of boat available?

Is the right size of boat available?

Check weather window

Resources - - (resources in

use)

Repair activity at Turbine

Resources + + (resources released)

Wait for resources (engineers, boats)

Yes

Yes

No

No

Any further work orders?

Stop

Yes

No

Weather forecast

OK

Figure 27 Le flux logique du modèle SED Simul8 de la MRO

3.2.4 Application pratique du modèle Notre modèle à Evénement Discret (SED) peut être utilisé par différents opérateurs de MRO d’éoliennes offshores avec différentes stratégies. Il est possible de modifier notre simulation de base représentant 2 fermes d’éoliennes et de modéliser des scénarios alternatifs en changeant le nombre de turbines, la quantité de ressources en fonction de celles prédéfinies (grand bateau, bateau moyen, petit bateau et les ingénieurs/techniciens à disposition), le mélange de ressources etc… Le nombre d’erreur remonté par les turbines peut être aussi changé (actuellement le modèle prédéfini 3 types d’erreur appelées : la boite de vitesse, les capteurs et les pales, et une activité de maintenance planifiée). Ils sont chacun implémentés avec des files d’attentes. Il est possible d’augmenter le type de faute en modélisant des files d’attente supplémentaires et en utilisant la distribution appropriée pour les erreurs de la turbine. Au fur et à mesure que la simulation avance, des erreurs seront générées et placées dans une file d’attente adéquate en fonction des distributions choisies. Il est évident que les éoliennes fabriquées par différents constructeurs auront des taux de pannes différents, il sera donc important pour les opérateurs de maintenance d’obtenir les données, soit par le constructeur (même si nous avons constaté que les données étaient difficiles à obtenir), soit en se basant sur leur propre expérience. De plus, notre modèle de SED peut être utilisé pour modéliser l’inventaire des pièces de rechange. Il existe différents éléments prédéfinis : six pièces différentes avec six points d’entrée. Les points d’entrée, qui sont des composants Simul8, modélisent la reconstitution des stocks. De plus, cela pourra être amélioré dans un prochain modèle en changeant le nombre de pièces de rechange à modéliser. Chaque erreur est associé à une (ou des) pièce(s) qui doivent être présentes dans l’inventaire pour servir la demande. Par exemple, si un problème avec la boite de vitesse est remonté, alors une combinaison de pièces sera chargée sur le bateau afin de réparer celle-ci. En outre, l’activité de MRO ne pourra se poursuivre uniquement si cette combinaison de pièces est disponible. Pour l’usage ultérieur de ce modèle, il est nécessaire que les utilisateurs identifient les pièces qui sont associées à chaque erreur, et si celles-ci doivent être chargées sur le bateau (ou peut être qu’un inventaire local, contenant les pièces essentiels, existe sur chaque turbine et qu’elles ont besoin d’être remplacées de

Travaux et résultats > Simulation d’Evènements Discrets

La e-maintenance et la réalité augmentée 40/65

temps en temps). Par ailleurs, le taux de reconstitution du stock de pièces sera différent en fonction de la chaine d’approvisionnement. Ces stratégies ont tendance à être différentes en fonction des opérateurs, et un modèle ultérieur devra implémenter la politique de maintenance de l’opérateur en question.

Ensuite, il est non seulement possible de configurer le modèle en fonction des pièces nécessaires pour chaque erreur, mais aussi en fonction du type de ressources disponible. Dans ce modèle, les ressources sont les bateaux et les ingénieurs. Certaines erreurs nécessitent plus d’un ingénieur et peut être un grand bateau (pour emmener des pièces ou un équipement spécial, par exemple une grue pour remplacer une pale), d’autres peuvent être des erreurs relativement mineures qui peuvent être corrigées par un seul ingénieur. De nouveau, je précise que les ressources peuvent être modifiées en utilisant les fonctions internes de Simul8 (la plupart sont éditables via une interface graphique). Il est aussi possible d’ajouter de nouvelles ressources, comme le bateau pour l’équipage, le rôle de technicien (pour le distinguer de l’ingénieur), etc… Ces modifications seront dirigées par les ressources existantes et le workflow à modéliser, évidemment en fonction des contraintes de l’opérateur. Le modèle de SED inclut deux fenêtres de conditions météorologiques (une pour chaque ferme modélisée). Comme précisé précédemment, les conditions météorologiques détermine si l’opération de maintenance peut être effectuée de manière sécurisée. Si les conditions sont difficiles (manque de visibilité, fortes houles, température basse, fort vent…) alors les ressources ne sont pas envoyées. Nos fenêtre de conditions météorologiques sont modélisées comme des serveurs (sur la théorie des files d’attente) et sont implémentées en utilisant des distributions simples. Cependant, il est possible d’utiliser ce concept de modèle en utilisant de vraies données. Cela peut être fait avec des distributions basées sur des données historiques dans les zones géographiques où sont situées les fermes d’éoliennes offshores ; ou cela peut être un fichier texte formaté contenant les prévisions météorologiques des 7 prochains jours. Cette dernière méthode fournit une opportunité de recherche inter-disciplines : les données simulées de conditions météorologiques (en utilisant des modèles) peuvent servir comme données d’entrée pour le simulateur de MRO (qui utilise SED).

Dans ce chapitre nous avons décrit comment notre modèle de SED pouvait être modifié ou étendu et ainsi amélioré pour faire des applications en conditions réelles pour les activités de MRO dans les éoliennes offshores. Le modèle a été développé en utilisant le standard de simulation par composant fournit par Simul8 et peu de code a été utilisé. Cela permettra à un analyste ayant des connaissances dans les méthodes de Système à Evénement Discret (SED) et qui maitrise Simul8 de changer relativement facilement le modèle.

3.2.5 Limites et Perspectives La limite de notre modèle est qu’il a été développé sans l’intervention des parties prenantes. Notre effort de modélisation aurait reçu un essor formidable si des données et flux de travail avaient été mis à disponibilité par les fabricants d’équipements, compagnies d’énergie, opérateurs de parc-éoliens, entre autres. Cependant, et malgré nos meilleures efforts, nous étions dans l’incapacité de convaincre les parties prenantes pour s’engager effectivement dans notre projet de recherche. Avec la progression du projet nous sommes devenus plus exigeants vis-à-vis des données attendues des compagnies (ex : planification de maintenances, flux de travail des opérations de maintenances, taux d’échecs) ont été traités comme des données confidentielles et étaient largement significatifs dans une utilisation domestique. Notre simulation n’est donc pas basée sur une étude empirique. Prenant cela en considération, notre modèle peut être vue comme une preuve de concept de l’utilisation des méthodologies de SED pour les MRO dans les parc-éoliens off-shores.

Pour nos travaux futurs, nous considérons que l’implication des parties prenantes est importante. Cela va nous permettre la réalisation de certaines étapes de l’étude de simulation bien définis [87], notamment, la définition du système (qui détermine le cadre du système qui va être étudié), formulation des modèles conceptuels (qui définissent les interactions entre les différents composants du systèmes sous des examens minutieux), préparation des données d’entrée (l’identification des données qui vont être requises pour la simulation et la collection), vérification et validation

Travaux et résultats > Serious game (CESI version)

La e-maintenance et la réalité augmentée 41/65

(confirmation que le modèle opère bien et les données produites par lui sont représentatives du système réel), conception expérimentale (finaliser les stratégies MRO qui vont être simulé et les expérimentations à mener), et finalement analyser et interpréter les données produites par la simulation afin d’être mieux informé et de prendre les bonnes décisions.

3.3 Serious game (CESI version) Comme nous l’avons déjà présenté dans la section 2.2, les erreurs humaines lors de l’installation et de la maintenance représentent l’une des plus importantes causes de défaillance des éoliennes. Ces erreurs sont dues principalement au manque d’expérience et de formation. Afin de réduire les coûts de la maintenance il faut absolument trouver des moyens efficaces pour former les équipes de maintenance à toutes les éventualités.

Afin d’améliorer l’efficacité de leurs formations, les centre de formation cherchent toujours à trouver des moyens de formation innovants et efficaces. Les jeux sérieux sont considérés comme l’une des plus importantes méthodes d’apprentissage innovantes pour tous les niveaux de formation [88].

Plusieurs définitions des jeux sérieux peuvent être trouvées dans la littérature. La plupart de ces définitions considère les jeux sérieux comme un logiciel, mais plusieurs jeux sérieux ont été développés sans utiliser des moyens informatiques. Une définition intéressante donnée par [89] est : « un jeu sérieux ou un jeu appliqué est un jeu qui peut être informatique conçu pour un objectif principale autre que le divertissement ». L’adjective «sérieux » est souvent utilisé pour faire référence à des produits utilisés par des industries tels que la défense, l’exploration scientifique, la santé, la gestion des urgences, la planification des agglomérations et l’ingénierie. Ils permettent aux étudiants de bien assimiler le cours en les confrontant à des situations réelles. Le marché des jeux sérieux connait une expansion très importante depuis plusieurs années. Apres avoir été utilisé largement dans le domaine militaire et médical, ils ont commencé à être utilisés dans les cours d’ingénierie [90] [91].

Dans le cadre du projet Mer Innovate nous avons développé deux jeux sérieux pour aider les étudiants à comprendre le fonctionnement d’un parc éolien offshore, à planifier la maintenance des éoliennes offshore et à dimensionner les équipes et le matériel de maintenance. Le jeu permet aux étudiants de voir clairement l’effet des conditions météorologiques et la taille des équipes de maintenance sur la performance du parc en termes de coût et de production énergétique.

3.3.1 Jeu sérieux basé sur les systèmes multi-agents En se basant sur le modèle du parc éolien offshore développé par le CESI, nous avons proposé un jeu sérieux afin d’apprendre aux futures ingénieurs de maintenance comment planifier la maintenance d’un ou plusieurs parcs éoliens offshore. Le jeu peut être exécuté sur un site web et il est libre d’utilisation. Le scénario de ce jeu est présenté sur la Figure 28 , il est divisé en quatre niveaux : 1. Niveau 1 : dans ce premier niveau, la tâche du joueur consiste à dimensionner son parc éolien

afin que celui-ci puisse fournir assez d’électricité à une ville en dépensant l’argent qui lui est alloué. En effet, la vitesse du vent est une donnée importante à prendre en compte, les éoliennes ne tournent pas à vitesse nominale et donc la production d’énergie n’est pas à 100% tout le temps.

2. Niveau 2 : Dans ce niveau, la dégradation des éoliennes et la création des équipes de maintenance entre en compte. Le joueur doit ici constituer suffisamment d’équipes de maintenance afin de garder son parc éolien en bonne santé sans non plus dépenser trop d’argent dans l’utilisation de ses ressources.

3. Niveau 3 : Dans le troisième niveau entre en compte l’établissement d’un plan de maintenance. En effet le joueur calibre les types de maintenance préventives notamment, le niveau de EHF au quel on déclenche une maintenance conditionnelle ou les périodes des maintenances systémiques.

Travaux et résultats > Serious game (CESI version)

La e-maintenance et la réalité augmentée 42/65

4. Niveau 4 : dans ce niveau on reprend la même chose pour une autre ville, mais cette fois on donne dès le début la possibilité au joueur de jouer sur tous les paramètres afin de prendre en compte les contraintes de la maintenance dès la conception du parc.

Figure 28 : scénario du jeu

Pour passer un niveau le joueur doit remplir plusieurs objectifs basés sur la production d’énergie, l’état de santé du parc et l’argent possédé. La Figure 28 représente les différents niveaux ainsi que les conditions de passage d’un niveau à un autre. Le jeu a été implémenté sur en utilisant Unity3D, ou nous avons déployé le modèle basé sur les systèmes multi-agents et les différents scénarios. La version finale du jeu est représentée sur la Figure 29.

Figure 29 : Capture d’écran du jeu

3.3.2 Perspectives Ce jeu sérieux est toujours en développement pour rajouter d’autres fonctionnalité et il est utilisable gratuitement sur le site du projet européen Mer Innovate sous le lien http://www.merinnovateproject.eu/le-projet/serious-game/. Les utilisateurs peuvent jouer, donner leurs avis et proposer des améliorations que nous allons prendre en considération. Nous avons eu

Dimensionnement du parc

1 an de production

Consitution des équipes de maintenance

2 ans de production

Etablissement de la stratégie de maintenance

3 ans de production

Fin du jeu

Travaux et résultats > Serious game (Exeter version)

La e-maintenance et la réalité augmentée 43/65

plusieurs retours positifs sur le jeu. Nous sommes en train de faire un questionnaire pour mesurer l’efficacité du jeu et le niveau d’apprentissage des étudiants.

3.4 Serious game (Exeter version)

3.4.1 Introduction Les jeux sérieux (serious game) sont devenus de plus en plus populaire comme outil d’enseignement dans les écoles, comme outil d’entrainement pour les professionnels ou comme moyen d’entrainer chacun de nous. Un nombre d’études confirment que les jeux de simulation aident les étudiants à améliorer leur conscience des problèmes liés au monde réel et leur compréhension des sujets enseignés [92], [93], [94]. Ce chapitre se concentre sur les activités de Maintenance, Réparation et Opérations (MRO). Comme précisé dans le paragraphe « 1 Contexte », la maintenance est essentielle, mais consommatrice de temps et coûteuse à mettre en œuvre, particulièrement dans le contexte des éoliennes offshores puisque sujet à des conditions météorologiques difficiles sur de longues périodes. Optimiser l’utilisation des ressources - la fréquence et le moment (maintenance préventive ou curative) – peut avoir un impact significatif sur le temps d’arrêt de chaque turbine et donc sur la performance financière d’une ferme d’éoliennes. C’est pourquoi, il est important que les étudiants ingénieurs complètent leur connaissance théorique de la maintenance avec une compréhension des intérêts économiques, particulièrement pour la maintenance opérationnelle. L’utilisation de jeux sérieux ou d’autres outils d’edutainment (educational entertainment) est donc un pas dans cette direction et pourrait être utilisé comme un outil d’éducation et de formation pour les parties prenantes impliquées dans la maintenance d’éoliennes offshores.

3.4.2 L’edutainment pour l’apprentissage Plusieurs définitions et formes de jeux existent. La plupart d’entre elles se concentrent sur des thèmes similaires : une abstraction simple de la situation en relation avec le monde économique, un outil d’aide à la décision pour le groupe ou l’individu, ou en tant que complément à l’enseignement classique. C’est la capacité des jeux et des simulations, permettant aux étudiants ou employés d’expérimenter les difficultés réelles dans un environnement sans risque, qui rend cet outil aussi attractif. En effet, il est souvent plus facile de transmettre et d’enseigner le management opérationnel à travers des scénarios complexes qu’à travers une théorie figée [95]. Les jeux sérieux sont des jeux-vidéos ou des simulations, qui couvrent toute l’industrie non liée aux jeux. Ils sont donc utilisés pour des applications qui ne sont pas en relation avec du pur divertissement ou du jeu traditionnel [96], [97].

Les jeux-sérieux incluent tous les aspects d’éducation (enseignement, formation et information) pour toutes les classes d’âges [97]. Ils peuvent s’appliquer à un large spectre de domaines, par exemple la politique publique, la défense, la gestion d'entreprise, la santé, la formation et l'éducation [91]. Leur avantage évident réside dans le fait que, (a) ils permettent aux apprenants d'expérimenter des situations qui sont impossibles dans le monde réel, pour des raisons de sécurité, de coût, de temps, etc. [98], [99], (b) ils impliquent le participant dans la démarche pédagogique et peuvent avoir un impact positif sur le développement d'un certain nombre de compétences, tels que : les compétences analytiques et spatiales, les compétences stratégiques et de perspicacité, l'apprentissage et la rétention des savoirs, les aptitudes psychomotrices, l'attention [100] et (c) ils permettent d’améliorer l’auto-évaluation, l’analyse et la résolution des problèmes, la prise de décision, la rétention sur le court, moyen et long terme et la capacité à collaborer, négocier et prendre des décisions [100].

3.4.2.1 Revue de littérature Le but de cette revue était d’identifier les jeux pertinents pour le mangement opérationnel (MO) en relation avec l’ingénierie ; ce fût accompli en effectuant une recherche sur la littérature scientifique autant que sur les jeux en ligne disponibles sur le net. Cependant, une première recherche à ce sujet a montré que l’accès en ligne à des jeux de ce type (MO) n’est pas aussi aisé que pour d’autres domaines tels que le développement durable [94]. C’est pourquoi nous avons restreint notre méthode

Travaux et résultats > Serious game (Exeter version)

La e-maintenance et la réalité augmentée 44/65

de recherche et nous avons d’abord identifié la littérature scientifique pertinente. La méthode sous-jacente pour la sélection des articles, qui soit présentait une revue de littérature dans le domaine ou décrivait/testait l’utilisation d’un jeu comprenait deux étapes : (a) Identification par mots-clés : en identifiant un ensemble de mots-clés permettant de filtrer les articles pertinents (jeux), et (b) La sélection : en sélectionnant le titre avec les mots-clés, nous lisions le résumé pour identifier si l’article était intéressant pour l’étude. Les étapes de cette méthodologie sont décrites dans les chapitres suivants.

Les articles académiques sélectionnés furent identifiés en utilisant la base de données des journaux du Web of Science (WOS) et du SciVerse Scopus, ainsi que Google Scholar et la technique de la boule de neige. Pour identifier les articles qui formeraient notre ensemble initial, nous avons utilisés ces critères : Si le titre, le résumé ou les mots-clés contenaient le mot « game* AND engineering » ou « virtual reality AND repair », l’article était retenu. Diverses autres combinaisons de mots-clés ont été testées, mais ils n’ont pas abouti à un résultat pertinent. Bien que nous ayons utilisé deux bases de données de journaux, nous avons identifié uniquement 16 articles qui parlaient plus ou moins de jeux dans l’ingénierie, en prenant en compte divers formes de jeux (jeux sérieux, simulation, environnement virtuel, réalité augmentée, etc.). Trois articles supplémentaires ont été retrouvés en utilisant Google Scholar (Tableau 5).

Auteurs (année) Titre Source Année de Publication

Van Bussel & Schoentag (1998) [101]

Operation and Maintenance Aspects of Large Offshore Windfarms

Delft University of Technology

1998

Badler et al. (2002) [102]

Virtual Humans for Validating Maintenance Procedures

Communications of the ACM 2002

Susi T. et al. (2007) [89] Serious Games – An Overview Technical Report - University of Skoevde

2007

Liang (2010a) [103] Design and Implement a Virtual Learning Architecture for Troubleshooting Practice

Computer Applications in Engineering Education

2010

Liang (2010b) [104] Scaffolding for Automotive Air Conditioning Learning Environment

Computer Applications in Engineering Education

2010

Deshpande & Huang (2011) [105]

Simulation Games in Engineering Education: A State-of-the-Art Review

Computer Applications in Engineering Education

2011

Henderson & Feiner (2011) [74]

Exploring the Benefits of Augmented Reality Documentation for Maintenance and Repair

IEEE Transactions on Visualization and Computer Graphics

2011

Rueppel & Schatz (2011) [106]

Designing a BIM-based serious game for fire safety evacuation simulations

Advanced Engineering Informatics

2011

Kuk et al. (2012) [107]

Using a game-based learning model as a new teaching strategy for computer engineering

Turkish Journal of Electrical Engineering & Computer Sciences

2012

Li et al. (2012) [108]

Multiuser virtual safety training system for tower crane dismantlement

Journal of Computing in Civil Engineering

2012

Travaux et résultats > Serious game (Exeter version)

La e-maintenance et la réalité augmentée 45/65

Vosinakis & Koutsabasis (2012) [109]

Problem-Based Learning for Design and Engineering Activities in Virtual Worlds

MIT Press Journals

2012

Geng et al. (2013) [110]

A modelling approach for maintenance safety evaluation in a virtual maintenance environment

Computer-Aided Design

2013

Zhu et al. (2013) [111]

An authorable context-aware augmented reality system to assist the maintenance technicians

The International Journal of Advanced Manufacturing Technology

2013

Dib & Adamo-Villani (2014) [112]

Serious Sustainability Challenge Game to Promote Teaching and Learning of Building Sustainability

Journal of Computing in Civil Engineering

2014

Qiu et al. (2014) [113]

Virtual human hybrid control in virtual assembly and maintenance simulation

International Journal of Production Research

2014

Aziz et al. (2014) [114] A Multi-User Virtual Laboratory Environment for Gear Train Design

Computer Applications in Engineering Education

2014

Kerga et al. (2014) [115]

A serious game for introducing set-based concurrent engineering in industrial practices

Concurrent Engineering: Research and Applications

2014

Venter & Coetzee (2014) [116]

Interactive learning through gaming simulation in an integrated land use-transportation planning course

Journal of Professional Issues in Engineering Education and Practice

2014

Tableau 5: Articles sur la maintenance identifiés dans l’enquête.

Cette revue initiale nous a montré que la majorité des jeux développés, en incluant la réalité augmentée et les environnements virtuels, sont conçus pour entrainer les ingénieurs et les mécaniciens à faire leur travail [102], [103], [104], [106], [25], [114], [110], [113], [115], ou pour les assister tout en effectuant une tâche physique [74], [111]. Les jeux sérieux qui abordent les problèmes d’ingénierie ou de management opérationnel n’ont pas été trouvés en utilisant les mots-clés initiaux. Toutefois, comme le but du type de jeu sérieux est ici de faire un usage efficace des ressources plutôt que d’agir comme un outil qui assiste et informe sur les opérations de maintenance, un nombre d’articles supplémentaires ont été identifiés. Cette nouvelle stratégie est expliquée ci-dessous.

En conséquence de cette relative pénurie de la littérature et un manque complet d’articles traitant de l’ingénierie en relation avec la maintenance opérationnelle, nous avons décidé de modifier et d'étendre la recherche de cette étude pour inclure des jeux d'entreprise dans tous les domaines d'application. Nous avons effectué la recherche suivante avec un axe légèrement différent, utilisant ces mots-clés : « business game » et « business game AND operations management ». Une nouvelle fois, il était impossible de trouver un nombre significatif d’articles en utilisant simplement les bases de données des journaux. Exclure le mot-clé « game theory » a permis de filtrer la majorité des articles. Nous avons pu retrouver 6 articles dans les bases de données des journaux, 4 articles en utilisant Google Scholar et 8 articles avec la technique de la boule de neige (en prenant note des références dans les articles pertinents voir tableau 5). Pour ces jeux il était assez facile de retrouver la description et l’explication de comment il fonctionnait, ce qui était nécessaire et comment il était conçu et pour démontrer quoi. Cependant, il était de nouveau difficile d’accéder au jeu réel et d’y jouer.

Travaux et résultats > Serious game (Exeter version)

La e-maintenance et la réalité augmentée 46/65

Année Nom du jeu de maintenance opérationnelle

1986 RED BEAD EXPERIMENT [117]

1994 BEER GAME [117]

1995 CRAC BUSINESS GAME [118]

1997 LEGO OF MY SIMPLEX [117]

1999 BALANCING PLANES [117]; THE DISTRIBUTION GAME [117]; THE MANUFACTURING GAME [117]

2000 DICE GAME [119]

2002 LEAN LEAP LOGISTICS GAME [120]; GOLDRATT’S GAME [121]

2006 BEER DISTRIBUTION GAME [122]

2007 CUPPA MANUFACTURING GAME [117]

2010 HECOpSIM [123]; LOGISTIC GAME [124]

2014 BLOOD SUPPLY CHAIN GAME [125]

Tableau 6: Les jeux de maintenance opérationnelle identifié pour l’enquête.

Comme expliqué dans [95], une dominance du secteur industriel persiste comme domaine d’application du jeu sérieux (Tableau 6), soulevant des questions similaires, quant à savoir si les développements et les problématiques de jeux sérieux dans le management opérationnel ont été des problématiques étudiées. Par exemple, [95] ont exprimé la crainte que le contenu des jeux en relation avec la maintenance opérationnelle n’a pas été développé autant que le sujet enseigné. Il y a, tout de même, une accentuation accrue sur la maintenance opérationnelle dans les scénarios, cependant l’intérêt reste focalisé sur le planning et le contrôle de la fabrication. Dans cette étude, il apparait de toute évidence que les jeux non pas progressé dans la formation des ingénieurs, tout du moins du point de vu de la maintenance opérationnelle. En effet, la majorité des jeux sont majoritairement conçus et développés pour former et aider le personnel à la maintenance et la réparation et non pas pour optimiser l’utilisation des ressources dans ce contexte.

Catégorie de l’application #Nombre de

jeux Nom du jeu

Fabrication 7 BEER GAME; CRAC BUSINESS GAME; HECOpSIM; DICE GAME; CUPPA MANUFACTURING GAME; GOLDRATT’S GAME; BEER DISTRIBUTION GAME

Logistique 2 LEAN LEAP LOGISTICS GAME; LOGISTIC GAME

Soins de santé 1 BLOOD SUPPLY CHAIN GAME Table 7: Trouver des domaines d’application.

En plus de la catégorisation ci-dessus, les mots-clés utilisés ont aussi fait ressortir un nombre d’articles discutant de l’apprentissage et l’éducation basés sur le jeu [95], [126], [127], [128], certains se concentrant sur la pertinence et les effets dans différents domaines [129], [130], [131], [132], [133].

3.4.3 Le jeu pour la maintenance des éoliennes offshores Les objectifs pédagogiques du jeu de maintenance, appelé MRO comme Maintenance, Réparation et opérations, sont les suivants :

Améliorer la compréhension des opérations de maintenance des fermes d’éoliennes offshores pour les étudiants.

Mettre en évidence auprès des étudiants variables tels que les défauts des turbines, la disponibilité des ressources, les conditions météorologiques, etc. Et comment elles affectent les opérations de maintenance.

Travaux et résultats > Serious game (Exeter version)

La e-maintenance et la réalité augmentée 47/65

Entrainer les étudiants à prendre des décisions sous pression et dans des situations complexes dans lesquels un résultat découle de l’interaction de multiples facteurs.

Fournir aux étudiants un environnement de jeu sur ordinateur pour jouer différentes stratégies et de réfléchir sur les résultats de celles-ci.

Permettre aux étudiants de comparer différentes stratégies. Le jeu MRO est un jeu pour un joueur dans lequel le joueur imite le comportement d’un seul décideur, à savoir, le gestionnaire de la ferme responsable de l’attribution des ressources au jour le jour pour l’entretien des éoliennes offshores. Le jeu permet au joueur d’apprendre des tâches complexes de planification. L’objectif est de minimiser les ressources inutilisées et de prévenir la perte de revenue en cas de maintenance inadéquate sur la ferme d’éoliennes. Le jeu est développé en Excel en utilisant le langage VBA.

Le jeu modélise 2 fermes d’éoliennes, windfarmA (près des côtes) et windfarmB (loin des côtes) comprenant respectivement 60 et 100 turbines. Par défaut il y a 4 ressources pour maintenir les parcs éoliens. Elles sont partagées entre les 2 parcs. Nous supposons que dans le jeu, l’installation de maintenance est opérationnel 365 jours par an. Dans une prochaine version il sera possible de changer le nombre de turbines dans chaque ferme et le nombre de ressources disponibles pour les activités de maintenance. La simulation est basé sur le temps et progresse jour par jour. Le jeu est joué pendant 15 jours.

Pour réduire la complexité, les ressources n’ont pas été catégorisées en sous-types (comme le bateau ou les ingénieurs) et nous supposons que pour chaque activité de maintenance il faut une ressource. Il est associé un coût pour chaque ressource :

Une ressource immobilisée (non utilisé pour la maintenance) coûte 100 unités par ressource par jour.

Une baisse de revenu intervient pour chaque turbine en faute (i.e. qui nécessite une maintenance). La baisse est de 500 unités par jour et par turbine pour la ferme proche (windfarmA).

De même pour la ferme éloignée (windfarmB). La baisse est de 800 unités par turbine par jour car la ferme éloigné produit plus d’électricité. Il est à noter que nous faisons une simplification car nous ne considérons pas d’autres facteurs, comme la vitesse du vent.

Une ressource qui est envoyée dans la ferme proche (windfarmA) coûte 250 unités par ressource par jour.

Une ressource qui est envoyée dans la ferme proche (windfarmA) a besoin d’une journée pour terminer sa tâche de maintenance.

Une ressource qui est envoyée dans la ferme éloignée (windfarmB) coûte 600 unités par ressource par jour.

Une ressource qui est envoyée dans la ferme éloignée (windfarmB) a besoin de deux journées pour terminer sa tâche de maintenance (pour simuler le temps de déplacement plus long).

Le jeu permet de jouer de manière déterministe ou aléatoire (stochastique) (Figure 30). En mode déterministe, aussi appelé « Standard Play », la demande hebdomadaire pour les ressources ne varie pas – la demande hebdomadaire de ressources de maintenance pour la windfarmA et la windfarmB sont respectivement de 4 et 5 unités. Pour la version aléatoire, appelé « Advance Play », la demande hebdomadaire varie. Pour la version déterministe, le nombre de ressources demandées pour chaque jour de la semaine est également fixé et il n’y a pas de variation d’une semaine à l’autre. Par conséquent, il est codé en dur dans le modèle que la windfarmA demandera une ressource chaque lundi, mercredi jeudi et vendredi ; que la windfarmB demandera deux ressources le mardi et jeudi et une ressource le dimanche. Pour la version aléatoire du jeu les demandes de ressources varient naturellement.

Travaux et résultats > Serious game (Exeter version)

La e-maintenance et la réalité augmentée 48/65

Figure 30: Le joueur peut jouer soit de manière déterministe (Standard Play), soit de manière aléatoire (Advance Play).

Il y a trois politiques qui peuvent être sélectionnées (Figure 31). Si la politique 1 est choisie « Assign resources on demand », alors le besoin hebdomadaire ne figure pas dans le panneau « MRO Facility – Service Profile » (Figure 32-à gauche), cela pour les deux modes de jeu, déterministe ou aléatoire. Si la politique 2 est sélectionnée « Assign resources collectively » alors le panneau besoin hebdomadaire est visible (Figure 32-à droite) at cela permet au joueur de faire un planning prévisionnel. La politique 3 permet d’assigner les ressources collectivement et de prendre en compte les conditions météorologiques. Cette fonctionnalité sera mise à jour plus tard.

Figure 31: Les joueurs peuvent choisir 3 modes de jeu différents.

Travaux et résultats > Serious game (Exeter version)

La e-maintenance et la réalité augmentée 49/65

Figure 32: L’information présentée dans le panneau résumé diffère en fonction de la politique choisie ; la demande de

ressource est cachée pour la politique 1 (à gauche) ; et montrée pour la politique 2 (à droite).

Maintenant que nous avons expliqué les options, nous allons présenter le jeu. Comme expliqué plus haut, le jeu se déroule sur 15 jours et avance par pas de 24 heures. En d’autres termes et contrairement au logiciel Simul8 qui fait avancer la simulation de minute en minute, le jeu avance du lundi au mardi, puis du mardi au mercredi et ainsi de suite. L’écran de jeu (Figure 33) montre le jour de la semaine sous le logo Mer Innovate.

Figure 33: L’écran de jeu.

Pour chaque jour de simulation, basé sur la politique choisie, la demande en ressource est présentée pour les 2 fermes windfarmA et windfarmB. Cela peut être soit une demande séquentielle (windfarmA suivie de windfarmB pour la politique 1) ou une demande collective pour la politique 2. L’information est affichée dans deux panneaux « windfarmA (nearshore) » et « windfarmB (offshore) » avec de nombreuses autres informations telles que : le nombre de turbine en cours de maintenance, les turbines qui nécessitent une attention particulière (les demandes précédentes n’ayant pas été satisfaites), les nouvelles demandes de ressources (basées sur la demande hebdomadaire), et le nombre total de ressources demandées (Figure 34). En fonction des ressources disponibles (voir le panneau « MRO Facility » ; Figure 33) et d’autres futurs considérations sur les tâches de maintenance, le joueur attribue ses ressources pour les deux fermes A et B. Les valeurs sont saisies dans le champ

Travaux et résultats > Serious game (Exeter version)

La e-maintenance et la réalité augmentée 50/65

sur fond vert (Figure 34). Le jeu progresse donc du jour 1 au jour 15, le joueur prenant la décision sur les ressources à allouer chaque jour.

Figure 34: Les ressources demandées et allouées en fonction de la disponibilité et d’autres considérations (écran de jeu).

Au fur et à mesure que le jeu progresse, des graphiques sont générés, permettant au joueur de contrôler l’utilisation des ressources (Figure 35 ; en haut à gauche) et des ressources allouées comparées à celles demandées (Figure 35 ; en haut à droite). Un des objectifs du jeu est de maximiser l’utilisation des ressources de maintenance et de réduire le coût d’immobilisation de celles-ci (Figure 35 ; en bas à gauche) et de réduire la perte de revenue de la ferme d’éoliennes, qui se produit lorsqu’une turbine n’est pas réparée (Figure 35 ; en bas à droite).

Figure 35: Graphiques générés à la volée au fur et à mesure que le jeu progresse (écran de jeu).

La figure 36 montre les pertes et profits des opérations de maintenance. Ce graphique est généré une fois la fin des 15 jours passés. Le graphique montre que les coûts de maintenance pour l’immobilisation des ressources est proche des coûts engagés concernant la maintenance de la windfarmA. Les coûts pour une telle activité pour la ferme windfarmB est à peu près 2,5 fois plus que ceux de la ferme windfarmA. Cependant, en cas de maintenance non effectuée, la perte de revenu pour la ferme windfarmB est 3,5 fois plus élevée que la perte de revenu pour la ferme windfarmA. Par conséquent, il aurait été judicieux d’allouer plus de ressources de maintenance à la ferme windfarmB. Nous attendons donc que le joueur apprenne de ces résultats et réfléchisse sur les changements nécessaires dans sa prise de décision lors de la partie suivante.

Travaux et résultats > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 51/65

Figure 36: Graphique affichant le coût des opérations de maintenance et la perte de revenue (écran de jeu).

3.4.4 Perspectives Ce jeu de maintenance (MRO) a été montré aux industriels et académiques invités durant l’événement final Mer Innovate qui s’est tenu en mars 2015 à Portsmouth. Les retours des utilisateurs ayant joué au jeu ont été pris en compte et une prochaine version du jeu est en cours de développement. En outre, et comme cela a été mentionné dans le chapitre précédent, certaines fonctionnalités ont été ajoutées dans l’interface graphique mais ont besoin d’être implémentées, notamment de permettre au jouer de varier les paramètres de maintenance (Figure 30 ; troisième onglet), de permettre la politique 3 (Figure 31) de prendre en compte les fenêtres de conditions météorologiques (Figure 30 ; quatrième onglet. Il est prévu que ce jeu soit utilisé à la Business School de l’université d’Exeter pendant des travaux pratiques sur le management opérationnel. En outre, il est prévu de publier le jeu dans des publications académiques et de rendre le code source disponible pour ceux qui souhaiteraient le développer davantage.

3.5 Standardisation des procédures de maintenance en réalité augmentée

3.5.1 Introduction Comme expliqué au chapitre « 2.4.1 Réalité augmentée : contexte de la maintenance off-shore », nous avons identifié deux principaux métiers dans la maintenance :

L’opérateur (ou technicien) Son rôle est d’intervenir physiquement sur les éoliennes pour les réparer.

L’expert Son rôle est de maitriser les pannes possibles sur le système et les étapes à suivre pour réparer celles-ci. C’est lui qui crée les procédures de maintenance et guide les opérateurs en cas de problème d’exécution.

La problématique est de permettre à ces 2 métiers d’échanger plus efficacement et à distance afin que l’expert puisse apporter son savoir à l’opérateur (ou technicien) sans avoir à être physiquement présent à ses côtés. C’est bien cette analyse de la problématique qui nous a amené à étudier les systèmes de réalité augmentée. Nous allons donc dans une première partie présenter les deux modes de collaboration que nous avons définis, puis nous présenterons le modèle permettant de créer des procédures de maintenance en réalité augmentée. Enfin nous présenterons le démonstrateur que nous avons développé lors de ce projet.

3.5.2 Les modes de collaboration Dans cet échange entre l’expert et l’opérateur, nous proposons deux modes de collaboration permettant de répondre à cette problématique :

La maintenance guidée (voir figure 37) Dans ce modèle, l’expert modélise les processus de maintenance et les stocke sur une base de données (figure 37 - 1). Avant de se rendre sur le site à maintenir, le technicien charge son lecteur de réalité augmentée avec les maintenances à effectuer sur site (figure 37 - 2). Une fois sur place, il suivra le

Travaux et résultats > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 52/65

guide en réalité augmentée créé par l’expert (figure 37 - 3). Le travail de Henderson [74], cité plus haut, illustre ce mode de maintenance.

Figure 37 : La maintenance guidée : l’expert remplit la base de données de maintenance et l’opérateur les récupère avant de

se rendre sur le site à maintenir.

La maintenance assistée (voir figure 38) C’est un mode qui va permettre au technicien de communiquer en temps réel avec un expert. Si le technicien est bloqué dans sa maintenance car il ne comprend pas la procédure à suivre ou souhaite éclaircir un point, il peut contacter l’expert dans une conversation en directe (figure 38 - 1). L’expert recevra un flux vidéo de ce que voit le technicien sur place et pourra lui « augmenter » sa vision (figure 38 - 2) pour lui indiquer la démarche à suivre et débloquer le technicien. Le travail de Bottecchia [76], cité plus haut, illustre ce mode de maintenance.

Figure 38 : La maintenance assistée : correspondance directe entre un opérateur et un expert grâce à la réalité augmentée

Nous avons pour le moment axé principalement nos recherches sur la maintenance guidée. Ce que nous avons retenu des applications ou frameworks de réalité augmentée existants, est que l’utilisation d’outils ou de framework propriétaires sont très peu abordables par un expert en maintenance n’ayant pas de compétences en programmation informatique. Cette problématique de difficulté de prise en main nous a amené au point suivant.

3.5.3 Le modèle de maintenance pour la réalité augmentée L’expert n’étant pas un développeur informatique, la question suivante s’est posée : Comment rendre la création de procédure de maintenance en réalité augmentée, par un expert, facile et réutilisable dans tout type de métier ?

L’objectif est donc double : standardiser la description de procédures de maintenance en réalité augmentée et permettre une évolution du standard. L’enjeu est de permettre à des logiciels hétérogènes de communiquer pour décrire ces procédures et de permettre l’évolution du standard pour s’adapter aux problématiques métiers. La figure ci-dessous décrit le workflow d’utilisation du standard. Tout d’abord, l’expert, depuis un outil qu’il maitrise, édite les opérations de maintenance (figure 39 - 1). L’outil peut être de tout type : un outil de CAO comme SolidWorks, un outil auteur spécifique à une entreprise. L’adaptation à un logiciel existant pourra se faire grâce à un plugin permettant l’édition et l’export de ces procédures vers le standard proposé. Une fois créées, les procédures sont exportées dans un format standard, de type XML (figure 39 - 2). Enfin, l’opérateur charge le lecteur de RA avec les ressources suivantes : d’une part le fichier standard exporté par l’expert, d’autre part les modèles d’objets 3D. Une fois fait, le lecteur de RA peut afficher les procédures de maintenance en réalité augmentée, étape par étape, pour guider l’opérateur.

Travaux et résultats > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 53/65

Figure 39: Workflow de création de procédure de maintenance par un expert (1), d'export vers un standard (2) et

d'utilisation par un opérateur au travers du lecteur de RA (3)

3.5.3.1 La modélisation du système Afin de pouvoir représenter le système à maintenir, il faut pouvoir le modéliser de manière standard. Pour cela, nous utilisons ce diagramme de classe UML (voir figure 40).

Figure 40 : Diagramme de classe permettant de modéliser un système sur lequel des opérations de maintenance en réalité

augmentée seront faites.

Pour modéliser le système sur lequel la maintenance doit être faite, nous définissons les concepts suivants : chaque système est constitué d’une entité (Entity) principale. Cette entité peut être un conteneur d’autres entités. Cela permet donc de représenter une pièce, elle-même composée d’autre

Editeur de RA SolidWorks Outil auteur

Plugin

1

Modèle 3D

Lecteur de RA Smart Glasses ou

tablette

Fichier standard

XML

Export

Ressources

2 3

Expert Opérateur

Travaux et résultats > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 54/65

pièce. Par exemple une hélice d’éolienne est composée d’un rotor et de pale. Par conséquent l’entité principale est le rotor, qui sera lui-même composé de pales. Sur chacune des entités, est associé un modèle 3D, préalablement réalisé en CAO par un expert. A partir de là, il ne reste plus qu’à positionner les entités les unes par rapport aux autres grâce à leur position sur trois dimensions (Pos3D). Enfin, afin de déterminer comment sera reconnue la pièce par notre interpréteur de maintenance, nous avons deux blocs qui permettent de paramétrer le mode de détection en réalité augmentée (Tracking3D et TrackingImageTarget). Pour chacun des suivis (tracking) utilisés, il est nécessaire de pouvoir positionner l’objet servant à la reconnaissance par rapport à l’objet du système (Entity). Par exemple, plusieurs photos de différents points de vue d’une boite de vitesse de l’éolienne sont prises. Pour chaque photo prise, une instance de TrackingImageTarget est à créer dans le modèle. Chaque instance est positionnée (position, orientation) par rapport à l’Entity représentant la boite de vitesse. De cette manière, dès que le lecteur de RA reconnait une des photos prises (ImageTarget), il peut afficher par-dessus l’objet 3D permettant de guider l’opérateur en cohérence avec le monde réel.

3.5.3.2 La modélisation des procédures de maintenance Une fois que le système est modélisé, il faut faire de même pour les procédures de maintenance puisque ces procédures vont s’appliquer sur le système. La figure 41 représente le modèle proposé :

Figure 41: Modélisation des procédures de maintenance.

Une maintenance est définie comme étant une liste d’actions successives (Action) effectuées sur une entité du système (définie précédemment). Une action est représentée par une animation sur une pièce (Entity) du système (voir figure 42 (e) (f)). Une animation (Animation) est un mouvement avec une position et une orientation de départ et d’arrivée à jouer sur un temps donné. Par exemple une animation comme « dévisser » représente un mouvement partant de la position, orientation (x, y, z), (rx, ry, rz) = (0, 0, 0), (0, 0, 0) vers la position, orientation (0, 0, -50), (0, 0, -180°) en 800 ms. Cela représente donc un mouvement de recul tout en tournant la pièce dans le sens trigonométrique. Les illustrations (Illustration) ont exactement le même comportement que les animations mais sur une entité externe (ExternalEntity). Une entité externe est un objet qui ne fait pas parti du système mais est utile dans la maintenance. Par exemple, une augmentation représentant un tournevis pourrait apparaitre au-dessus d’une vis afin de représenter l’outil à utiliser pour effectuer la maintenance. Dans ce cas, la vis faite partie du système et est conceptualisé par l’Entity. L’outil quant à lui est bien externe au système, et est conceptualisé par l’ExternalEntity. Bien que la programmation de ces 2 concepts est la même, nous avons souhaité les séparer sémantiquement pour bien distinguer le système à maintenir, des outils ou indications affichés en réalité augmentée.

La force de ce modèle réside dans le fait que les actions sont paramétrables grâce à la position et à l’orientation de départ et d’arrivée de chaque animation (ou illustration). Par conséquent, une série de templates d’action peut être définie et ajoutée au standard en fonction des besoins métiers. Une fois ces templates d’action définies, l’expert n’a plus qu’à les utiliser pour créer chaque procédure de maintenance. De plus si au cours du temps des nouveaux templates d’action doivent être définis, il est facile de les créer pour les ajouter au standard. Ensuite l’export contiendra un fichier standard

Travaux et résultats > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 55/65

décrivant chaque procédure en réalité augmentée. Enfin le lecteur de réalité augmentée pourra lire ce fichier standard pour jouer les procédures pas à pas. Puisque la description des procédures de maintenance est basée sur un standard, alors n’importe quel lecteur de réalité augmentée respectant ce standard pourra jouer ces procédures. Cela permettra donc de développer ce lecteur pour tout type de matériel (tablette, lunette, mobile) existant ou à venir.

3.5.4 Le démonstrateur de réalité augmentée dédié à la maintenance Pour le lecteur de réalité augmentée, nous avons opté pour l’utilisation de UNITY 3D pour son côté multiplateforme et le framework Metaio. Nous avons développé une première version du lecteur de réalité augmentée sur une tablette ASUS Transformer pad. Le démonstrateur décrit en réalité augmentée la procédure permettant de démonter un ventilateur de PC. La figure 42 ci-dessous montre les différentes étapes de cette procédure.

Figure 42 : Procédure de maintenance en réalité augmentée permettant de démonter un ventilateur de PC étape par étape (a) La tablette est présentée devant le ventilateur, (b) Le ventilateur est détecté, un modèle 3D du ventilateur s’affiche en

réalité augmentée. Lancement de la maintenance en cliquant sur l’icône , (c) Animation pour dévisser la première vis, (d) puis la seconde, (e) et (f) une animation nous informe que nous pouvons retirer le ventilateur.

Voir la vidéo http://youtu.be/8ZjDGC7hXCY

Nous avons aussi développé un premier essai sur des lunettes EPSON Moverio BT-200, de type Optical See-Through. Cette application permet d’afficher une augmentation du modèle 3D du ventilateur de PC avec sa version réel. Bien que le démonstrateur soit fonctionnel, ce premier essai nous a fait rencontrer quelques difficultés que nous détaillerons dans le paragraphe suivant.

3.5.5 Conclusions, Limitations et perspectives Les compétences techniques nécessaires pour développer des applications de réalité augmentée nous montrent l’importance de standardiser ces procédures de maintenance afin d’en faciliter la création et la modification. Le modèle de procédure proposé est donc pertinent. Il ne reste toutefois qu’une première version. Il sera nécessaire de le faire évoluer lorsque nous l’utiliserons sur un plus grand nombre de procédures. En effet, le modèle n’a été utilisé que sur le premier cas de développement exposé dans le paragraphe précédent. Nous le ferons donc évoluer avec les contraintes d’utilisation de celui-ci afin de permettre l’industrialisation du processus. De plus, les retours que nous avons reçus des industriels rencontrés lors des conférences nous ont montré le besoin de prendre en compte les retours d’expérience de l’opérateur. Bien que l’expert possède la connaissance sur les défaillances du système, l’opérateur, qui effectue les procédures de maintenance, possède un savoir-faire qu’il est important de capitaliser. Par conséquent, il faudra que le modèle permette aussi à l’opérateur de faire des mises à jour de procédure, moyennant une validation de l’expert.

Une fois la version 2 du modèle mise en place, il sera nécessaire de créer un éditeur de maintenance respectant ce standard. Nous nous dirigeons pour l’instant vers une intégration dans le logiciel

Travaux et résultats > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 56/65

SolidWorks, puisqu’il est un de ceux les plus utilisés en CAO. Il sera intéressant de travailler avec un partenaire industriel pour créer cet éditeur afin de pouvoir le tester sur des problématiques réelles. Cela permettra à l’expert industriel de créer des procédures de maintenance et par la suite d’évaluer l’apport de la réalité augmentée en mode de collaboration guidée. De la même manière, la mise en place d’un outil permettant de faire une collaboration assistée et d’évaluer ce mode devra être mise en place.

L’application développée sur les Epson Moverio nous a permis d’appréhender les limitations de ce type d’appareil. En effet, la qualité moyenne de la caméra (640x480) ne permet pas de détecter aisément les images cibles. Le bruit présent sur l’image prise par la caméra empêche l’algorithme de détection d’être efficient. De plus la vision au travers des Optical See-Through peut obstruer la vue du monde réel. Il sera intéressant d’intégrer une caméra de meilleure qualité sur ces Epson Moverio BT-200 afin d’obtenir un suivi plus performant. En ce qui concerne les lunettes de type Optical Glance, la vision de l’utilisateur n’est pas obstruée, mais la taille de l’écran est handicapante pour l’usage sur une longue période. Ces premières impressions d’usages restent à confirmer scientifiquement. C’est pourquoi il sera nécessaire de tester les procédures de maintenance sur plusieurs types d’appareils disponibles : la tablette, le mobile, les lunettes Optical See-Through et les lunettes Optical Glance. Ce test permettra d’évaluer si la réalité augmentée permet de localiser puis d’exécuter des tâches de maintenance plus rapidement qu’avec des méthodes classiques (manuel électronique ou papier, conversation téléphonique). Il faudra enfin évaluer le retour des utilisateurs en matière de confort, de lisibilité, de facilité d’usage et d’acceptabilité.

Le dernier thème qui ressort de ce projet est la GUI (Gesture User Interface). Ce thème aborde les problématiques d’interface homme machine sans écran ni clavier. Certes, les lunettes intelligentes permettent d’agir avec les mains libres, en contrepartie, les interfaces hommes machines pour contrôler l’application sont limitées. Tous les gestes que nous utilisons quotidiennement sur tablettes : pinch, zoom, tap, slide, ne sont pas disponibles sur ce type d’appareil. Il sera donc nécessaire d’effectuer un état de l’art sur les méthodes actuelles afin de définir une série de gestes permettant le contrôle de l’application de maintenance.

Conclusion > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 57/65

4 Conclusion Le projet Mer Innovate nous a permis de travailler sur les problématiques et les nouvelles technologies liées à la maintenance des énergies marines renouvelables, et plus particulièrement les parcs éoliens offshores. La collaboration efficace entre tous les partenaires a été le facteur clé pour la réussite du projet. En effet, tous les objectifs ont été atteints et certains dépassés (nombre de publications, simulateur). Ce rapport présente les travaux scientifiques et techniques effectués lors de ce projet. Après une introduction générale, ce rapport a présenté un état de l’art sur la e-maintenance et ses applications puis s’est concentré sur la réalité augmentée dédiée à la maintenance. Par la suite, le rapport a présenté les travaux et résultats obtenus sur ces sujets : les simulateurs développés comme outil d’aide à la décision et à la planification, la réalité augmentée pour la maintenance et le serious game pour l’apprentissage de la maintenance. A travers la simulation, nous avons pu voir que la stratégie de maintenance avait un fort impact sur le coût de l’énergie. La stratégie de maintenance que nous avons proposée est une piste sérieuse pour réduire le coût de ce type d’énergie. Par ailleurs, le développement des nouvelles technologies comme la réalité augmentée permet de répondre aux contraintes liées aux conditions extrêmes (météorologiques, distance des côtes) et au manque de formation. Notre proposition de modélisation de la maintenance en réalité augmentée permettra à terme à un expert de facilement mettre en place cette technologie et créer ses propres scénarios de maintenance. Il pourra donc partager son savoir à distance avec l’opérateur travaillant sur site. Le serious game, nous a permis de transmettre les connaissances acquises lors du projet. Il permettra donc à des étudiants de mettre en œuvre les stratégies de maintenance en les expérimentant. Ces résultats intéressants et leurs analyses ouvrent d’autres pistes de recherche et de développement telles que : l’évaluation et la maitrise des risques liées à cette filière d’éolienne offshore, le développement du modèle de dégradation, l’exploitation de la prédiction des fenêtres de temps. En ce qui concerne la réalité augmentée il reste à expérimenter le modèle de maintenance proposé pour tester son usage de manière industrielle, à étudier les interfaces gestuelles permettant de contrôler une application les mains libres et enfin à tester l’acceptabilité d’usage sur les différents types d’appareils (tablette, lunettes intelligentes). D’autres projets doivent être lancés pour exploiter et améliorer les résultats obtenus et augmenter la collaboration avec les PME du domaine.

5 Bibliographie

[1] M. Hightower et S. A. Pierce, «The energy challenge,» Nature, vol. 452, n° %17185, pp. 285-286, 2008.

[2] R. Perveen, N. Kishor et S. R. Mohanty, «Off-shore wind farm development: Present status and challenges,» Renewable and Sustainable Energy Reviews, vol. 29, pp. 780-792, 2014.

[3] A. R. Henderson, C. Morgan, H. C. Smith, R. J. Barthelmie et B. Boesmans, «Offshore Wind Energy in Europe—A Review of the State-of-the-Art,» Wind energy, vol. 6, n° %11, pp. 35-52, 2003.

[4] S. A. Ivan Pineda, J. Moccia et J. Wilkes, «{Wind in power 2013},» n° %1February, pp. 1-12, 2014.

[5] F. P. Team, presentation of the offshore winf farm of Fecamp / Presentation du projet du parc eolien offshore de Fecamp, 2013.

[6] F. Brennan, «Risk Based Maintenance for Offshore Wind Structures,» Procedia CIRP, vol. 11, pp. 296-300, 2013.

[7] E. Byon, E. P{\'e}rez, Y. Ding et L. Ntaimo, «Simulation of wind farm operations and maintenance using discrete event system specification,» Simulation, vol. 87, n° %112, pp. 1093-1117, 2011.

[8] G.Hassan, «{Concerted Action on Offshore Wind Energy in Europe},» 2001.

Bibliographie > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 58/65

[9] A. L. Dimeas et N. D. Hatziargyriou, «Operation of a multiagent system for microgrid control,» IEEE TRANSACTIONS ON POWER SYSTEMS PWRS, vol. 20, n° %13, p. 1447, 2005.

[10] K. Holmberg, A. Adgar, A. Arnaiz, E. Jantunen, J. Mascolo et S. Mekid, E-maintenance, Springer Science \& Business Media, 2010.

[11] S. Chowdhury et A. Akram, «E-maintenance: Opportunities and Challenges,» chez The 34th Information Systems Research Seminar in Scandinavia (IRIS), Turku, Finland, August 16-19, 2011, 2011.

[12] C. Emmanouilidis, J. P. Liyanage et E. Jantunen, «Mobile solutions for engineering asset and maintenance management,» Journal of Quality in Maintenance Engineering, vol. 15, n° %11, pp. 92-105, 2009.

[13] J. P. Liyanage, «Integrated e-Operations-e-Maintenance: Applications in North Sea Offshore Assets,» chez Complex System Maintenance Handbook, Springer, 2008, pp. 585-609.

[14] R. van de Pieterman, H. Braam, T. Obdam, L. Rademakers et T. van der Zee, «Optimisation of maintenance strategies for offshore wind farms,» chez The Offshore 2011 Conference, 2011.

[15] L. Rademakers, H. Braam, M. B. Zaaijer et S. W. Energy, «{ASSESSMENT AND OPTIMISATION OF OPERATION AND MAINTENANCE OF OFFSHORE WIND TURBINES},» 2003.

[16] J. J. Nielsen et J. D. Sorensen, «On risk-based operation and maintenance of offshore wind turbine components,» Reliability Engineering \& System Safety, vol. 96, n° %11, pp. 218-229, 2011.

[17] S.-H. Liao, «Expert system methodologies and applications—a decade review from 1995 to 2004,» Expert systems with applications, vol. 28, n° %11, pp. 93-103, 2005.

[18] S. A. Kalogirou, «Artificial intelligence for the modeling and control of combustion processes: a review,» Progress in Energy and Combustion Science, vol. 29, n° %16, pp. 515-566, 2003.

[19] K. Wang, Intelligent condition monitoring and diagnosis systems: a computational intelligence approach, vol. 93, IOS press, 2003.

[20] K. Warwick, A. Ekwue et R. Aggarwal, Artificial intelligence techniques in power systems, Iet, 1997.

[21] M. P{\'e}rez, E. Garc{\'\i}a, F. Morant, A. Correcher et E. Quiles, «Optimal Maintenance system for offshore wind turbines,» chez International Conference on Renewable Energies and Power Quality (ICREPQ’10). Granada (Spain), 23th to 25th March, 2010.

[22] J. H. Taylor et A. F. Sayda, «Prototype design of a multi-agent system for integrated control and asset management of petroleum production facilities,» chez American Control Conference, 2008, 2008.

[23] T. Burton, N. Jenkins, D. Sharpe et E. Bossanyi, Wind energy handbook, John Wiley \& Sons, 2011.

[24] J. Lee, «A framework for web-enabled e-maintenance systems,» chez Environmentally Conscious Design and Inverse Manufacturing, 2001. Proceedings EcoDesign 2001: Second International Symposium on, 2001.

[25] Y. Li, L. Chun et A. N. Y. Ching, «An agent-based platform for web-enabled equipment predictive maintenance,» chez Intelligent Agent Technology, IEEE/WIC/ACM International Conference on, 2005.

[26] E. Gilabert, E. Jantunen, C. Emmanouilidis, A. Starr et A. Arnaiz, «Optimizing E-Maintenance Through Intelligent Data Processing Systems,» chez Engineering Asset Management 2011, Springer, 2014, pp. 1-9.

[27] B. Iung, E. Levrat, A. C. Marquez et H. Erbe, «Conceptual framework for e-Maintenance: Illustration by e-Maintenance technologies and platforms,» Annual Reviews in Control, vol. 33, n° %12, pp. 220-229, 2009.

Bibliographie > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 59/65

[28] R. C. Baldwin, How Do You Spell e-Maintenenace?, 2000.

[29] R. C. Baldwin, The Challenge of Change Revisited, 2004.

[30] E. Levrat, B. Iung et A. Crespo Marquez, «E-maintenance: review and conceptual framework,» Production Planning \& Control, vol. 19, n° %14, pp. 408-429, 2008.

[31] M. Koc, J. Ni, J. Lee et P. Bandyopadhyay, Introduction to e-Manufacturing., 2005.

[32] d. world, iSCADA: Implementing eMaintenance.

[33] A. H. Tsang, «Strategic dimensions of maintenance management,» Journal of Quality in Maintenance Engineering, vol. 8, n° %11, pp. 7-39, 2002.

[34] I. Hausladen et C. Bechheim, «E-maintenance platform as a basis for business process integration,» chez Industrial Informatics, 2004. INDIN'04. 2004 2nd IEEE International Conference on, 2004.

[35] M. Ucar et R. G. Qiu, «E-maintenance in support of e-automated manufacturing systems,» Journal of the Chinese institute of industrial engineers, vol. 22, n° %11, pp. 1-10, 2005.

[36] A. C. Marquez et J. N. Gupta, «Contemporary maintenance management: process, framework and supporting pillars,» Omega, vol. 34, n° %13, pp. 313-326, 2006.

[37] B. Tao, H. Ding et Y.-L. Xiong, «IP sensor and its distributed networking application in e-maintenance,» chez Systems, Man and Cybernetics, 2003. IEEE International Conference on, 2003.

[38] M. Koc et J. Lee, «A system framework for next-generation E-maintenance systems,» China Mechanical Engineering, vol. 5, p. 014, 2001.

[39] D. Stenmark, «Designing the new intranet,» 2002.

[40] D. Saint-Voirin et N. Zerhouni, «Cooperative systems modeling, example of a cooperative e-maintenance system,» chez Distributed Frameworks for Multimedia Applications, 2006. The 2nd International Conference on, 2006.

[41] S. Takata, F. Kirnura, F. Van Houten, E. Westkamper, M. Shpitalni, D. Ceglarek et J. Lee, «Maintenance: changing role in life cycle management,» CIRP Annals-Manufacturing Technology, vol. 53, n° %12, pp. 643-655, 2004.

[42] L. D. DeSimone et F. Popoff, Eco-efficiency: the business link to sustainable development, MIT press, 2000.

[43] P. Cunha, J. C. Duarte et L. Alting, «Development of a productive service module based on a life cycle perspective of maintenance issues,» CIRP Annals-Manufacturing Technology, vol. 53, n° %11, pp. 13-16, 2004.

[44] M. Wilkinson, B. Hendriks, F. Spinato, K. Harman, E. Gomez, H. Bulacio, J. Roca, P. Tavner, Y. Feng et H. Long, «Methodology and results of the ReliaWind reliability field study,» chez European Wind Energy Conference and Exhibition 2010, EWEC 2010, 2010.

[45] H. Arabian-Hoseynabadi, H. Oraee et P. Tavner, «Failure modes and effects analysis (FMEA) for wind turbines,» International Journal of Electrical Power \& Energy Systems, vol. 32, n° %17, pp. 817-824, 2010.

[46] R. Hyers, J. McGowan, K. Sullivan, J. Manwell et B. Syrett, «Condition monitoring and prognosis of utility scale wind turbines,» Energy Materials, vol. 1, n° %13, pp. 187-203, 2006.

[47] J. R. Babu et S. Jithesh, «Breakdown risks in wind energy turbines,» Pravartak, the journal of Insurance and risk Management from National Insurance Academy, Pun, vol. 3, n° %13, 2008.

[48] A. Stenberg et H. Holttinen, «Analysing failure statistics of wind turbines in Finland,» chez European Wind Energy Conference, April, 2010.

[49] B. Lu, «{A Review of Recent Advances in Wind Turbine Condition Monitoring and Fault Diagnosis},» 2012.

[50] A. Palanci, {Leak-free hydraulic fittings prevent vibration failure}.

Bibliographie > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 60/65

[51] E. W. M. M. M. P. Bill Chun Piu Lau, «{Review of offshore wind turbine failures and fault prognostic methods},» Proceedings of the IEEE 2012 Prognostics and System Health Management Conference (PHM-2012 Beijing), pp. 1-5, 2012.

[52] H. Kooijman, C. Lindenburg, D. Winkelaar et E. van der Hooft, «DOWEC 6 MW pre-design,» Energy Research Center of the Netherlands (ECN), 2003.

[53] C. Energy, W. W. Are, G. Communities, L. Conservation, H. Rivers, A. Menhaden et N. P. Trading, «Offshore wind energy,» February, vol. 26, p. 4, 2007.

[54] A. Muller, A. C. Marquez et B. Iung, «On the concept of e-maintenance: Review and current research,» Reliability Engineering \& System Safety, vol. 93, n° %18, pp. 1165-1187, 2008.

[55] J. Campos, «Development in the application of ICT in condition monitoring and maintenance,» Computers in Industry, vol. 60, n° %11, pp. 1-20, 2009.

[56] H. Braam et T. W. Verbruggen, «{R \& D NEEDS FOR O \& M OF WIND TURBINES},» 2000.

[57] S.-P. Breton et G. Moe, «Status, plans and technologies for offshore wind turbines in Europe and North America,» Renewable Energy, vol. 34, n° %13, pp. 646-654, 2009.

[58] I. El-Thalji et E. Jantunen, «On the development of condition based maintenance strategy for offshore wind farm: requirement elicitation process,» Energy Procedia, vol. 24, pp. 328-339, 2012.

[59] MerInnovate, «Mer Innovate project,» 2012.

[60] T. P. Caudell et D. W. Mizell, «Augmented reality: An application of heads-up display technology to manual manufacturing processes,» chez System Sciences, 1992. Proceedings of the Twenty-Fifth Hawaii International Conference on, 1992.

[61] P. Milgram et F. Kishino, «A taxonomy of mixed reality visual displays,» IEICE TRANSACTIONS on Information and Systems, vol. 77, n° %112, pp. 1321-1329, 1994.

[62] R. T. Azuma et others, «A survey of augmented reality,» Presence, vol. 6, n° %14, pp. 355-385, 1997.

[63] D. Van Krevelen et R. Poelman, «A survey of augmented reality technologies, applications and limitations,» International Journal of Virtual Reality, vol. 9, n° %12, p. 1, 2010.

[64] A. Nee, S. Ong, G. Chryssolouris et D. Mourtzis, «Augmented reality applications in design and manufacturing,» CIRP Annals-manufacturing technology, vol. 61, n° %12, pp. 657-679, 2012.

[65] S. Lieberknecht, S. Benhimane, P. Meier et N. Navab, «A dataset and evaluation methodology for template-based tracking algorithms,» chez Mixed and Augmented Reality, 2009. ISMAR 2009. 8th IEEE International Symposium on, 2009.

[66] C. Harris et M. Stephens, «A combined corner and edge detector.,» chez Alvey vision conference, 1988.

[67] «ARToolKit».

[68] D. G. Lowe, «Distinctive image features from scale-invariant keypoints,» International journal of computer vision, vol. 60, n° %12, pp. 91-110, 2004.

[69] H. Bay, T. Tuytelaars et L. Van Gool, «Surf: Speeded up robust features,» chez Computer Vision--ECCV 2006, Springer, 2006, pp. 404-417.

[70] E. Rosten et T. Drummond, «Fusing points and lines for high performance tracking,» chez Computer Vision, 2005. ICCV 2005. Tenth IEEE International Conference on, 2005.

[71] W. University, «CSE/EE 576: Computer Vision,» 2011.

[72] P. Corke, Robotics, vision and control: fundamental algorithms in MATLAB, vol. 73, Springer Science \& Business Media, 2011.

[73] M. Mallem et D. Roussel, «Réalité augmentée: principes, technologies et applications,» Techniques de l'ingénieur. Télécoms, n° %1TE5920, 2008.

Bibliographie > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 61/65

[74] S. Henderson et S. Feiner, «Exploring the benefits of augmented reality documentation for maintenance and repair,» Visualization and Computer Graphics, IEEE Transactions on, vol. 17, n° %110, pp. 1355-1368, 2011.

[75] D. Kalkofen, C. Sandor, S. White et D. Schmalstieg, Visualization techniques for augmented reality, Springer, 2011.

[76] S. Bottecchia, «Système TAC: Télé-Assistance Collaborative. Réalité augmentée et NTIC au service des opérateurs et des experts dans le cadre d'une tâche de maintenance industrielle supervisée.,» 2010.

[77] E. Hau et H. Von Renouard, Wind turbines: fundamentals, technologies, application, economics, Springer, 2013.

[78] W. Zhou, H. Yang et Z. Fang, «Wind power potential and characteristic analysis of the Pearl River Delta region, China,» Renewable Energy , vol. 31, n° %16, pp. 739-753, 2006.

[79] J. Nilsson et L. Bertling, «Maintenance management of wind power systems using condition monitoring systems—life cycle cost analysis for two case studies,» Energy Conversion, IEEE Transactions on, vol. 22, n° %11, pp. 223-229, 2007.

[80] S. Tisue et U. Wilensky, «Netlogo: A simple environment for modeling complexity,» chez International Conference on Complex Systems, 2004.

[81] E. B. Thornton et R. Guza, «Transformation of wave height distribution,» Journal of Geophysical Research: Oceans (1978--2012), vol. 88, n° %1C10, pp. 5925-5938, 1983.

[82] M. Pidd, «Computer simulation in management science,» 1998.

[83] R. J. Brooks et S. Robinson, Simulation and Inventory Control (Texts in Operational Research), Palgrave Macmillan, 2001.

[84] R. J. Paul, «Activity cycle diagrams and the three-phase method,» chez Proceedings of the 25th conference on Winter simulation, 1993.

[85] S. Robinson, «Distributed simulation and simulation practice,» Simulation, vol. 81, n° %11, pp. 5-13, 2005.

[86] M. Pidd, «Computer Simulation in Management Science,» 2004.

[87] R. E. Shannon, «Introduction to the art and science of simulation,» chez Proceedings of the 30th conference on Winter simulation, 1998.

[88] C. Harteveld, R. Guimaraes, I. Mayer et R. Bidarra, «Balancing pedagogy, game and reality components within a unique serious game for training levee inspection,» chez Technologies for E-Learning and Digital Entertainment, Springer, 2007, pp. 128-139.

[89] T. Susi, M. Johannesson et P. Backlund, «Serious games: An overview,» 2007.

[90] I. Marfisi-Schottman, A. Sghaier, S. Georges, P. Patrick et F. Tarpin-Bernard, «Vers une industrialisation de la conception et de la production de Serious Games,» chez Atelier" Jeux sérieux: conception et usages", EIAH'2009 Environnements Informatiques pour l'Apprentissage Humain, 2009.

[91] M. Zyda, «From visual simulation to virtual reality to games,» Computer, vol. 38, n° %19, pp. 25-32, 2005.

[92] Y. Hirose, J. Sugiura et K. Shimomoto, «Industrial waste management simulation game and its educational effect,» Journal of Material Cycles and Waste Management, vol. 6, n° %11, pp. 58-63, 2004.

[93] T. A. Philpot, R. H. Hall, N. Hubing et R. E. Flori, «Using games to teach statics calculation procedures: Application and assessment,» Computer Applications in Engineering Education, vol. 13, n° %13, pp. 222-232, 2005.

[94] K. Katsaliaki et N. Mustafee, «Edutainment for Sustainable Development A Survey of Games in the Field,» Simulation \& Gaming, p. 1046878114552166, 2014.

Bibliographie > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 62/65

[95] M. A. Lewis et H. R. Maylor, «Game playing and operations management education,» International Journal of Production Economics, vol. 105, n° %11, pp. 134-149, 2007.

[96] S. Blackman, «Serious games... and less!,» ACM Siggraph Computer Graphics, vol. 39, n° %11, pp. 12-16, 2005.

[97] D. R. Michael et S. L. Chen, Serious games: Games that educate, train, and inform, Muska \& Lipman/Premier-Trade, 2005.

[98] K. Corti, «Games-based Learning; a serious business application,» Informe de PixelLearning, vol. 34, n° %16, pp. 1-20, 2006.

[99] K. Squire, «Cultural framing of computer/video games,» Game studies, vol. 2, n° %11, p. 90, 2002.

[100] A. Mitchell et C. Savill-Smith, «The use of computer and video games for learning,» A review of the literature, 2004.

[101] G. Van Bussel et C. Schöntag, «Operation and maintenance aspects of large offshore windfarms,» chez EWEC-CONFERENCE-, 1997.

[102] N. I. Badler, C. A. Erignac et Y. Liu, «Virtual humans for validating maintenance procedures,» Communications of the ACM, vol. 45, n° %17, pp. 56-63, 2002.

[103] J. S. Liang, «Design and implement a virtual learning architecture for troubleshooting practice of automotive chassis,» Computer Applications in Engineering Education, vol. 18, n° %13, pp. 512-525, 2010.

[104] J. S. Liang, «Scaffolding for automotive air conditioning learning environment,» Computer Applications in Engineering Education, vol. 18, n° %14, pp. 736-749, 2010.

[105] A. A. Deshpande et S. H. Huang, «Simulation games in engineering education: A state-of-the-art review,» Computer Applications in Engineering Education, vol. 19, n° %13, pp. 399-410, 2011.

[106] U. Rüppel et K. Schatz, «Designing a BIM-based serious game for fire safety evacuation simulations,» Advanced Engineering Informatics, vol. 25, n° %14, pp. 600-611, 2011.

[107] K. Kuk, D. Jovanovic, D. Jokanovic, P. Spalevic, M. Caric et S. Panic, «Using a game-based learning model as a new teaching strategy for computer engineering,» Turk J. Elec. Eng. \& Comp. Sci, vol. 20, n° %12, pp. 1312-1331, 2012.

[108] H. Li, G. Chan et M. Skitmore, «Multiuser virtual safety training system for tower crane dismantlement,» Journal of Computing in Civil Engineering, vol. 26, n° %15, pp. 638-647, 2012.

[109] S. Vosinakis et P. Koutsabasis, «Problem-based learning for design and engineering activities in virtual worlds,» Presence: Teleoperators and Virtual Environments, vol. 21, n° %13, pp. 338-358, 2012.

[110] J. Geng, D. Zhou, C. Lv et Z. Wang, «A modeling approach for maintenance safety evaluation in a virtual maintenance environment,» Computer-Aided Design, vol. 45, n° %15, pp. 937-949, 2013.

[111] J. Zhu, S. Ong et A. Nee, «An authorable context-aware augmented reality system to assist the maintenance technicians,» The International Journal of Advanced Manufacturing Technology, vol. 66, n° %19-12, pp. 1699-1714, 2013.

[112] H. Dib et N. Adamo-Villani, «Serious Sustainability Challenge Game to Promote Teaching and Learning of Building Sustainability.,» Journal of Computing in Civil Engineering, p. 28(5), 2014.

[113] S. Qiu, Q. He, X. Fan et D. Wu, «Virtual human hybrid control in virtual assembly and maintenance simulation,» International Journal of Production Research, vol. 52, n° %13, pp. 867-887, 2014.

[114] E.-S. S. Aziz, Y. Chang, S. K. Esche et C. Chassapis, «A multi-user virtual laboratory environment for gear train design,» Computer Applications in Engineering Education, vol. 22, n° %14, pp. 788-802, 2014.

Bibliographie > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 63/65

[115] E. Kerga, M. Rossi, M. Taisch et S. Terzi, «A serious game for introducing set-based concurrent engineering in industrial practices,» Concurrent Engineering, vol. 22, n° %14, pp. 333-346, 2014.

[116] C. J. Venter et J. Coetzee, «Interactive Learning through Gaming Simulation in an Integrated Land Use--Transportation Planning Course,» Journal of Professional Issues in Engineering Education and Practice, vol. 140, n° %11, 2013.

[117] S. Ammar et R. Wright, «Experiential learning activities in operations management,» International Transactions in Operational Research, vol. 6, n° %12, pp. 183-197, 1999.

[118] G. Chapman et J. Martin, «Computerized business games in engineering education,» Computers \& education, vol. 25, n° %11, pp. 67-73, 1995.

[119] M. C. C. Baranauskas, N. G. Gomes Neto et M. A. Borges, «Gaming at work: a learning environment for synchronized manufacturing,» Computer Applications in Engineering Education, vol. 8, n° %13-4, pp. 162-169, 2000.

[120] M. Holweg et J. Bicheno, «Supply chain simulation--a tool for education, enhancement and endeavour,» International journal of production economics, vol. 78, n° %12, pp. 163-175, 2002.

[121] A. C. Johnson et A. M. Drougas, «Using Goldratt's game to introduce simulation in the introductory operations management course,» INFORMS Transactions on Education, vol. 3, n° %11, pp. 20-33, 2002.

[122] D. Y. Wu et E. Katok, «Learning, communication, and the bullwhip effect,» Journal of Operations Management, vol. 24, n° %16, pp. 839-850, 2006.

[123] F. Pasin et H. Giroux, «The impact of a simulation game on operations management education,» Computers and Education, vol. 57, n° %11, pp. 1240-1254, 2011.

[124] D. Battini, M. Faccio, A. Persona et F. Sgarbossa, «Logistic Game™: learning by doing and knowledge-sharing,» Production Planning and Control, vol. 20, n° %18, pp. 724-736, 2009.

[125] K. Katsaliaki, N. Mustafee et S. Kumar, «A game-based approach towards facilitating decision making for perishable products: An example of blood supply chain,» Expert Systems with Applications, vol. 41, n° %19, pp. 4043-4059, 2014.

[126] B. Keys et J. Wolfe, «The role of management games and simulations in education and research,» Journal of management, vol. 16, n° %12, pp. 307-336, 1990.

[127] K. Nakano et T. Terano, «From gaming simulation to case method—empirical study on business game development and evaluation,» chez Knowledge-Based Intelligent Information and Engineering Systems, 2004.

[128] T. Lainema et O.-P. Hilmola, «Learn more, better and faster: computer-based simulation gaming of production and operations,» International Journal of Business Performance Management, vol. 7, n° %11, pp. 34-59, 2005.

[129] J. S. Goodwin et S. G. Franklin, «The beer distribution game: using simulation to teach systems thinking,» Journal of Management Development, vol. 13, n° %18, pp. 7-15, 1994.

[130] H. Haapasalo et J. Hyvönen, «Simulating business and operations management--a learning environment for the electronics industry,» International Journal of Production Economics, vol. 73, n° %13, pp. 261-272, 2001.

[131] D. Petty, S. Hooker et K. Barber, «The federal-mogul business game: The development and application of an educational aid for planning and control,» issues, vol. 3, p. 4, 2001.

[132] J. Zabawa et B. Mielczarek, «Tools of Monte Carlo simulation in inventory management problems,» chez Proceedings 21st European Conference on Modelling and Simulationi (ECMS), 2007.

[133] Y. Nemoto, K. Uei, T. Fujiwara, S. Mizoguchi et Y. Shimomura, «Strategic Thinking in EDIPS: Edutainment for Designing Integrated Product-service System,» Procedia CIRP, vol. 16, pp. 92-97, 2014.

Table des illustrations > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 64/65

[134] icons8, «Icons8,» 2014.

[135] F. Manuri, A. Sanna, F. Lamberti, G. Paravati et P. Pezzolla, «A Workflow Analysis for Implementing AR-Based Maintenance Procedures,» chez Augmented and Virtual Reality, Springer, 2014, pp. 185-200.

6 Table des illustrations Figure 1: les causes principales des défaillances des éoliennes ............................................................ 10 Figure 2: exemple dans la manche d’une configuration d'une ferme d'éolienne off-shore (en vert) et sa base de maintenance on-shore (en mauve) [59]. ................................................................................. 12 Figure 3: Continuum réalité-virtualité [61] ........................................................................................... 13 Figure 4: Principe de fonctionnement de la réalité augmentée. .......................................................... 14 Figure 5: Les différents types d'algorithmes de suivi. ........................................................................... 14 Figure 6: Exemple de marqueur pour le suivi en réalité augmentée. ................................................... 15 Figure 7: Algorithme de réalité augmentée avec marqueur. Images provenant du site ARToolkit [67] ............................................................................................................................................................... 16 Figure 8: Exemple de l'image à différentes échelles (scale). L'image de base est convoluée par un filtre gaussien de sigma=4, puis l'image résultante est convoluée avec le même filtre gaussien… etc ........ 17 Figure 9: Points d’intérêts (features) extraits avec l’algorithme SURF. Image de référence Iref (à gauche), Image de la scène (à droite) .................................................................................................................. 18 Figure 10: Algorithme de réalité augmentée avec image de référence. .............................................. 18 Figure 11: Algorithme de réalité augmentée avec détection 3D .......................................................... 19 Figure 12: Représentation idéale de la réalité augmentée vu par un sujet humain. La flèche verte représente l'augmentation virtuelle. .................................................................................................... 19 Figure 13: Les différents appareils d'affichage de la réalité augmentée. ............................................. 20 Figure 14: Principe de fonctionnement de l’affichage de la réalité augmentée avec 2 types différents d'afficheurs. Video See-Through (à gauche) et Optical See-Through (à droite) [73] ............................ 20 Figure 15: Représentation de la réalité augmentée vue avec différents types d'appareil. (a) Lunette Optical See-Through, (b) casque Video See-Through, (c) lunette Optical Glance (type Google Glass), (d) tablette et (e) projecteur....................................................................................................................... 21 Figure 16: Maintenance en réalité augmentée Henderson [74]. (a) et (b) indication de la localisation de la tâche. (c) et (d) indication de l’étape à effectuer dans la procédure de maintenance. .................... 24 Figure 17: Système TAC [76]. Interface de l’expert. En rouge ce que voit l’opérateur dans ses lunettes Optical See-through. ............................................................................................................................. 24 Figure 18: Projet MARTA. La tablette affiche les opérations de maintenance en réalité augmentée. 25 Figure 19 : architecture basé sur les systèmes Multi-agent .................................................................. 26 Figure 20 : Power curve. ........................................................................................................................ 27 Figure 21: Fonctionnement de l’agent Monitoring ............................................................................... 30 Figure 22: The wind farm simulator developed with NetLogo.............................................................. 32 Figure 23: Production totale d'énergie et variation météorologique sur 5 ans .................................... 33 Figure 24: Le cout de chaque stratégie ................................................................................................. 34 Figure 25 Exécution de simulation à trois phases (adapté de [63]) ...................................................... 37 Figure 26 Capture d’écran du modèle Simul8 ....................................................................................... 38 Figure 27 Le flux logique du modèle SED Simul8 de la MRO................................................................. 39 Figure 28 : scénario du jeu .................................................................................................................... 42 Figure 29 : Capture d’écran du jeu ........................................................................................................ 42 Figure 30: Le joueur peut jouer soit de manière déterministe (Standard Play), soit de manière aléatoire (Advance Play). ...................................................................................................................................... 48

Table des illustrations > Standardisation des procédures de maintenance en réalité augmentée

La e-maintenance et la réalité augmentée 65/65

Figure 31: Les joueurs peuvent choisir 3 modes de jeu différents. ...................................................... 48 Figure 32: L’information présentée dans le panneau résumé diffère en fonction de la politique choisie ; la demande de ressource est cachée pour la politique 1 (à gauche) ; et montrée pour la politique 2 (à droite). ................................................................................................................................................... 49 Figure 33: L’écran de jeu. ...................................................................................................................... 49 Figure 34: Les ressources demandées et allouées en fonction de la disponibilité et d’autres considérations (écran de jeu). ............................................................................................................... 50 Figure 35: Graphiques générés à la volée au fur et à mesure que le jeu progresse (écran de jeu). ..... 50 Figure 36: Graphique affichant le coût des opérations de maintenance et la perte de revenue (écran de jeu). ................................................................................................................................................... 51 Figure 37 : La maintenance guidée : l’expert remplit la base de données de maintenance et l’opérateur les récupère avant de se rendre sur le site à maintenir. ....................................................................... 52 Figure 38 : La maintenance assistée : correspondance directe entre un opérateur et un expert grâce à la réalité augmentée ............................................................................................................................. 52 Figure 39: Workflow de création de procédure de maintenance par un expert (1), d'export vers un standard (2) et d'utilisation par un opérateur au travers du lecteur de RA (3) ................................... 53 Figure 40 : Diagramme de classe permettant de modéliser un système sur lequel des opérations de maintenance en réalité augmentée seront faites. ................................................................................ 53 Figure 41: Modélisation des procédures de maintenance. ................................................................... 54 Figure 42 : Procédure de maintenance en réalité augmentée permettant de démonter un ventilateur de PC étape par étape (a) La tablette est présentée devant le ventilateur, (b) Le ventilateur est détecté, un modèle 3D du ventilateur s’affiche en réalité augmentée. Lancement de la maintenance en cliquant sur l’icône , (c) Animation pour dévisser la première vis, (d) puis la seconde, (e) et (f) une animation nous informe que nous pouvons retirer le ventilateur. Voir la vidéo http://youtu.be/8ZjDGC7hXCY . 55