FME et le Cloud :Nouvelles méthodes

de travailet nouveaux modèles

économiquesOlivier Gayte - Veremes

Nouvelles méthodesde travail

1. Les données

Jeux de données sur AWS

● Via Reader FME

○ Sentinel-2

○ Landsat 8

○ Terrain Tiles

● Via S3downloader ou autre

○ Atmospheric Modelsfrom Météo-France

○ Open City Model (OCM)

○ OpenStreetMap on AWS

○ …

● https://aws.amazon.com/fr/earth/

Exemple : inondations Aude 10/2018

● Modèle 3D pdf

● Sources

○ Terrain Tiles on AWS

○ Sentinel-2 on AWS

○ SPC Méditerranée + cd11

Exemple : inondations Aude 10/2018

2. La puissance

Besoins de puissance

● Gros volumes de données● Traitement d’images● 3D● Traitements parallélisés● Apprentissage (deep learning)● …

Dans le cloud on peut…

● Louer une machine pour quelques heures■ 2 à 128 vCPU■ 0,5 à 1952 Go RAM

● Profiter des bonnes occases : Spot

Bonne pratique

Environnement de travail FME

Choisir sa machine pour un traitement FME● Critères de choix

○ Processeur○ vCPU

■ 2 à 128○ RAM

■ 0,5 à 1952 Go○ Disque

■ hdd, ssd, NVMe ssd, gp2 ou iops○ Réseau

■ -> 25 Gbits/s

Exemple : Production de Mosaïque de la France● Source

○ Sentinel2 sur AWS○ Canal Truecolor (rgb), résolution 10m○ 4 systèmes de projection utm 29-30-31-33○ 237 tuiles, total 9,2 Go jp2

● Résultat○ 1 image jp2 de 3,7 Go○ 14.10e9 pixels○ Lambert93

● Téléchargement / WMS :https://s3.eu-west-3.amazonaws.com/veremes-public/france.jp2https://demo.veremes.net/wms/public/france_sentinel2_10m_l93_2019

Exemple : Production de Mosaïque de la France● Conception des traitements, préparation des données, test

○ EC2 Burst T3 Medium○ 4 Go RAM

● Production de la mosaïque○ Instance linux EC2 R5.4xlarge 128 Go RAM - 16 vCPU○ Intel Xeon Platinum 8175, disque 1To○ Durée traitement : 12h05○ Tarif à la demande : 1,184 euro/heure○ Tarif Spot : 0,268 euro/heure

Travailler à distance avec FME

● MS-Windows

○ RDP Bureau à distance

● Linux

○ Terminal X

○ https://www.veremes.com/travailler -avec-fme-workbench-sous-linux

3. Les services

3. Les servicesStockage

S3, RDS, DynamoDB, Aurora, Redshift

Requêtage, Big DataEMR, Redshift, Athena

IASageMaker, Rekognition

Athena● Service de requêtage

Exemple : requêtage OSM par Athena *

● Base OpenStreetMap (Planet)

○ 45 Go PBF / 3 à 5 To en Postgis

● Base OSM sur AWS

○ OSM PBF -> Apache ORC

* https://aws.amazon.com/fr/blogs/big-data/querying-openstreetmap-with-amazon-athena/

Exemple 1 : requêtage OSM par AWS-Athena

● Initialisation dans la console AWS-Athena

Exemple 1 : requêtage OSM par AWS -Athena

● Requête SQL dans FME

Exemple 1 : requêtage OSM par AWS -Athena

● Recherche des hydrants à Lyon

Athena

● Facturation au To parcouru

● Suivi de la consommation dans la console Athena

Exemple 2 : AWS - Rekognition

● Service de reconnaissance d’image

Exemple 2 : AWS - Rekognition

Nouveaux ModèlesEconomiques

Prestataire Utilisateur

Développement Investit (logiciel et infrastructure)Exploite

Maintenance Entretient

Prestataire Utilisateur

Service en ligneLogiciel, infrastructure, maintenance, exploitation

LoueConsomme

Modèle traditionnel

Modèle SaaS

FME Cloud

● Déploiement instances FME ServerInfrastructure AWS2 cœurs 4 Go RAM -> 48 cœurs 192 Go RAMNombre de moteurs illimitéA l’heure ou par an

● Utilisable pour un usage commercial

Exemple 1 :MyRécépissé

My RécépisséEditeur : Groupe NAT

ServiceRéponse automatique aux DT/DICT

ClientsExploitants de réseaux (eau, télécom…)

My RécépisséVersion On-Premise1 instance par client

My RécépisséVersion Cloud1 instance pour tous les clients

Limite les coûts de maintenance et exploitationOffre commerciale pour les petites structures

Exemple 2 :gtfOnline

gtfOnlineEditeur : Veremes

ServiceAccès en ligne à des traitements FME par GTF

Plateforme mutualisée (AWS)

Traitements et données privés

Un modèle à 3 acteurs

UtilisateurBesoin de traitement en ligne

ConcepteurDéveloppe un traitement FME Desktop

Exploitant (Veremes)Fournit l’infrastructure (AWS) et licences (GTF, FME Cloud)Publie le traitement sur FME Cloud

Exemple : graceTHD Checker

Utilisateur

Concepteur

Exploitant

Conclusion

● FME et cloud : 2 technologies complémentaires

● Long travail d’éducation et de formation

● Veremes est à vos côtés

Merci !