FME et le Cloud :Nouvelles méthodes
de travailet nouveaux modèles
économiquesOlivier Gayte - Veremes
Nouvelles méthodesde travail
1. Les données
Jeux de données sur AWS
● Via Reader FME
○ Sentinel-2
○ Landsat 8
○ Terrain Tiles
● Via S3downloader ou autre
○ Atmospheric Modelsfrom Météo-France
○ Open City Model (OCM)
○ OpenStreetMap on AWS
○ …
● https://aws.amazon.com/fr/earth/
Exemple : inondations Aude 10/2018
● Modèle 3D pdf
● Sources
○ Terrain Tiles on AWS
○ Sentinel-2 on AWS
○ SPC Méditerranée + cd11
Exemple : inondations Aude 10/2018
2. La puissance
Besoins de puissance
● Gros volumes de données● Traitement d’images● 3D● Traitements parallélisés● Apprentissage (deep learning)● …
Dans le cloud on peut…
● Louer une machine pour quelques heures■ 2 à 128 vCPU■ 0,5 à 1952 Go RAM
● Profiter des bonnes occases : Spot
Bonne pratique
Environnement de travail FME
Choisir sa machine pour un traitement FME● Critères de choix
○ Processeur○ vCPU
■ 2 à 128○ RAM
■ 0,5 à 1952 Go○ Disque
■ hdd, ssd, NVMe ssd, gp2 ou iops○ Réseau
■ -> 25 Gbits/s
Exemple : Production de Mosaïque de la France● Source
○ Sentinel2 sur AWS○ Canal Truecolor (rgb), résolution 10m○ 4 systèmes de projection utm 29-30-31-33○ 237 tuiles, total 9,2 Go jp2
● Résultat○ 1 image jp2 de 3,7 Go○ 14.10e9 pixels○ Lambert93
● Téléchargement / WMS :https://s3.eu-west-3.amazonaws.com/veremes-public/france.jp2https://demo.veremes.net/wms/public/france_sentinel2_10m_l93_2019
Exemple : Production de Mosaïque de la France● Conception des traitements, préparation des données, test
○ EC2 Burst T3 Medium○ 4 Go RAM
● Production de la mosaïque○ Instance linux EC2 R5.4xlarge 128 Go RAM - 16 vCPU○ Intel Xeon Platinum 8175, disque 1To○ Durée traitement : 12h05○ Tarif à la demande : 1,184 euro/heure○ Tarif Spot : 0,268 euro/heure
Travailler à distance avec FME
● MS-Windows
○ RDP Bureau à distance
● Linux
○ Terminal X
○ https://www.veremes.com/travailler -avec-fme-workbench-sous-linux
3. Les services
3. Les servicesStockage
S3, RDS, DynamoDB, Aurora, Redshift
Requêtage, Big DataEMR, Redshift, Athena
IASageMaker, Rekognition
Athena● Service de requêtage
Exemple : requêtage OSM par Athena *
● Base OpenStreetMap (Planet)
○ 45 Go PBF / 3 à 5 To en Postgis
● Base OSM sur AWS
○ OSM PBF -> Apache ORC
* https://aws.amazon.com/fr/blogs/big-data/querying-openstreetmap-with-amazon-athena/
Exemple 1 : requêtage OSM par AWS-Athena
● Initialisation dans la console AWS-Athena
Exemple 1 : requêtage OSM par AWS -Athena
● Requête SQL dans FME
Exemple 1 : requêtage OSM par AWS -Athena
● Recherche des hydrants à Lyon
Athena
● Facturation au To parcouru
● Suivi de la consommation dans la console Athena
Exemple 2 : AWS - Rekognition
● Service de reconnaissance d’image
Exemple 2 : AWS - Rekognition
Nouveaux ModèlesEconomiques
Prestataire Utilisateur
Développement Investit (logiciel et infrastructure)Exploite
Maintenance Entretient
Prestataire Utilisateur
Service en ligneLogiciel, infrastructure, maintenance, exploitation
LoueConsomme
Modèle traditionnel
Modèle SaaS
FME Cloud
● Déploiement instances FME ServerInfrastructure AWS2 cœurs 4 Go RAM -> 48 cœurs 192 Go RAMNombre de moteurs illimitéA l’heure ou par an
● Utilisable pour un usage commercial
Exemple 1 :MyRécépissé
My RécépisséEditeur : Groupe NAT
ServiceRéponse automatique aux DT/DICT
ClientsExploitants de réseaux (eau, télécom…)
My RécépisséVersion On-Premise1 instance par client
My RécépisséVersion Cloud1 instance pour tous les clients
Limite les coûts de maintenance et exploitationOffre commerciale pour les petites structures
Exemple 2 :gtfOnline
gtfOnlineEditeur : Veremes
ServiceAccès en ligne à des traitements FME par GTF
Plateforme mutualisée (AWS)
Traitements et données privés
Un modèle à 3 acteurs
UtilisateurBesoin de traitement en ligne
ConcepteurDéveloppe un traitement FME Desktop
Exploitant (Veremes)Fournit l’infrastructure (AWS) et licences (GTF, FME Cloud)Publie le traitement sur FME Cloud
Exemple : graceTHD Checker
Utilisateur
Concepteur
Exploitant
Conclusion
● FME et cloud : 2 technologies complémentaires
● Long travail d’éducation et de formation
● Veremes est à vos côtés
Merci !