Embed Size (px)
Citation preview
Gestion de données provenant de réseaux de capteurs sans fil
David Sarramia
Cloud environnemental• Délivrable du Challenge 1 de l’I-Site : Agro-écosystèmes durables dans un
contexte de changement global
• Une ambition importante :• Création d’un « grand » observatoire de l’environnement en Auvergne, unique en Europe.
• Des objectifs scientifiques à fort impact :• Concevoir un environnement numérique interconnecté valorisant les données
environnementales existantes ou à acquérir.
• Automatiser le monitoring de données à distance par la mise au point de nouveaux systèmes de capteurs sans fil.
• Accroitre notre compréhension des compartiments environnementaux face au changement global (évolutions, interactions).
• Comprendre l’impact de ces compartiments sur les agroécosystèmes et réciproquement.
• Conceptualiser les interrelations entre les compartiments pour comprendre, modéliser et prédire le comportement des agroécosystèmes.
• Accompagner l’aide à la décision (agriculteurs, entreprises, collectivités territoriales).2
Périmètre géographique
33
Les données à (in)gérer
Base de données
Données spatiales, GPS
Image, audio, vidéo
Capteurs
Fichiers
Solution proposée : data lake
5
COLLECT
INGEST
BLEND, TRANSFORM,ANALYZE PUBLISH, DISTRIBUTE
Eléments d’un data lake
• Gestion des données– Collection/Ingestion de données en temps réel
– Ingestion fichiers, base de données
– Stockage pérenne : • base de données NoSQL
• système de fichiers
• Traitement des données– Recherche, transformation, visualisation,
restitution/export
• Publication– Catalogue
6
Recherche
Analyse
Visualisation
?
?
Réseau de capteurs
Au temps t
7
Recherche
Analyse
Visualisation
?
?
?
Au temps t + 1 mois
8
Réseau de capteurs
Recherche
Analyse
Visualisation
?
?
Données deréférence
?
Au temps t + 1 an
9
Réseau de capteurs
Approche suite Elastic
10
StockerRechercher
Analyser
Ingérer :Recevoir
TransformerTransférer
Visualiser
Extraire
Approche suite Elastic
11
• Elasticsearch (licence Apache)
– Moteur de recherche
– Indexe / Stocke - distribué
– Orienté document• Texte, Nombres, Date, Coordonnées géographiques
– JSON - java
– Mappings, paramètres d’index
– Aggrégations
– …
• Logstash
– Collecte les données (flux, base de données, fichiers…)• À la demande
• En service
– Par le producteur de la donnée et/ou consommateur de données
– Dans un ou plusieurs index
– Transforme (nom, type, date…)
– Analyse
– En temps quasi réel
• Kibana– Visualisation
– Interrogation
Exemples
• Réseau de capteurs sans fils
– Mesures météo & radioactivité (bd)
– Nœud sans fil (json)
• Zatu
– Position des arbres (csv)
– Mesures de niveau de radioactivité (csv)
• Bouée Aydat
– Mesures (txt)
12
Réseau de capteurs sans fils
13
Sensors/actuators
SQLDatabase
InternetGateway
Binary file
ELK stack node
Data CollectionData Producer
Data Logger
ES
Connectivity
Sto
rage
Data processing
Search & analyticsengine
Datavisualisation &
navigation
Third partydata
Net
wo
rk
End User
x4
x1
Prélèvements, mesure
//
Réseau de capteurs
Fichiers
Réseau de capteurs sans fils
Flux
//
Description des données
Base de données MySQLRequête SQLSynchronisation (5 min)
Création d’alias pour faciliter les requêtes/visualisation
Réseau de capteurs sans fils
15
Réseau de capteurs sans fils
16
Flux
//
Description des données Fichiers
Json Elasticsearch
Réseau de capteurs sans fils
17
ZATU - arbres
18
Positionnement des arbres sur lesquels un prélèvement a été réalisé
Flux
//
Description des données
Fichiers
ZATU - arbres
19
Positionnement des arbres sur lesquels un prélèvement a été réalisé
ZATU - radioactivité
Flux
//
Description des données
Fichiers
Mesures provenant d’un Colibri (csv) :• Positionnement GPS de chaque mesure• Niveau de radioactivité
ZATU - radioactivité
21
Mesures provenant d’un Colibri (csv) :Positionnement GPS de chaque mesureNiveau de radioactivité
(couleur = niveau relatif)
GET gamma_colibri_rophin/_search{
"query": {"bool" : {
"must" : {"match_all" : {}
},"filter" : {
"geo_polygon" : {"location" : {
"points" : [[3.5459891613159016, 46.01295812457846],[3.5592929180297688, 46.01295812457846],[3.5592929180297688, 46.002704419144706],[3.5459891613159016, 46.002704419144706],[3.5459891613159016, 46.01295812457846]
]}
}}
}}
}
Aydat - bouée
22
Flux
Capteurs
Serveur
//
Description des données
Aydat - bouée
23
Graphique de la température (capteur 0001)
Aydat - bouée
24
Graphique de plusieurs capteurs @ nombre de mesures
Aydat - bouée
• Dashboard
25
Conclusion
• Projet extrêmement ambitieux avec des enjeux scientifiques et technologiques majeurs.
• Livrable au carrefour du challenge 1 de CAP 20-25
• Unique : Consortium, contours scientifique, taille, les caractéristiques des objets d’étude et les objectifs.
26
Crédits
• Alexandre Claude (LPC)
• Equipe CEBA (Gilles Mailhot, Vincent Breton, Francis Ogereau, Jeremy Mezhoud)
• Antoine Mahul (mésocentre Clermont)
• Equipe mésocentre Clermont
Merci de votre attention
