Le Big Data au service d’une agriculture plus raisonnée dans le cadre du programme européen Copernicus

Beyond the Data Creative Grounds

Beyond the Data - Creative Grounds

La genèse de la plateforme

Copernicus est le plus ambitieux des programmes d’observation de la Terre (EO) par satellites conduit par l’Agence Spatiale Européenne (ESA) pour le compte de la Commission Européenne (EC). Ce programme, qui a fêté ses 20 ans en juin 2018, comprend la flotte des 7 satellites Sentinel-1, Sentinel-2, Sentinel-3 et Sentinel-5p actuellement en orbites, les moyens sols de traitement ainsi qu’un ensemble de six services thématiques opérationnels : CMEMS, CLMS, CAMS, C3S, EMS, Security .

sobloo est un des DIAS (Data Information and Access Services) établi par l’Agence Spatiale Européenne (ESA) résultant d’une initiative de la Commission Européenne (EC) en 2016 pour stimuler l’innovation et la création de nouveaux modèles économiques basés sur l’utilisation facilitée des données d’observation de la Terre des satellites Sentinel du programme Copernicus et d’un infrastructure européenne de Cloud public.

Inversion du paradigme : fournir en un même lieu les données et les moyens de traitements massifs.

sobloo c’est une contractualisation en mi-décembre 2017 pour un GO Live de la V1 le 20 juin 2018 ! et le déploiement de nouvelles fonctionnalités et collections de données chaque trimestre.

sobloo c’est cinq partenaires ( Airbus, Orange, Capgemini, CLS et Vito) qui mettent en commun au service des clients de sobloo leur expérience reconnue dans les domaines de l’EO, du Cloud public et de l’écosystème Copernicus.

À la convergence de la stratégie digitale d’Airbus et des ambitions institutionnelles.

12 mars 2019

Bring the usersto the “Data”

andto the “Big Data”

Beyond the Data - Creative Grounds

Une bibliothèque numérique en pleine expansion grâce à un vaste écosystème de partenaires, d'anciens et de nouveaux fournisseurs de données

Les données des flottes de satellites sont du domaine du « Big Data »

La richesse des > 1.500 collections actuelles : des images, des mesures, des modèles, des statistiques, …

satellitaire : capteurs optiques, radar (SAR), sondeurs micro-onde, altimètres, …

Thématiques : modèles d’observation et de prévisions, des cartes, des valeurs géophysiques et chimiques,…

Issues de sources reconnues pour leur fiabilité

Profondeur de séries temporelles de dizaines d’années

Représentant une volumétrie de 7,5 Po disponible en ligne et en constante augmentation (>550 To/mois)

Un accès simplifié grâce à Catalogue unifié avec plus de 14,7 millions de produits/granules, disponible à https://sobloo.eu

La qualité de ces données :

Calibrées en valeur physiques/géophysique permettant de faire de la science et des applications opérationnelles

Géométrie prête à l’usage (superposable) ou accompagnée des données simplifiant leur exploitation

Un enrichissement régulier avec les nouvelles collections à venir

La haute-résolution et la très–haute-résolution de la constellation optique d’Airbus One Atlas (SPOT 6/7 et Pléiades)

les données Orange Flux Vision (indicateurs statistiques quasi temps-réel des portables)

les données thématiques à valeur ajoutées générées par nos partenaires / clients

Un accès libre aux données issues de Copernicus

Les données sobloo sont stockées en Europe

12 mars 2019

Beyond the Data - Creative Grounds

Des ressources et des outils pour le Big Data à la disposition des clients sobloo

La puissance, le facteur d’échelle et la haute disponibilité d’un Cloud public sur base OpenStack, en mode IaaS : Orange Flexible Engine

Des VM incluant des types optimisés HPC et ML/DL (GPU-accelerated)

Du stockage dont des classes S3 (Object Storage)

Du réseau

De la sécurité

Un monde d’API pour du traitement automatique et massif

interrogation du Catalogue de données

accès normalisé et unifié à la donnée (OGC, INSPIRE) et API de streaming

déploiement de l’infrastructure de traitements

Des logiciels d’analyse et de traitements de données orientés Big Data ainsi qu’une plateforme de Machine Learning en mode service managé SaaS.

Des outils thématiques dédiés à l’exploitation des données satellitaires OE

L’intégration de nouvelles chaînes de traitements et la réalisation à la demande de DataCube de Analysis Ready Data (ARD)

12 mars 2019

Beyond the Data - Creative Grounds

Prêt à développer une nouvelle idée ?sobloo est une station d’accueil universelle

Le tout dans un Cloud public sécurisé

12 mars 2019

Beyond the Data - Creative Grounds

Une approche sectorielle

12 mars 2019

Beyond the Data - Creative Grounds

L’agriculture est un domaine d’attention particulier pour sobloo

en supportant les institutions Publiques ainsi que le secteur privé

avec effort particulier sur les programmes de surveillance de la PAC en utilisant l’OE, en collaboration rapprochée avec le JRC, l’ESA et la Commission Européenne.

en support aux agriculteurs en proposant la surveillance des cultures en mesurant des paramètres biophysiques, par exemple mesure absolue de la biomasse et de l’azote et des plan de gestion de leur apport en nutriments

Beyond the Data - Creative Grounds

Exemple du support à la PAC / Nouvelle PAC

Pour les +40 Agences de Paiements (AP).

Passage de démonstrateurs locaux à l’échelle d’un continent : de la vérification de quelques parcelles tests à tout le parcellaire des Etats Membres de l’Europe

Préparation en moins de 8 semaines d’un DataCube d’image optique, radar et de synthèse couvrant l’ensemble du Danemark (une des PA) : les Copernicus Analysis Ready Data (CARD)

o Création avec l’expertise de Capgemini de trois nouvelles chaines spécifiques de traitements : développement, intégration et validation en 5 semaines

o Mise en production sur sobloo de ces trois chaînes et traitement en 3 semaines de l’ensemble des données disponibles, sur une profondeur de quatre ans minimum, grâce à l’élasticité du Cloud public.

Mise à la disposition du Client EC/JRC dans sobloo de l’ensemble de ces données et d’un environnement de déploiement de ses algorithmes thématiques pour mise en production de ceux-ci (cluster et orchestrateur de containers).

En attente de décision pour la mise en production des environnements équivalents pour d’autres PA

12 mars 2019

Beyond the Data - Creative Grounds

Intégration des algorithmes Geo-Rice

Visualisation du contenu du DataCube dans un dashboarddédié

Visualisation et manipulation des données au travers d’un Notebook Jupyter

10 millions données de la bibliothèque sobloo

Digital Library

Exemple de développement d’un DataCube (Open Data Cube) pour le projet GeoRice

La plateforme FMIS (Farm Management Information System)

• D’agrégation et d’analyse de données agricoles• Spécialisée dans l’échange de données avec les matériels agricoles• Ouverte et collaborative• Utilisant les dernières technologies informatiques (Cloud, Security, IoT,

BigData)• Facile à utiliser

2 utilisations des données SOBLOO

• «En temps réel»• BigData / IA

En temps réel : «La bonne dose au bon endroit au bon moment»

Cartes de préconisation

ChampsMatérielsHommesIntrants

Documentation / Données parcelles

Tâches / Cartes de

préconisation

Bénéfices / Challenges pour l’agriculteur

• Optimisation des dates d’intervention et des quantités d’intrants• Semences• Engrais• Produits phyto-sanitaires• Eau

• Meilleur rendement, meilleure qualité, meilleure homogénéité• Mais

• Seulement 15% des surfaces modulées à ce jour• Nécessite des matériels agricoles récents

Pourquoi le BigData / IA en agriculture ?

• Rapport «Donner un sens à l’IA» de Cédric Villani en mars 2018 : Agriculture, l’un des 4 secteurs où concentrer les efforts

• Environnement avec beaucoup d’aléas, de complexité et de risques, grande variété de situations, grand nombre de paramètres, grande imprédictibilité et donc un terrain très propice pour appliquer des techniques de BigData / IA pour simuler, recommander et prédire.

• Données très fragmentées et dispersées (à l’inverse des industries manufacturières / Industry 4.0)

• Seul le croisement de toutes ces données apporte de la valeur• Création de valeur potentielle pour tous les acteurs (agriculteurs,

coopératives/négociants, fabricants/concessionnaires)

L’Agriculture de Précision facile

«Du Satellite au pulvérisateur»

OAD de 2ème génération pour la

modulation de fongicide

Ndvi, Ndwi, MI

Données météo

Multi-sources de données

muliple

Quantité de maladie

Quantité de fongicide

Date optimale

Réseau de neurones

Un exemple : planification et documentation d’interventions

• Création / modification automatisée d’une intervention sur plusieurs parcelles, en fonction • du type d’intervention et des interventions précédentes / suivantes

• des observations

• des localisations et de la taille des parcelles,

• de la disponibilité des matériels et des hommes,

• de la météo

• Recommandation à l’agriculteur

• Mise à jour et transmission automatique des tâches aux matériels et aux hommes

• Suivi en temps réel et documentation automatique des tâches réalisées

• Approbation par l’agriculteur

Valeur : plusieurs heures / jour, précision de la documentation, suivi des coûts de production

Exemples d’applications pour les acteurs du secteur

• Coopératives / Négociants• Reconnaissance de parcelles et de cultures

• Analyse par des data scientists

• Prédictions d’approvisionnement d’intrants, de récolte

• Conseils

• Economiques (benchmarking, …)

• Fabricants de matériels / Concessionnaires• Maintenance prédictive des matériels

• Approvisionnement pièces

Le Big Data au service d’une agriculture plus raisonnée dans le cadre du programme européen Copernicus

Beyond the Data Creative Grounds