Les données massives de Copernicus : vers un nouveau ......venir (Merlin, SWOT…) – SPOT World Heritage : accès à l’archive SPOT > 5ans à la demande (annoncé au sommet du

Les données massives de Copernicus :

vers un nouveau paradigme

Hervé Jeanjean

Cnes

1

CLUB GEOSCIENCES DU 24/03/2015

2

Règlement Copernicus du 03/04/2014 : cadre politique,

organisationnel et financier

Règlement délégué du 12/07/2013

sur la diffusion des données : Full Open Free


3

Missions contributrices

Observations

in situ

Utilisateurs Copernicus

Sentinelles 1-2-3-4-5 & Jason series

Composante spatiale Copernicus

Système coordonné d’accès aux données

SERVICES COPERNICUS

1

Les services Copernicus remplissent les besoins communs et mutualisés des Etats Membres

2

Certains besoins des services aval à l’échelle régionale et locale ne sont pas couverts par le périmètre « core » de Copernicus

Projets collaboratifs

http://images.google.at/imgres?imgurl=http://www.skyrocket.de/space/img_sat/msg-1__1.jpg&imgrefurl=http://www.skyrocket.de/space/doc_sdat/msg-1.htm&h=300&w=233&sz=17&tbnid=TWIlDyoVzVoJ:&tbnh=111&tbnw=86&start=5&prev=/images?q=Meteosat+8&hl=de&lr=&sa=G

Un flux de données inédit

avec Copernicus

Données Sentinel : > 13 To/jour en régime de croisière (5 Pétaoctets/an)

Avec les services Copernicus et les produits aval, le volume >> 10 Po/an

– Enjeux • pas uniquement le volume et le stockage des données

• mais la structuration et la gestion des données pour répondre à la diversité des cas d’usage

• avec des moyens de calculs massifs & positionnés auprès des données

• + une interopérabilité des plateformes

• et un point d’entrée unique à terme (one stop shop)


4

Volume total

Volume / an

• Hub ESA ouverts mais … – une archive limitée et sans moyens de traitements – besoins du secteur aval et scientifique pas bien couverts

• Réponse de la France = PEPS Plateforme d’Exploitation des Produits Sentinelles – offrant une solution bien adaptée aux besoins pour la période 2015-2017 – en complément de l’architecture européenne, avec toute l’archive temporelle – solution la plus économique basée sur une infrastructure existante (Data Centre du Cnes)

– solution transitoire, flexible, offrant une capacité d’évolution et transférable


5

Dissémination des données Sentinelles

PEPS Au plus tard fin 2015 : Hub de distribution

via CLS

Pour tous, performances

limitées

1 utilisateur/ pays, performances

garanties

Réservé aux services Copernicus

performances garanties

Segments sols collaboratifs

• Trois étapes – Définition du processus et collecte des

propositions

– Analyse de la faisabilité des propositions

– Formalisation de la collaboration

• Point de contact national = CNES

• Accord signé entre le CNES et l’ESA (18 mars 2015) – Accord comprenant le site miroir PEPS et une

station bande X (pour CleanSeaNet). Discussions à poursuivre pour d’autres stations de réception

– Autres pays ayant signé : Grèce, Norvège, Italie, Allemagne, Finlande, UK


6

PEPS 1, c’est quoi ? • PEPS - tranche 1

– 4 ans : novembre 2014 à fin 2017 + 2018 (année de transition)

– Préparation PEPS2 avec tous les acteurs en parallèle

• Objectifs : servir les utilisateurs nationaux : industriels PME/PMI, scientifiques, organismes institutionnels … – Diffuser / mettre à disposition les données Sentinelles, libres et gratuites

– Permettre le traitement près des données .. et les valoriser

– Favoriser l’innovation par le développement des SAV

– Satisfaire les besoins spécifiques des utilisateurs « aval »

– Structurer la gestion des données selon les différentes utilisations

– Préparer PEPS2 : solutions technologiques, retour de satisfaction et caractérisation du besoin des utilisateurs…

• La solution technique – Une interface Web

– Un système de recherche et d’accès performant

– Une interface avec le hub de l’ESA pour récupérer les produits

– Un système de stockage les données Sentinelles, au fur et à mesure de leur production (sur disques 2Po + sur bandes 5Po)

– Des serveurs de calcul


7

Deux développements industriels

• Infrastructure de stockage : BULL (ATOS)-IBM – Solution HPSS

performante, évolutive

– Couplage natif HPC CNES

• Application logicielle : consultation ACIS (choix ATOS)


8

Planning PEPS

• V1.1 fin mai 2015 : OUVERTURE DU SERVICE • Version mise en œuvre par le CNES et maintenue par l’industriel

• V1.2 juillet 2015 : • V1.1 industrialisée et consolidée par l’industriel

• V1.3 novembre 2015 • Visualisation avancée - phasé data S2

• V1.4 septembre 2016 • Complet avec services à valeur ajoutée,

évolutions retours utilisateur


9

Phase de Bêtatests

Comment bénéficier du Big Data ?


10


11

Industriels Formation /

Ecoles / Universités

Institutionnels

Citoyens

Consom.

Infrastructures

Entrepreneurs

Pôle de données

Organiser et définir la

gouvernance (mutualisation, croisement, …) Rechercher les solutions à

moindre coûts pour l’utilisation et exploitation des

infrastructures « Big Data »

Soutenir les « startup » (incubateurs : utilisation des

infrastructures institutionnelles pour le développement des

nouveaux services)

Participer aux formations,

partager des retours d’expérience,

Stratégie Open Data pour les

données spatiales

Innovation : définition, participation aux

actions R&D, H2020/ITC, …

Inciter les industriels au

développement des nouveaux

services en croisant les données

Accompagner les changements de

métiers

Le déluge de données : un

nouveau paradigme • Big data : explosion du volume des données (5 V: volume,

vélocité, variété, véracité, valeur)

• Accès aux données qui se démocratise : « open data », (Etalab), directive PSI (gratuité des données publiques) & INSPIRE

• Quelques chiffres – 1 Go coûtait 1 million $ en 1980 : moins de 10 centimes en 2010

– 9 Mds € de chiffre d’affaires dans le monde (2,2 Mds € en Europe)

– 600 $ suffisent pour acheter un disque dur et y stocker toute la musique du monde

– 30 milliards de contenus échangés par mois dans Facebook

– 1 heure de vidéo téléchargée par minute sur YouTube

– 140 Mds €/an : recettes indirectes espérées par le Big Data

– 74% des entreprises françaises convaincues de l’intérêt du Big Data


12

Le numérique envahit tout


13

Les hyper data centres

1. Range International Information Hub, Langfang, Chine, 580 000 m² – Terminé en 2016. À peu près équivalent au

Pentagone en terme de taille. Destiné à créer de nouvelles tendances dans l’industrie TI. Faire le tour de ses installations prendra toute une semaine.

2. Switch SuperNAP, Las Vegas, Nevada, USA 205 000 m² – Destiné à éviter les désastres naturels au Nevada.

3. Utah Data Center, Bluffdale, Utah, USA, 93 000 m² – Investissement de la NSA de 2 milliards de dollars,

connue comme étant le Intelligence Community Comprehensive National Cybersecurity Initiative Data Center. Source : Microfix


14

La rencontre de deux mondes


15

Observation de la Terre

Technologies numériques

TIC

Nouvel écosystème

géo information

Producteurs de données

Recherche en géo sciences

Services aval

Intégrateurs ACIS

Opérateurs Clouds

Développeurs Big Data

Brokers de données

Développeurs APIs & Apps

dédiées

Nouvelle alliance (PPP ?)

Nouveaux modèles

économiques

Quels modèles

économiques ?


16

Quels partenariats ?


17

Vers PEPS 2 • Une mine à valoriser au niveau européen : 30 ans d’observation de

la Terre en France

• Missions spatiales : SPOT, Pléiades, Jason, Calipso, Parasol, IASI …et à venir (Merlin, SWOT…) – SPOT World Heritage : accès à l’archive SPOT > 5ans à la demande (annoncé

au sommet du GEO en janvier)

– Un cas unique en Europe avec la mise en place de pôles de données (thématiques) en partenariat avec la communauté scientifique

• Enjeux – combiner les données sentinelles avec les données de tous les capteurs du

continuum spatial-terrestre

– avec des moyens de calcul et du stockage distribués : hybridation de plateformes


18

Enjeu pour la France : valoriser l’expertise scientifique et le savoir faire thématique aval 1

Approche nationale : rôle des industriels, redéfinition de la chaine de valeur, « RFI »… 2

Approche européenne : nouvelle gouvernance projets collaboratifs, task force EC/ESA/Etats Membres 3

Documents

Les données massives de Copernicus : vers un nouveau ......venir (Merlin, SWOT…) – SPOT World Heritage : accès à l’archive SPOT > 5ans à la demande (annoncé au sommet du