Download pdf - Cours EMI CFD - Mars 2012

Transcript
Page 1: Cours EMI CFD - Mars 2012

Data PublicaOpendata & visualisations

Thomas [email protected]

@tdudouet

EMI - CFDMercredi 28 mars 2012

Page 2: Cours EMI CFD - Mars 2012

Open dataDéfinition

● Open data = Donnée ouverte● On parle d'ouverture des données

● Mise à disposition des données publiques pour accès et réutilisation par les citoyens et les entreprises

Page 3: Cours EMI CFD - Mars 2012

Open dataDonnée publique

La notion de « donnée publique » couvre l'ensemble des données qui sont ou devraient être (légalement ou volontairement) publiées ou tenues à disposition du public, et qui sont produites ou collectées par un État, une collectivité territoriale, un organe parapublic, dans le cadre de leurs activités de service public.

http://fr.wikipedia.org/wiki/Donnée_publique

Page 4: Cours EMI CFD - Mars 2012

Modernisation

● Enrichissement des données● Développement du collaboratif● Intégration du décisionnel de données

Open dataMotivations

Page 5: Cours EMI CFD - Mars 2012

Économiques

● Développement de l'innovation● Croisement des compétences● Création d'emploi, de structures● Valorisation du territoire

Open dataMotivations

Page 6: Cours EMI CFD - Mars 2012

Démocratiques

● Lisibilité et transparence de l'action publique● Dialogue et participation citoyenne

Open dataMotivations

Page 7: Cours EMI CFD - Mars 2012

● États-Unis Initiative data.gov (administration Obama - 2009)

● Royaume-Uni Initiative data.gov.uk (2010)● UE Directive Européenne sur la réutilisation des

données publiques (2003)● Finlande, Australie, Nouvelle-Zélande,

Irlande,...● France Mission Etalab (data.gouv.fr)

Open dataUn mouvement mondial

Page 8: Cours EMI CFD - Mars 2012

● Des formes variées Statistiques, horaires, cartographies, mesures,...

● Des thématiques diverses Transport, culture, tourisme, environnement, démoghraphie, finances,...

● Des formats préconisés○ Formats "libres" (non propriétaires)○ Formats lisibles par les machines

CSV, ODF, XML,... XLS, PDF, DOC,...

Open dataDonnées publiques

Page 9: Cours EMI CFD - Mars 2012

● Exemples :○ Liste des arbres dans la ville○ Liste de jardins et parcs publics○ Localisation des vélos en libre accès○ Circulation et places de parking en temps réel○ Localisation des toilettes publiques○ Statistiques de prêt dans les bibliothèques○ Résultats aux élections

Open dataDonnées publiques

Page 10: Cours EMI CFD - Mars 2012

Open dataÉtat du mouvement en France

Page 11: Cours EMI CFD - Mars 2012

Open dataPetit exercice d'introduction...

http://www.pratique.fr/sites/default/files/articles/referencer-site.jpg

Recherche de jeu de données

Pour chaque jeu de données, noter :● L'URL du site● Le format de fichier

Page 12: Cours EMI CFD - Mars 2012

MINISTÈRE DES SPORTS MINISTÈRE DE L'INTÉRIEUR MINISTÈRE DU BUDGET

MINISTÈRE DE L'ECOLOGIE MINISTÈRE DE L'ÉDUCATION NATIONALE MINISTÈRE DE LA

CULTURE MINISTÈRE DU TRAVAIL PRÉFECTURE D'ILE DE FRANCE & DE PARIS

PRÉFECTURE DU JURA PRÉFECTURE DU NORD PRÉFECTURE DE LA SOMME PRÉFECTURE DE

LA MARNE PRÉFECTURE DE L'AIN PRÉFECTURE DU VAR PRÉFECTURE DU PAS DE CALAIS

Open dataProducteurs de données

Page 13: Cours EMI CFD - Mars 2012

VILLE DE PARIS VILLE DE NANTES VILLE DE RENNES VILLE DE MONTPELLIER VILLE DE

TOULOUSE VILLE DE BROCAS CONSEIL GÉNÉRAL DU LOIR ET CHER CONSEIL GÉNÉRAL DE GIRONDE CONSEIL GÉNÉRAL DE SAÔNE ET

LOIRE CONSEIL GÉNÉRAL DE LOIRE ATLANTIQUE CONSEIL GÉNÉRAL DU MAINE ET LOIRE AGENCE DE L'EAU ARTOIS PICARDIE ...

INSEE EUROSTAT OCDE BANQUE MONDIALE ...

Open dataProducteurs de données

Page 14: Cours EMI CFD - Mars 2012

PDF XLS CSV DOCXML RDF RTF TXT SHP

GTFS ESRI KMLHTML ODS JPG

...

Open dataFormats de données

Page 15: Cours EMI CFD - Mars 2012

MINISTÈRE DES SPORTS MINISTÈRE DE L'INTÉRIEUR MINISTÈRE DU BUDGET MINISTÈRE DE L'ECOLOGIE MINISTÈRE DE

L'ÉDUCATION NATIONALE MINISTÈRE DE LA CULTURE MINISTÈRE DU TRAVAIL PRÉFECTURE DU JURA PRÉFECTURE DU NORD

PRÉFECTURE DE LA SOMME PRÉFECTURE DE LA MARNE PRÉFECTURE DE L'AIN PRÉFECTURE DU PAS DE CALAIS VILLE DE

PARIS VILLE DE NANTES VILLE DE RENNES VILLE DE MONTPELLIER VILLE DE TOULOUSE VILLE DE BROCAS CONSEIL

GÉNÉRAL DU LOIR ET CHER CONSEIL GÉNÉRAL DE GIRONDE CONSEIL GÉNÉRAL DE SAÔNE ET LOIRE CONSEIL GÉNÉRAL DE LOIRE ATLANTIQUE CONSEIL GÉNÉRAL DU MAINE ET LOIRE

AGENCE DE L'EAU ARTOIS PICARDIE AGENCE DE L'EAU ADOUR GARONNE AGENCE DE L'EAU LOIRE BRETAGNE PDF XLS CSV DOC

XML RDF RTF TXT SHP GTFS ESRI KML HTML ODS JPG

Open dataData deluge

DATA DELUGE

Page 16: Cours EMI CFD - Mars 2012

The data deluge refers to the situation where the sheer volume of new data being generated is overwhelming the capacity of institutions to manage it and researchers to make use of it.

http://itlaw.wikia.com/wiki/Data_deluge

Open dataData deluge

Page 17: Cours EMI CFD - Mars 2012

● Utilisation d'annuaires● Segmentation des données existantes :

○ Par éditeur : portée géographique (national, continental, mondial)

○ Par catégorie : portée sémantique○ Par format : niveau de réutilisation,

d'automatisation

Open dataSolutions (nécessaires mais pas suffisantes)

Page 18: Cours EMI CFD - Mars 2012

● Structurer les données● Les rendre librement accessibles via des

services web (Exemple de Google Maps)● Assurer leur mise à jour automatique● Garantir la rétro-compatibilité des systèmes

http://maps.googleapis.com/maps/api/geocode/json?sensor=false&address=7,%20rue%20des%20Petites%20Ecuries%

20Paris

Open dataSolutions ((presque ?) suffisantes)

Page 19: Cours EMI CFD - Mars 2012

Open dataData Publica - Histoire

● Origine Projet de R&D financé par le Secrétariat d'État à l’Économie numérique (2010)

● Septembre 2010 : Lancement du premier annuaire Français de données électroniques

● Mars 2011 : Lancement de la société Data Publica● Octobre 2011 : Lancement de la place de marché● Janvier 2012 : Outil de visualisation générique● Mars 2012 : Lancement de l'API

Page 20: Cours EMI CFD - Mars 2012

Open dataData Publica - Points forts

● Excellente connaissance des données françaises● Maitrise des technologies de recueil de données

○ Crawling, scraping○ Text mining, web mining○ ETL, data cleansing

● Flexibilité et réactivité● Collaboration avec le monde de la recherche

Page 21: Cours EMI CFD - Mars 2012

Open dataData Publica - L'annuaire

● Libre, gratuit, ouvert● Plus de 13000 jeux de données, 200 éditeurs● Données & méta-données combinées dans un

moteur de recherche à facettes● Moteur de visualisation générique

Page 22: Cours EMI CFD - Mars 2012

Open dataData Publica - Recherche

● Un résultat du moteur = un jeu de données● Classement par pertinence ou par date de parution● Nombreuses facettes :

○ Prix (99% gratuit)○ 24 catégories (multi-catégories)○ Type de publication (groupements de formats)○ Annuaire (site d'origine)○ Éditeur○ License

Page 23: Cours EMI CFD - Mars 2012

Open dataData Publica - Recherche

DémoLa poule pondeuse, témoin de la puissance du moteur de recherche Data Publica.

http://www.zanimag.fr/files/2011/03/poule-pondeuse.jpg

Page 24: Cours EMI CFD - Mars 2012

Open dataData Publica - Visualisateur

● Un outil simple d'utilisation qui permet de visualiser des données de manière claire :○ Cartographies○ Graphiques○ Courbes

● Un moyen facile d'exporter une visualisation dans un article

Page 25: Cours EMI CFD - Mars 2012

Open dataData Publica - Visualisateur

Première étape : Trouver sa visualisation

Page 26: Cours EMI CFD - Mars 2012

Open dataData Publica - Visualisateur

Deuxième étape : Choisir un type de visualisation

Page 27: Cours EMI CFD - Mars 2012

Open dataData Publica - Visualisateur

Troisième étape : Paramétrer ses données

Page 28: Cours EMI CFD - Mars 2012

Open dataData Publica - Visualisateur

Last but not least : Partager ses données

Page 29: Cours EMI CFD - Mars 2012

Open dataData Publica - Visualisateur

DémoDélinquance : des chiffres qui donnent la chair de poule (pondeuse)

http://www.monversailles.com/wp-content/uploads/2009/11/menottes.jpg

Page 30: Cours EMI CFD - Mars 2012

Open dataVisualisateur : prenez la main !

Quel est le pays Européen dont le montant de la dette publique était le plus important en 2010 ?

Page 31: Cours EMI CFD - Mars 2012

Open dataVisualisateur : prenez la main !

Quel est le pays Européen dont le montant de la dette publique était le plus important en 2010 ?

L'Allemagne, avec 2062 milliards d'euros.

La Grèce à quant à elle la part la plus elevée par rapport à son PIB avec 145%.

Page 32: Cours EMI CFD - Mars 2012

Open dataVisualisateur : prenez la main !

Quel est le pays Européen qui détient le plus d'élevages de poules pondeuses ? Le plus de

poules pondeuses ?

Page 33: Cours EMI CFD - Mars 2012

Open dataVisualisateur : prenez la main !

Quel est le pays Européen qui détenait le plus d'élevages de poules pondeuses en 2007 ?

Le plus de poules pondeuses ?

La Roumanie avec 2 951 970 élevages.La France avec 73 670 000 poules pondeuses.

Varier le paramètre "Nombre de têtes".

Page 34: Cours EMI CFD - Mars 2012

Open dataVisualisateur : prenez la main !

Quel est le domaine d'activité en France le plus sujet à des accidents du travail ?

Page 35: Cours EMI CFD - Mars 2012

Open dataVisualisateur : prenez la main !

Quel est le domaine d'activité en France le plus sujet à des accidents du travail ?

La construction.Nette amélioration dans l'agriculture en 2007.

Observer également avec la dimensions Pays.

Page 36: Cours EMI CFD - Mars 2012

Open data Data Publica, c'est aussi...

Un blog sur l'actualité des donnéeshttp://www.data-publica.com/content/blog/data-news/

● Des articles d'analyse de jeu de données : Analyse des résultats des primaires socialistes, Analyse des données sur la délinquance,...

● Des entretiens avec des acteurs du domaine

Page 37: Cours EMI CFD - Mars 2012

Open data Data Publica, c'est aussi...

Le "labs" et ses expériences

http://observatoire.data-publica.com/

Outil de mesure de l'impact des 10 candidats à la présidentielle sur Twitter :

● Nombre de followers● Analyse sémantique (text-mining)● Bruit (nombre de tweets associés)

Page 38: Cours EMI CFD - Mars 2012

Open data Data Publica, c'est aussi...

Le "labs" et ses expériences

http://www.data-publica.com/content/2012/03/voyage-dans-le-patrimoine-immobilier-de-letat/

Analyse et cartographie sur les biens immobiliers détenus par l'État Français dans le monde.

Page 39: Cours EMI CFD - Mars 2012

Des questions ?

Thomas [email protected]

@tdudouet

EMI - CFDMercredi 28 mars 2012