Embed Size (px)
Citation preview
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 1
IPOL: journal, logiciel et archives expérimentales en math appliquées
FRéDoc 2013Centre Paul Langevin, Aussois
2013-10-08
Nicolas LimareCMLA, ENS Cachan, FR/JP
IPOL — Image Processing On Linehttp://www.ipol.im/
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 2
IPOL: journal, logiciel, archives
● visite guidée
● pourquoi? comment?
● autour d'IPOL
● conclusion
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 3
IPOL: Image Processing On Line
IPOL is a research journal of image processing and image analysis. Each article contains a text describing an algorithm and source code, with an online demonstration facility and an archive of online experiments. The text and source code are peer-reviewed and the demonstration is controlled. IPOL is an Open Science and Reproducible Research journal.
http://www.ipol.im/
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 5
IPOL: journal
● projet editorial, comité éditorial
● articles, auteurs, editeurs
● rapporteurs, procédure de relecture et validation
● ISSN, DOI
● citations et indexation
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 6
IPOL: traitement d'images
distortion débruitage détection
restauration
+ video, 3D, infrarouge, stereo, satellite, astronomie, …
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 7
IPOL: logiciel
● chaque article DOIT inclure une implémentation logicielle
● les logiciels sont lus, vérifiés, validés et publiés
● règles éditoriales appliquables au logiciel: langage, présentation, robustesse, etc.
→ Le logiciel est un autre type de “données”: produit non textuel du processus de recherche
→ Les articles sont incomplets sans le logiciel.
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 8
IPOL: démo web
● accès immédiat et ouvert aux algorithmes via une interface web
● calcul en temps réel sur données libres
→ vérification des résultats annoncés dans les articles
→ exploration expérimentale des algorithmes: variation des paramètres ou des données traitées
→ évaluation préliminaire rapide d'une methode
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 9
IPOL: archives expérimentales
● archivage public des expériences faites avec les démos web: input/output sur données originales
pour les lecteurs/utilisateurs:→ large échantillon de tests, robustesse
pour les auteurs:→ feedback indirect des utilisateurs de l'algorithme
→ la publication PRODUIT des données
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 10
IPOL: chiffres
● depuis fin 2010:- 45 article publiés- 38 en cours d'évaluation- 200+ citations (cf. Google scholar...)
● Statistiques 2013 (jan.-sept.):- 100000 visites- 25000 téléchargements (½ code/données, ½ PDF)- 50000 expériences sur demo web- 20000 données originales d'expérience
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 11
IPOL: pourquoi
● publication incomplète sans logiciel (ou données)→ cf. reproducible research
● manque de valorisation du travail sur le logiciel (ou données)→ valo. via le circuit habituel publication/citation
● pas de solution existante→ politiques editoriales de journaux→ solutions neutres de dépôt/archivage/diffusion→ au-delà du preprint
● jamais si bien servi que par soi-même :-)
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 12
IPOL: nécessité du logiciel
● vérification
● reproduction
● comparaison
→● réutilisation
● extension
● ...
→
sans logiciel, l'article est une voie sans issue.
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 13
IPOL: communication vs. science
article
© Uwe Kils
donnéeslogicielparamètrespre/post traitementvisualisation...
communication
science
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 14
IPOL: copyright & licences
outillage juridique minimalobjectif prioritaire: diffusion
● pas de transfert de copyright
● articles sous Creative Commons avec restrictions CC-BY-NC-SA
● logiciel sous licence libre GPL/BSD
● données sous Creative Commons ouvert CC-BY/CC0
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 15
IPOL: moyens
● noyau de pilotage au CMLA, ENS Cachan
● équivalent ~2 temps plein, distribué- pilotage et suivi éditorial- production éditoriale, copyediting- gestion des outils informatiques- développements logiciels et web
● collaborations internationales- Univ. Illes Balears, Palma, Espagne- Univ. de la Republica, Montevideo, Uruguay- Univ. Las Palmas de Gran Canaria, Espagne
● moyens techniques modestes (total ~50000€)
● financement en marge de projets de recherche voisins→ IPOL est un outil et une methodologie de travail
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 16
IPOL: extensions
Chaque domaine de recherche a ses propres besoins, contraintes et solutions. IPOL ne deviendra pas un mega-journal de “logiciel web-executable”.
● nouveau journal J-RASP en traitement audio
● expérimentation via des “special issues”
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 17
IPOL: autres initiatives
● quelques autres journaux ont des règles relatives au logiciel et/ou oublient du logiciel: Geophysics, Source Code for Biology and Medicine, Journal of Open Research Software, Computing in Science and Engineering, JMLR, …
● mais il n'y a pas de review et validation du logiciel→ problème de fiabilité et pérennité
● et ausi: Figshare, RunMyCode / Run&Share, DataDryad, Harvard Dataverse, Ubiquity Metajournals, …
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 18
IPOL: autres données
● on a besoin de données de référence pour benchmarks- identifiées, décrites- librement utilisables- disponible à long terme
● quelques articles IPOL décrivent et publient des jeux de données standard
● pas de solution ouverte d'hébergement de données scientifiques en 2010...
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 19
IPOL: bénéfices
enquête auteurs:
● le plus important: les citation- IPOL est une nouvelle source de citations- mais on attend un Impact Factor
● valorisation du travail sur le logiciel
● meilleur archivage des recherches
● meilleure communication avec collègues
● utile pour convaincre les rapporteurs de journaux ou conférences
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 20
IPOL: article/code/données
● distinction artificielle→ Amsterdam Data Citation Manifesto→ Science Code Manifesto
● nécessité de contrôle type éditorial
● tout travail mérite citation et reconnaissance
● mais regime de copyright different (en France)
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 21
Amsterdam Data Citation Manifesto
● Data should be considered citable products of research.
● Such data should be held in persistent public repositories.
● If a publication is based on data not included with the article, those data should be cited in the publication.
● A data citation in a publication should resemble a bibliographic citation and be located in the publication’s reference list.
● Such a data citation should include a unique persistent identifier.
● The identifier should resolve to a page that either provides direct access to the data or information concerning its accessibility.
● If the data are available in different versions, the identifier should provide a method to access the previous or related versions.
● Data citation should facilitate attribution of credit to all contributors.
http://www.force11.org/AmsterdamManifesto
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 22
Science Code Manifesto
● All source code written specifically to process data for a published paper must be available to the reviewers and readers of the paper.
● The copyright ownership and license of any released source code must be clearly stated.
● Researchers who use or adapt science source code in their research must credit the code’s creators in resulting publications.
● Software contributions must be included in systems of scientific assessment, credit, and recognition.
● Source code must remain available, linked to related materials, for the useful lifetime of the publication.
http://sciencecodemanifesto.org/
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 23
IPOL: nouvelles metriques
● au-delà de la citation:- nombre de telechargements- nombre d'execution en ligne
● mesure de l'utilité de la recherche hors du cercle des chercheurs
● mise en évidence de domaines industriels d'application
● mais…pas d'outillage pour évaluer la réutilisation du logiciel
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 24
IPOL: conclusions
● définition élargie des “données”- logiciel inclus- sciences non expérimentales inclues
● mettre en ligne est insuffisant; il faut publier selon un processus éditorial scientifique
● la publication scientifique est à réinventer→ nouveau rôle IST??
● la publication enrichie de services génère de nouvelles données
IPOL: JOURNAL, LOGICIEL, ARCHIVES — 25
IPOL: contacts
http://www.ipol.im/[email protected]@list.ipol.im @IPOL_journal
http://nicolas.limare.net/[email protected] @NicolasLimare
