Qu’est-ce que l’Open Science

uOttawa.ca

matthieu.boisgontier@uottawa.ca

uOttawa.ca

Qu’est-ce que l’Open Science ?

Matthieu P. Boisgontier, MSc, MPT, PhD, HDR 13 Novembre 2020

Matthieu.Boisgontier@uOttawa.cahttp://matthieuboisgontier.com

Boisgontier MP (2020) Qu’est-ce que l’Open Science ? https://doi.org/10.17605/OSF.IO/94ZJ2

uOttawa.caMatthieu.Boisgontier@uOttawa.cahttp://matthieuboisgontier.com

1. Qu’est-ce que l’Open Science ?

2. Questionable Research Practices (QRPs)

3. Partageons !

4. Preprints

7. Pre-registration & Registered Reports

8. Évaluer la qualité scientifique

5. Null results

6. Open Access ≠ Open Science

9. Est-ce stratégique d’être un « Open Scientist » ?

• C’est un état d’esprit qui valorise l’ouverture et la coopérationplutôt que l’individualisme.

https://blog.vantagecircle.com/teamwork-and-team-building

• C’est partager un maximum de données, de codes d’analyse, et de documents afin que d'autres chercheurs puissent vérifier et réutiliser nos travaux le plus facilement possible.

• C’est valoriser les bonnes pratiques à chaque étape du processus de recherche plutôt que de se focaliser sur le résultat final de ce processus.

https://www.vox.com/2016/7/14/12016710/science-challeges-research-funding-peer-review-process

• C’est valoriser les bonnes pratiques à chaque étape du processus de recherche plutôt que de se focaliser sur le résultat final de ce processus.

• C’est soutenir l’équité, la diversité, et la viabilité du système scientifique.

• Transformer cet état d’esprit en culture permettrait donc d’obtenir des connaissances plus conformes au réel.

• L’Open Science fournit un cadre permettant de minimiser les pratiques de recherche douteuses (QRPs).

3. Partageons !

4. Preprints

5. Null results

Lakens D. https://www.coursera.org/learn/statistical-inferences

Tracé d'une valeur p, calculée pour un test tsimple, pour des échantillons de 10 à 2010 observations, lorsque l'hypothèse nulle est vraie.

Parce que les valeurs p sont uniformément distribuées, la valeur p se déplace de façon aléatoire entre 0 et 1.

By Adam Virgile https://adamvirgile.com/infographics-all

https://medium.com/@jamesheathers/fraud-aint-the-game-aae4b8ca1784

Les pratiques de recherche douteuses aboutissent à des preuves trompeuses

qui déforment notre perception de la vérité.

Nick Brown (left) and James Heathers (right)act as enforcers when they spot anomalies in the literature.

“What we do is error detection. That’s all. Forget about fraud.”

James Heathers

https://medium.com/@jamesheathers/fraud-aint-the-game-aae4b8ca1784

Détection des erreurs

https://retractionwatch.com

Fraude scientifique : Distorsion intentionnelle du processus de recherche ayant conduit à la falsification ou la fabricationdu message scientifique.

Augmenter la transparence du processus de rétraction des articles scientifiques

Erreurs ≠ Fraude

3. Partageons !

4. Preprints

5. Null results

By John R. McKiernan http://whyopenresearch.org/gallery.html

3. Partageons !Pourquoi partager ?

- Améliorer le travail collaboratif.

- Accès généralisé à la science.

- Améliorer la qualité de la science.

http://roar.eprints.org

3. Partageons !

Registry of Open Access Repositories (ROAR)Registre des archives ouvertes

Comment partager ?

3. Partageons !Comment partager ?

By John R. McKiernan http://whyopenresearch.org/gallery.html

3. Partageons !- Peur de se faire « voler » ses idées et de perdre l’exclusivité.

Reason not to share data:

Fear of being scooped

3. Partageons !- Peur de se faire « voler » ses idées et de perdre l’exclusivité

Souvent :

- Égoïste, présomptueux, et irréaliste.

- Gaspillage d’argent et de temps.

- Peur d’avoir fait des erreurs

3. Partageons !- Peur de se faire « voler » ses idées et de perdre l’exclusivité

- Tout le monde fait des erreurs.

- Plus nos erreurs sont corrigées tôt, Moins nous avons l’occasion de les reproduire.

Souvent :

- Égoïste, présomptueux, et irréaliste.

- Gaspillage d’argent et de temps.

- Peur d’avoir fait des erreurs

3. Partageons !

“Authors should consider storing primary data in a public repository

linked to the manuscript”

« This journal mandates and peer reviews data sharing. »

Est-ce que les journaux sont favorables à ce partage ?

Cheval B, et al. Avoiding sedentary behaviors requires more cortical resources than avoiding physical activity: an EEG study. Neuropsychologia. 2018;119:68-80. https://doi.org/10.1016/j.neuropsychologia.2018.07.029

3. Partageons !

Matthieu Boisgontier – 2019

Comment encourager, nous aussi, ce partage ?

Lorsque vous expertisez un article,vous pouvez encourager les auteurs à partager.

3. Partageons !Comment encourager, nous aussi, ce partage ?

3. Partageons !

4. Preprints

5. Null results

4. Preprints

“If you want to be 1 year behind, don’t read preprints.”

Jeff Leek

https://elifesciences.org/labs/57d6b284/prereview-a-new-resource-for-the-collaborative-review-of-preprints

http://blog.europepmc.org/2018/07/preprints.html

Article partagé publiquement avant avoir été expertisé par des pairs.

Temps écoulé entre le preprint et la publication finale de l’article (mois)

Schroter S. et al. Journal of the Royal Society of Medicine. 2008;101:507-14. https://doi.org/10.1258/jrsm.2008.080062

“Editors should not assume that reviewers will detect most major errors”

4. PreprintsQuelles erreurs sont détectées par l’expertise des pairs ?

4. Preprints

https://publons.com

Le système d’expertise par les pairs est saturé.

https://beallslist.net

https://scholarlykitchen.sspnet.org/2019/05/01/cabells-predatory-journal-blacklist-an-

updated-review/

4. PreprintsJournaux prédateurs

https://plos.org/resource/open-peer-review/

4. Preprints

Royal Society Open Science, European Journal of Neuroscience BMJ, BMC, PLOS, Nature Communications,

TransparenceQualitéCrédit

Pédagogie

Représailles

Développement des open peer-reviews

https://plos.org/resource/open-peer-review/

4. Preprints

De quand datent les preprints ?

4. PreprintsEvolution du nombre de preprints publiés par mois (2013-2020)

Anaya J. ASAPbio. https://asapbio.org/preprint-info/biology-preprints-over-time

4. PreprintsQui preprint ?

@maboisgon

4. PreprintsFaut-il preprinter ?

4. PreprintsFaut-il preprinter ? Le point de vue des financeurs.

https://grants.nih.gov/grants/guide/notice-files/not-od-17-050.htmlhttps://erc.europa.eu/sites/default/files/content/pages/pdf/ERC-2019-Work-Programme-main-changes.pdfhttps://www.nserc-crsng.gc.ca/NSERC-CRSNG/Policies-Politiques/assesscontrib-evalcontrib_eng.asp

4. PreprintsFaut-il preprinter ?

4. PreprintsOù preprinter ?

4. PreprintsEst-ce que le journal dans lequel je souhaite publier accepte les articles déjà preprintés ?

www.sherpa.ac.uk/romeo

4. PreprintsPostprints

Article publié après expertise par les pairs et avant qu'il n'ait été formaté par un journal.

Période d’embargo de 6 mois - 1 an

3. Partageons !

4. Preprints

5. Null results

Que faire quand il n’y a pas d’effet de notre variable indépendante ?

(On échoue à rejeter l'hypothèse nulle)

5. Null results

Un résultat non significatifn'est pas une preuve de l'absence d'effet.

Test d’equivalence,Estimation Bayesienne,

Facteurs de Bayes.

Harms C, Lakens D. Making 'null effects' informative: statistical techniques and inferential frameworks. J Clin

Transl Res. 2018;3:382-393.

AVANTavoir compris

les tests d’équivalence

5. Null results

APRÈS avoir compris

les tests d’équivalence

5. Null resultsParfois plus difficiles à publier

Offre 1000€ à ses chercheurs s'ils publient des résultats nuls ou une étude de réplication.

https://www.bihealth.org/en/research/quest-center/calls-and-awards/quest-calls-and-awards/null-

and-replication

5. Null resultsParfois plus difficile à publier

3. Partageons !

4. Preprints

5. Null results

https://deltathink.com/open-access/oa-data-analytics-tool/

La communauté scientifique est en désaccord avec ces frais de traitement des articles (APC) qui sont trop élevés.

- Les universités européennes paient €500 millions/an pour avoir accès aux articles scientifiques.

https://www.slideshare.net/EurUniversityAssociation/second-big-deals-survey-preview-of-the-results-130867813https://www.cbc.ca/news/health/research-public-funding-academic-journal-subscriptions-elsevier-librarians-university-of-california-1.5049597

- Le montant est de $300 millions pour les universités canadiennes.

https://www.theatlantic.com/science/archive/2019/03/uc-elsevier-publisher/583909/https://www.editage.com/insights/norway-joins-the-ranks-of-germany-and-sweden-cancels-subscription-with-elsevier

La communauté scientifique en désaccord avec ces abonnements trop onéreux.

“En Belgique, les articles scientifiques provenant de fonds publics peuvent être rendus publics en libre accès, quel que soit le contratavec les éditeurs. C'est écrit dans la loi. Et rétroactif.”

Farquharson, Jamie (2018): Diamond open access venn. figshare. Dataset.https://doi.org/10.6084/m9.figshare.6900566.v1

3. Partageons !

4. Preprints

5. Null results

Recherche exploratoire

Recherche confirmatoire

- Pour se familiariser avec un phénomène.- Pour développer des hypothèses qui devraient être approfondies.

- Pour répondre à une question de recherche théorique spécifique.- Basée sur des hypothèses statistiques prédéfinies.

7. Pre-registration & Registered ReportsDeux types de recherche

Caldwell AR, et al. Moving sport and exercise science forward: A call for the adoption of more transparent research practices. Sports Medicine 2020;50:449-459.. http://dx.doi.org/10.1007/s40279-019-01227-1

Pre-registration : Consiste à publier, sans expertise par des pairs, la description d’une étude scientifique à venir afin de limiter les pratiques de recherche douteuses.

https://aspredicted.org

https://osf.io

7. Pre-registration & Registered ReportsEst-ce que la pre-registration change vraiment quelque chose ?

Kaplan RM, Irvin VL. Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time. PLoS One. 2015 Aug 5;10(8):e0132382. http://dx.doi.org/10.1371/journal.pone.0132382

Effets nuls, bénéfiques, et néfastesAVANT et APRÈS

l’obligation de pré-inscrire les études en médecine

Registered Reports : Consiste à faire expertiser l’introduction, la méthodologie, et les données pilotes d’une étude scientifique afin qu’elle ne soit acceptée pour publication dans un journal. Ceci avant que les données ne soient collectées et donc que les résultats ne soient connus. Les RR permettent de limiter les pratiques scientifiques douteuses et le biais de publication.

By Adam Virgile https://adamvirgile.com/infographics-all

Processus des RR

Quels journaux proposent le format Registered Report ?

266 journaux au total

58 Psychologie10 Neuroscience4 STAPS

• Human Movement Science• Psychology of Sport and Exercise• Registered Reports in Kinesiology• Frontiers in Sports and Active Living

https://cos.io/rr

Est-ce que les Registered Reports réduisent le biais de publication ?

Scheel, A. M., Schijen, M., & Lakens, D. (2020). An excess of positive results: Comparing the standard Psychology literature with Registered Reports. https://doi.org/10.31234/osf.io/p6e9c

3. Partageons !

4. Preprints

5. Null results

Le facteur d’impact, un indicateur trompeur et pervers.

“Studies in high-ranking journals are often less methodologically sound than those published in other journals.”

Lower IF Higher IF

Lower quality

Higher quality

Brembs B. Prestigious Science Journals Struggle to Reach Even Average Reliability. Front Hum Neurosci. 2018;12:37. https://doi.org/10.3389/fnhum.2018.00037

Le facteur d’impact, un indicateur trompeur et pervers.

https://sfdora.org/read/

C’est la communauté scientifique qui détermine le prestige d’un journal.

Améliorer les méthodes d’évaluation de la recherche et des chercheurs.

Evaluez l'impact de la science,pas du journal.

https://www.teachaway.com/blog/need-to-know-about-interview-sessions

3. Partageons !

4. Preprints

5. Null results

9. Est-ce stratégique d’être un « Open Scientist »

Vous n'êtes pas obligé de faire de la science ouverte tout le temps. L’important c’est de connaître les options qui sont disponibles et de les utiliser lorsque cela est possible.

C’est quoi être un « scientifique ouvert » ?

Si vous avez déjà partagé des données, du code, preprinté, « préinscrit » votre protocole ou rendu des documents de recherche disponibles gratuitement, vous êtes un « open scientist ».

9. Est-ce stratégique d’être un « Open Scientist »

“We encourage applicants to discuss their past and/or planned research

approach in the context of ongoing discussion in the sciences about

research practices, replicability, and open science”

Recrutement

9. Est-ce stratégique d’être un « Open Scientist »Financement

http://ec.europa.eu/research/openscience/pdf/os_rewards_wgreport.pdfhttps://anr.fr/fr/actualites-de-lanr/details/news/signature-dune-declaration-conjointe-en-faveur-de-la-science-ouverte-par-un-reseau-dagences-franc/

Manuscript completed in July 2017.

https://storkinesiology.org

uOttawa.ca

matthieu.boisgontier@uottawa.ca

uOttawa.ca

Qu’est-ce que l’Open Science ?

Matthieu P. Boisgontier, MSc, MPT, PhD, HDR 13 Novembre 2020

Matthieu.Boisgontier@uOttawa.cahttp://matthieuboisgontier.com

Boisgontier MP (2020) Qu’est-ce que l’Open Science ? https://doi.org/10.17605/OSF.IO/94ZJ2/

Qu’est-ce que l’Open Science

Documents

RAPPORT DE L’OPEN INTERDÉPARTEMENTAL DE JUJITSU COMBAT …

SCIENCE OUVERTE Ambitions Enjeux Questions · qui fausse la recherche et porte préjudice à l’Open Science (confiance, intégrité..) • Interrogation sur les méthodes d’évaluationdes

Edition numérique et débat sur l’open access en France

Conférence Drupl Lyon : de l’Open source aux CMS : similitudes et différences

Émergence de l’open access « gris » : LibGen et Sci-Hub

Bruit au travail : comment survivre à l’open space · 2019. 8. 3. · Bruit au travail : comment survivre à l’open space ? "L'Open space m'a tuer." C'est le titre, volontairement

L’open Innovation comme réponse au besoin de Personnalisation

Journée de la Science La Maïzena 1) Qu’est-ce que la Maïzena ? 2) La réaction physique

SEPTEMBRE 2017 DE LA DSP2 À L’OPEN BANKING BANQUE 6 DE LA DSP2 À L’OPEN BANKING : LES IMPACTS SUR LE MODÈLE TRADITIONNEL BANCAIRE LEXIQUE DES ABREVIATIONS Acteurs GAFA : Google,

Webcasts Science on tourne ! scientifiques qu’est … on tourne !... qu’est-ce que c’est ? Ce sont des conférences scientifiques retransmises en direct dans les lycées et les

Qu’est-ce qu’il y a dans la boite · Qu’est-ce qu’il y a dans la boite ? Une recherche sur l’ « invisible », une activité de science pour expérimenter le questionnement,

L’open data - De la mise en ligne à la réutilisation

L’Open Source dans les grandes entreprises · et de nombreuses entreprises mettent en œuvre des solutions libres. Mais l’Open source entre souvent en concurrence avec les solutions

L’Open Access et l’accès aux résultats de la recherche · La voie verte de l’Open Access. 19/06/2018 Open Access ... •Démarche encouragée par l’article 30 de la loi

Inist - NRS, Vandœuve -lès-Nancy - Université de Strasbourgurfist.unistra.fr/uploads/media/Support_Formation... · « Qu'est-ce que la Science ouverte ? L’Open Science est une

La protection des données à caractère personnel dans l’Open Data :

b.Link de SIX – la connexion d’avant-garde à l’Open Banking. · 2020-07-03 · b.Link de SIX – la connexion d’avant-garde à l’Open Banking11. b.Link démarre au premier

Ouverture des données de la recherche : de la vision ...€¦ · Introduction Création de services Volonté d’ouvrir les données. 3 ... L’Open Data et l’Open Science (Goëta

Les nouvelles frontières de l’Open innovation

Open Science et données de la recherche · 2019-06-18 · Open Science et données de la recherche ... Les facettes de l’Open Science Intégrité, reproductibilité FAIR Data,