Cloud IFB pour les sciences du vivant · 2018-03-20 · diﬀeren@al analysis of RNA-seq data,...

GwendolineAndresJocelynBrayetChristopheBlanchetChristopheCaronLoraineGuéguenOlivierInizan

29février–3mars2016

Développementetintégra9ond’applica9onsousGalaxyCloudIFBpourlessciencesduvivant

Forma9onCloudetGalaxy

GildasLeCorguille

AlbanLermine

ValenAnLouxFabienMareuilSandrinePerrinMathieuValade

Présenta9ondelaforma9on

•  Bonnespra9quesd’intégra9ond’ou9ls

•  dansGalaxy•  SurlecloudIFB

•  Deuxsessionsdeforma9onscomplémentairespourpromouvoirlamiseàdisposi9ond’ou9lsetdepipelinesdéveloppésdanslePIAFranceGénomiqueavecGalaxyetsurlecloudIFB•  12+pipelinesannoncéscommeétantdéveloppésouàdéveloppersousGalaxy

•  Importancedelamiseàdisposi9ond’unpubliclargeàtraversGalaxyetlecloudIFB

Objec9fsdelaforma9on

Formation Galaxy IFB/FG 2016

SessionGalaxy

Programme Forma9onCloudetGalaxyIFBpourFranceGénomique-2016 Lundi29-févr Mardi01-mars Mercredi02-mars

08:30 Intégration d’outils / Planemo / Bonnes

pratiques Intégration de son pipeline

10:30 Pause Pause 11:00

Déploiement sur le ToolShed IFB et sur le

Toolshed Main

Bilan de l'intégration des pipelines : partage des problèmes, solutions

11h45 Bilan : Tour de table / Formulaire de satisfaction

12:30 Repas 14:00

Introduction à l'école : Tour de table Présentation générale de

Galaxy Intégration de son pipeline

16:00 Pause Pause

16:30 Installation et intégration d'outils / Planemo Intégration de son pipeline

18:30 Fin de la journée

•  Tourdetable

•  AQentesvisàvisdelaforma9on•  Brèveprésenta9ondevotrepipeline

•  Présenta9onduGTGalaxydel’IFBetdesrela9onsavecFranceGénomique

•  Introduc9ongénéraleàGalaxy

•  PremièreincursiondansGalaxy

Introduc9onàlaforma9on

Tour de table

Vosencadrants:GwendolineAndresJocelynBrayetChristopheBlanchetChristopheCaronLoraineGuéguenOlivierInizanGildasLeCorguilleAlbanLermineValenAnLouxFabienMareuilSandrinePerrinMathieuValade

•  IFB et al.

•  Since2013!•  3missions:

–  Anima9on–  R&D–  Training

GalaxyTaskForce

•  Galaxy Day 2013, 2014, 2015 : 300 people –  Organized with Curie and Pasteur institutes –  Usersession:NGS,metabolomics,chemistry..–  Devsession:«Docker»,Planemo…

•  Hackathon 2015 : 30 developers

•  Galaxy Community Conference –  Oslo 2013, Baltimore 2014 –  and Norwich 2015

•  Representation of the french community (talks…) •  First contacts for GCC 2017

•  Interest of a minimal structuration of community

Anima9on

•  IntegraAonToolShed–  50packages–  Laboratory for best practices –  A step before committing to central Tool Shed –  Used for training schools

• 3 best practice guides : quick start, advanced, toolshed •  Tools & workflow examples:

R/&D: IFB/FG collab

SarTools(PasteurInsAtute)H.Varet,J.-Y.CoppeeandM.-A.Dillies,SARTools:aDESeq2-andedgeR-basedRpipelineforcomprehensivedifferen@alanalysisofRNA-seqdata,bioRxiv,2015

→repositorysurToolShedIFB →UsedinAVIESANschool2015

BisulfiteSeq.datapipeline(CCRT)-  DevelopedforSLURM-  CPU/memoryneeds

→Galaxyworkflow:1/mul9-threading2/collecAons

•  Galaxy4Bioinforma9cs(3/4days)–  V1(Roscoff),V2(Nantes),V3(Montauban)– Architecture, Tools Integration, Toolshed, API

– ~75students /12 teachers– Highsa9sfac9onrate!

•  NGSwinterschool-AVIESANRoscoff–  Galaxy4Learning:130Students–  Fiqhedi9on:20-25Nov.2016–  GalaxyWG:dedicated(++)taskforce“GalaxyInfrastructureGalaxy”

•  Bestprac9ces&usersguideline•  HighAvailabilityInfrastructure

Training

•  MiniG4B(29/02):Galaxy/Cloud/IFB/FG– FranceGénomiquebioinforma9cians–  Toolsintegra9on

•  Best practices •  Using the IFB Integration Tool Shed

–  Bindtothecloudmodule

• Galaxy4Bioinformatics V4 – Lyon (October 2016) – Registration fee – Organized with IFB-CORE training team

Training

GalaxyWG

Galaxy

http://www.genome.gov/sequencingcosts/

Stein Genome Biology 2010, 11:207

« Big Data »

Accessibilitédesou9lsdesworkflows

Problèmes

ReproducAbilitédesanalyse

Transparencedesanalyses

• Exemple:Projetpilote«1000genomesproject»:– Sériederecommanda9onssurlaprocédured’analyse– 299 ar9cles publiés en 2011 citent le papier « bestprac9ces », 19 sont des projets de re-séquençage avec desdesignexpérimentauxsimilaires.

• 10 u9lisent les ou9ls recommandés de mapping et dedécouvertedevariants.• 4u9lisentleworkflowcomplet.

Malgrél’effortdedescrip9on,chacunsonpipeline!

Pourquoi?• Les«NGS»évoluent:séquenceurs,ou9lsd’analyse• Complexitédesanalysesetdesworkflows• Accessibilitédesworkflows

Reproduc9bilité

• Scripts«maison»nondistribués,malexpliqués:

• Ou9lsprécisés,sans laversionni lesparamètres.Sur50papiersu9lisant bwa en 2011, 31 ne citent pas sa version et sesparamètres(et26nedonnentpasaccèsauxdonnées).

• Moinsde50%desanalysesdemicro-arrayspubliéesdansNatureGene@csen2009sontrépétables.

Mat & Met Reproduc9bilité

• Données,méta-données.CommentréuAliserlesdonnées?

Mat&Met

Transparence

Pourtant la reproducAbilité est à la base de ladémarchescien9fique…

Nature 496, 398 (25 April 2013)

ProblèmecriAquedereproducAbilité

Ou9lsdeconstruc9onetd’exécu9ondeworkflowsquipermeQentderejoueruneanalyse:

– Mobyle– Taverna– Kepler– …– Galaxy

QuellessoluAons?

• Développédepuis2005par– Penstateuniversity– Emoryuniversity

• Reprendlesbonnesidéesdesou9lsprécédents• Orientécommunauté,partageetreproduc9bilité

Accessibilité Reproductibilité Transparence

ObjecAfs:– «democraAzaAonofbiomedical computa9on so thateven the smallest research unitswithmodest budgetsare capable of carrying out analyses using appropriatetoolsinareproduciblefashion»

Environnement pour réaliser et enregistrer desanalyses.

Permet l’u9lisa9on ou l’inclusion des ces analysesdansdespublica9ons.

ReproducAbilité

Pas besoin de programmer ou d’apprendre àmanier la lignedecommande,deconnaître lesdétailsd’implémentaAond’unou9l

Interface unifiée d’obten9on et d’analyse dedonnéesgénomiques(ouautres)

Accessibilité

PortailGalaxy

Portail Galaxy

• Capturerautoma9quementlesméta-données:– provenancedesdonnées– paramètresetenchainementsdesou9ls

• Enregistrer les jeux de données et les résultatsintermédiaires• Fournir les ou9ls dedocumentaAon (annota9ons, tags)etdepartagedesanalyses

– métadonnées:«cequiaétéfait»– annota9ons:«pourquoicelaaétéfait»

ReproducAbilité

Chaque analyse peut être rejouée,extraite sous forme de workflow etpartagée

Les workflows peuvent et doiventégalementêtreannotés

ReproducAbilité

Les jeux de données, historiques d’analyses etworkflowspeuventêtrepartagés:

– import/exportdel’ensembledel’analyse– partageentreu9lisateurs– mise à disposiAon publique sur uneinstancedeGalaxy

Une analyse peut êtredocumentée sous formede«Galaxypage»

Transparence

Page Galaxy : page web permeQant ladocumenta9oncomplèted’uneanalyse

– Textelibre(avecéventuellementdesfigures)– Inclusion des jeux de données, historiqued’analyseetworkflows– Mécanismed’import permeQant de rejouerl’ensemble de l’analyse sur les donnéesfournies

Transparence

Pages Galaxy

30 Formation Galaxy IFB/FG 2016

•  Donnéesbrutesmisesàdisposi9onssurSRA

•  Donnéesprimairesmisesàdisposi9onsurGigaDB,avecunDOIassocié.

GigaDB

Galaxyoffreunesolu9oncomplèteetaccessiblepourfavoriserl’accessibilitédesanalysesbioinforma9quesàunpublicnonexpert.LatransparenceetlareproducAbilitésontégalementfavorisées,maisilrestedesproblèmes:• Ges9onfineethomogénéiséedesversionsdelogiciels• Conserva9ondesdonnéeslorsdesmisesàjour• …

Conclusion

PagewebdeGalaxy:hQp://galaxyproject.org/– Usegalaxy:galaxy-central– Getgalaxy:distribu9on(installlocale,cloud)– Learngalaxy:tutorials,screencast– Getinvolved:mailinglistsandwiki

HowtociteGalaxy:hQps://wiki.galaxyproject.org/Ci9ngGalaxyPublicaAons:NekrutenkoA,TaylorJ:Next-genera9onsequencingdatainterpreta9on:enhancingreproducibilityandaccessibility.NatRevGenet2012,13:667–672.GoecksJ,NekrutenkoA,TaylorJetal:Galaxy:acomprehensiveapproachforsuppor9ngaccessible,reproducible,andtransparentcomputa9onalresearchinthelifesciences.GenomeBiol2010,11:R86.

Références

Environnement de travail

Laforma9onsedéroulerasurunemachinevirtuelleprévupourfonc9onneravecVirtualBox.Pré-requispourvotrepostedetravail:•  VirtualBox4.3.28minimum•  ConnexionInternet

Lamachinevirtuelleaétépré-configuréepourlaforma9on:• EnvironnementLinuxCentOS6.6• Guestaddi9oninstallée

MachineVirtuelle

Unensembled’ou9lsontétépré-installéssous/usr/local:• Python2.7.2

–  iPython2.3.0–  Bioblend0.6.1

• Ou9lsBioinfo–  BLAST+2.2.28–  MEME7–  SAMTOOLS–  Phylip

• R3.1.1+modules

Environnementlogiciel

Uncompteunique:

• Iden9fiant:galaxy(adminGalaxy:galaxy@localhost.fr)• Motdepasse:azerty• Homedir:/usr/local/galaxy• Disposedesdroitsadministrateurs(sudo)

Session

• ImportezlaVMdansVirtualBoxàl’aidedel’ou9lFile>ImportAppliance

•  DémarrezlaVM•  Ouvrezunesessionavecl’iden9fiantgalaxyMotdepasse:azerty

• OuvrezunTerminalencliquantsurl’icône

• Lancezlacommandesudo whoami Résultat:root

PremierlancementdelaVM

Installation

VousêtesprêtàlancervotreinstanceGalaxy!LancezleserviceGalaxyLefichierrun.shréaliseplusieursopéra9onspermeQantd’ini9aliservotreenvironnementGalaxyavecdesparamètrespardéfaut:1.  Ilsourcevotreenvironnementvirtuelpython(pardéfault.venv)2.  Ilrécupèrelespackagespythonnécessairesaufonc9onnementdeGalaxy(eggs)3.  Ilini9aliselesfichiersdeconfigura9onspardéfaut4.  Ilini9aliselabasededonnées(pardéfautSQLlite)Aprèsuneoudeuxminutesd’iniAalisaAon,vouspouveztesterl’applicaAonvial’URL:hdp://localhost:8080/

PremierdémarragedeGalaxy

[galaxy]$ sh run.sh

Chargezdansvotrehistoriquelefichier/usr/local/galaxy/galaxy/test-data/1.tabular 1.  Cliquezsurl’ou9lGetData/UploadFile2.  CliquezsurChooselocalfile3.  Sélec9onnezlefichier/usr/local/galaxy/galaxy/test-data/1.tabular 4.  CliquezsurStart5.  Lorsquelechargementestterminé,cliquezsurCloseUAlisezunouAldemanipulaAondetextepourchangerlacassedelatroisièmecolonnedecedataset1.  Cliquezsurl’ou9lTextManipulaAon/Changecase2.  VérifierquelachampFrompointeversledatasetquevousvenezdecharger3.  Indiquezlavaleurc3pourlechampChangecaseofcolumns4.  CliquezsurExecuteUnnouveaudatasetaétécréédansvotrehistorique

Lancerunjob

Configuration Organisation générale des fichiers

-  config:Con9entlesdifférentsfichiersdeconfigura9ons-  tools:Con9entlesou9lsetwrappers-  tool-data:Con9entlesdescripteursdedonnées(fichier.loc(“loca9on”)).

Lalistedesgénomesdisponiblesestàrenseignerdansshared/ucsc/builds.txt-  staAc:Con9entlestyleetlespagesHTML.

Pourpersonnaliserlapaged’accueil,onpeutmodifierlescriptstaAc/welcome.html

-  database:Con9entlesdonnéesdesu9lisateurs-  logs:Con9entlesfichiersdelogscréésàchaquestop/start/restartdel’instance.

Organisa9ongénéraledesrépertoires

-  Lesprincipauxfichiersdeconfigura9onsetrouventdanslerépertoireconfig.

galaxy.ini:configura9ongénéraledel’instancetool_conf.xml:configura9ondesou9lsdisponiblestool_sheds_conf.xml:configura9ondestoolshedaccessibledepuisvotreinstanceshed_tool_conf.xml:config.desou9lsdéployéssurl’instanceviauntoolsheddatatypes_conf.xml:déclara9ondesdifférentstypesdedonnéesjob_conf.xml:déclara9ondesressourcesdecalcul(queue,mémoire…)

Lesfichiersdeconfigura9on

Fichierdeconfigura9on.iniorganiséensec9ons:

•  [server:main]:configura9onduserveurdedéploiement(hostetport)•  [app:main]:configura9ondel’applica9onGalaxy•  Répertoiresdetravail:filesetdirectories,loggingetdebugging,users,securité.

•  Basededonnées:..Nousvouslaisseronsdécouvrircefichier.

galaxy.ini

Configuration Interface d’administration

-  Ges9ondesu9lisateurs,groupesetrôles

-  Ges9ondesdonnéeset

deslibrairiespartagées-  Ges9ondesquotasd’espace

disque

-  Visualisa9ondesdatatypesetdatatables

-  Relanced’unou9lindividuelaprèsmodifica9onduwrapperXMLd’unou9l

-  Ges9ondesjobsencours

-  Ges9ondestoolsheds:

installa9ond’ou9lviatoolshed

Galaxy:Modeadmin

Configuration Tracer les erreurs

Visualiser le chemin exact de chaque dataset depuis l’interface web Les administrateurs de la plate-forme peuvent visualiser le chemin exact d’un dataset directement depuis l’interface web de Galaxy

Tracerleserreurs

Consulter le debug d’un outil depuis l’interface web Relancer l’outil Change case en indiquant une valeur incorrecte pour le champ Change case of columns (par exemple 0.5)

Tracerleserreurs

Visualiser le log d’erreur de l’outil Consulter les informations détaillées concernant l’execution du job

Consulter le debug d’un outil depuis l’interface web

Tracerleserreurs

Log de la sortie standard de la commande exécutée

Log de la sortie d’erreur de la commande exécutée

Code de sortie de la commande exécutée

Commande exécutée

Consulterleslogsdel’instanceUnfichierdelogestgénérépourchaquehandlerdevotreinstancedansvotrerépertoiregalaxy.Vouspouvezsuivreentempsréelleslogsdevotreinstancegraceàlacommandetail -f Lamiseenplaced’unhandlerdédiéàl’exécu9ondesou9lspermetdetracerplusfacilementleserreursliéesàl’exécu9ond’unou9l.

Galaxy:Installa9on

[galaxy]$ tail -f main.log

[galaxy]$ tail -f job.log

Conserverlestracesd’exécuAond’unjobPardéfaut,Galaxysupprimetouteslestracesd’exécu9ond’unjob,quecelui-ciaitréussiounon.Lesinforma9onsconsultabledepuisl’interfacewebsontstockéesenbasededonnées,maistouslesfichiersintermédiairesgénérésparlejobsontsupprimés.Pourconserverlesfichierscréésparl’exécu9ondujobdansvotredossierjob_working_directorylorsqu’unjobs’estterminéenerreur,vouspouvezmodifierl’op9oncleanup_jobdansvotrefichiergalaxy.ini.

Galaxy:Installa9on

# Clean up various bits of jobs left on the filesystem after completion. These # bits include the job working directory, external metadata temporary files, # and DRM stdout and stderr files (if using a DRM). Possible values are: # always, onsuccess, never

cleanup_job = onsuccess

Mercipourvotreécoute.

Cloud IFB pour les sciences du vivant · 2018-03-20 · diﬀeren@al analysis of RNA-seq data,...

Documents

EDITO EDITO EDITOexaequoreims.com/sites/default/files/telechargement/incoming13_envoimail.pdfsiècle, invitée à déjeuner chez Gertrude Stein, une des reines de la modernité du

LE RHIN MYSTIQUE - xml.epiphanie.orgxml.epiphanie.org/Dominicains/Plaquette Rhin Mystique 2009-2010.pdf · mystique, de sainte Odile à Édith Stein » n’a cessé de s’enrichir

Running title Authors - bioRxiv...2019/08/01 · Ventura & Harris, 1999). Astrocytes are also known for their secretory potential, releasing neurotransmitters, ions and other signaling

WhiteBook Excerpt Trieb Stein Hag En

Mattea Stein, World Bank Méthodes Non- expérimentales I

C Prix d Architecture 2014-2015 DOSSIER - IFB 42 · composant l'ossature ovale de la passerelle . Afin de déterminer la forme des pièces et ... modélisation simplifiée de la structure

Trelleborg Marine Systems/ Stein IAS - Performance People

0 ¡Volvemos a vernos! · 2017. 4. 21. · Stein suele almorzar en la facultad. f. Stein suele tener clase por la tarde. g. or la noche, Stein habla con sus amigos. h. El joven está

Duras, M. ''Le ravissement de Lol V. Stein''-Fr-Spnovelas.rodriguezalvarez.com/pdfs/Duras, M. ''Le ravissement de Lol... · 3 Notes Duras’ Stein tr. de Ana Mª Moix Quand elle connut

IFB - Demande de propositions pour les prestations …...Title IFB - Demande de propositions pour les prestations de service d 攀搀爀愀琀椀猀愀琀椀漀渀搀猀椀渀昀攀挀琀椀漀渀

Nicole MINATCHY - Frédérique STEIN DAAF de la Réunion ...daaf.reunion.agriculture.gouv.fr/IMG/pdf/3_pres_BESOINS_et_CONSTAT_3... · liées au fonctionnement de l’organisme (75%)

Séquence de lecture : enseignement explicite de la ...ienaurillac2.fr/IMG/pdf/sequence_de_lecture_sur_le_fabuleux_voyage_de_lola-2.pdfcomment-quand » (Stein, 1986) fournit un cadre

Innobooster kompendie ifb

À travers la plaine Achille - IFB 42 · Eurocode 5 bois massif C27 section ... Freelem nous permet d’obtenir la valeur de la flèche instantanée dans ... + exemple d’application

IFB 2013/02 PARTIE I CAHIER DES CHARGES ADMINISTRATIVES SPÉCIALES · Spéciales, les dispositions contenues dans le Cahier Général des Charges sont de stricte application. 2. RÉPONSES

GDF-SUEZ ENERGIE SERVICES - icsidfiles.worldbank.orgicsidfiles.worldbank.org/icsid/ICSIDBLOBS/OnlineAwards/C75/DC2272... · Assistante du Comité : Me Erica Stein Date d’envoi aux

Mezzanines - Stein Service & Supply€¦ · Mezzanine Applications Mezzanine Applications Multi-Purpose Mezzanine - 4 Warehouse Storage Mezzanine - 5 Conveyor Support Mezzanine -

Sur le théorème de Stein-Rosenberg€¦ · SUR LE THEOREME DE STEIN-ROSENBERG 97 Notre but est de montrer que le théorème de Stein-Rosenberg s'applique en fait à d'autres produits

New Numéro 22 - Juillet 2012 LOfficiel Badminton · 2020. 2. 12. · Yonex IFB : C’est déjà demain Pour la 6e année consécutive, Paris accueille une étape du circuit Su-perSeries

fileet publications d' orsay integrales singulieres fonctions differentiables de plusieurs variables par elias stein • a. avril-mai 1968, chapitres et