View
108
Download
2
Category
Preview:
Citation preview
Plateforme de Calcul pour les Sciences du Vivant
L’environnement de production WISDOM
Plateforme de Calcul pour les Sciences du Vivant
2
• WISDOM (World-wide In Silico Docking On Malaria) est à l’origine une organisation qui a pour but de prouver la pertinence de l’utilisation de la grille dans la recherche de médicaments contre les maladies négligées
2005 2006 2007 2008Wisdom-I
Malaria Plasmepsin
DataChallengeGrippe aviaire
Neuraminidase
Wisdom-IIMalaria 4 targets
DataChallengeDiabetes
Alpha-amylase
EGEE, Auvergrid,TwGrid, EELA,
EuChina,EuMedGrid
EmbraceEGEE
BioInfoGrid
SCAI, CNUAcademica Sinica of Taiwan
ITB, Unimo Univ,, LPC, CMBA CERN-Arda, Healthgrid, KISTI
GRIDS EUROPEAN PROJECTS INSTITUTES
Plateforme de Calcul pour les Sciences du Vivant
L’initiative WISDOM
Univ. Los Andes:Biological
targets, Malaria biology
LPC Clermont-Ferrand:
Biomedical grid
SCAI Fraunhofer:Knowledge extraction,
Chemoinformatics
Univ. Modena:Biological targets,
Molecular Dynamics
ITB CNR:Bioinformatics,
Molecular modelling
Univ. Pretoria:Bioinformatics, Malaria biology
Academica Sinica:Grid user interface
HealthGrid:Biomedical grid, Dissemination
CEA, Acamba project:
Biological targets, Chemogenomics
Chonnam Nat. Univ.
In vitro tests
KISTIGrid technology
Plateforme de Calcul pour les Sciences du Vivant
Les activités de WISDOM
• Activités de calcul montrer la pertinence de la grille pour la bioinformatique développer un environnement capable de monitorer les
déploiements sur grille: l’Environnement de Production Wisdom
Fournir la grille aux non-experts
• Activités biologiques Etablir un workflow de criblage virtuel sur grille Trouver de nouveaux médicaments pour lutter contre les
maladies négligées
Plateforme de Calcul pour les Sciences du Vivant
L’environnement de Production Wisdom
• Déployer un environnement de monitoring des jobs sur grille de calcul
Produire de grandes quantités de données pendant les data challenges
dans un temps minimal et en utilisant un minimum de moyens
humains
Gérer le fait que la grille est hétérogène et dynamique un workflow de grille: soumission de job automatique, gestion des statuts de
jobs, récupération des erreurs utiliser les modes push et pull https://sourceforge.net/projects/wisdom-pe/
Plateforme de Calcul pour les Sciences du Vivant
Wisdom Production environment
AMGA2. Post-
Processing
WMSWMS
3. Lab Validation
User Interface
WISDOM production
system
WISDOM production
system
Job submissionCE & WNsCE & WNs
Job
SEsSEs
Software
Protein
Compounds
Results
Statistics
Job status / Resubmission
Statistics
WMS: Workload Management SystemCE: Computing ElementSE: Storage ElementDMS: Data Management SystemSRM: Storage Resource ManagementInputsOutputs
DMS
DMS
SRM
SRM
Plateforme de Calcul pour les Sciences du Vivant
Push-WPE ->> Pull-WPE
AMGA
PUSHPUSH
WISDOM production
system
WISDOM production
system
CE & WNsCE & WNs
JobPULLPULL
WISDOM production
system
WISDOM production
system
Génération des jobs avec un ensemble de
tâches
Génération de jobs sans tâches
Retrouve les informations des
tâches
Retroube les tâches et leurs informations
Changer le WPE pour améliorer: Flexibilité Efficacité
Plateforme de Calcul pour les Sciences du Vivant
Performances
Plateforme de Calcul pour les Sciences du Vivant
Apporter la grille aux non-experts
WISDOM ENVIRONMENT • Complexe et inflexible• Pour les gens familiers avec la grille• Application de recherche de médicaments
• Utilisateurs Non-experts• Plusieurs outils bioinfos
UTILISE LES AVANTAGES DES RESSOURCES DE CALCUL ET DE
STOCKAGE DE LA GRILLE
UTILISE LES AVANTAGES DES RESSOURCES DE CALCUL ET DE
STOCKAGE DE LA GRILLE
2005-2008
2008-…
Plateforme de Calcul pour les Sciences du Vivant
Implémentation
MIDDLEWARE DE GRILLEMIDDLEWARE DE GRILLE
RESSOURCES DE GRILLERESSOURCES DE GRILLE
SERVICES WISDOMSERVICES WISDOM
INTERFACE WEB SERVICESINTERFACE WEB SERVICES
Moteur de Workflow Portail Web WS Client
Plateforme de Calcul pour les Sciences du Vivant
Wisdom Production environment
File IS
File IS
Bio IS
Bio IS
WISDOM Information
System
AMGA AMGA
WISDOM Information
System
Client Services
Client Services
Local Data
Repository
Data Manager
Local Data Repository
Database Service
Database Service
Data Manager
Data Management APIs
Transfer ManagerTransfer Manager
FTP HTTP
EGEE EGEE
SESE
CECE DIGITAL
RIBBONDIGITAL RIBBON
SESE
EGEE
EGEESESE
CECE SESECECE
OSG
Data
Metadata
Job Manager Job Submitter
Job Submitter
Jobs
Task Manager
Tasks Management APIs
Plateforme de Calcul pour les Sciences du Vivant
Infos Biologiques
Infos Biologiques
Infos sur les fichiers
Infos sur les fichiers
• WISDOM data manager Services de haut-niveau pour gérer les données et les
métadonnées reliées aux applications et aux tâches Services qui peuvent être utilisés pour déployer et synchroniser
des données sur la grille (BD incluses) ensemble d’APIs permettant d’accéder et de requêter les données
• WISDOM information system Basé sur AMGA
Plateforme de Calcul pour les Sciences du Vivant
Data Manager
File ISFile IS
Bio ISBio IS
WISDOM Information System
File ISFile IS
Bio ISBio IS
WISDOM Information System
Local Data
Repository
Biodata APIs
Database Service
Database Service
Data Manager
File APIs
Transfer ManagerTransfer Manager
Local Data
Repository
Biodata APIs
Database Service
Database Service
Data Manager
File APIs
Transfer ManagerTransfer Manager
FTP
HTTP
FTP
HTTP Data Metadata
Data Metadata
EGEE EGEE
SESE
CECE
DIGITAL RIBBONDIGITAL RIBBON
SESE
CECE
Data Metadata
Data Metadata
EGEE EGEE
SESE CECE
OTHER GRIDOTHER GRID
SESE CECE
Upload ServiceUpload ServiceUpload ServiceUpload Service
Plateforme de Calcul pour les Sciences du Vivant
Système de soumission des jobs
Retroube les informations du BDII concernant les CD (nombre de CPU, nombre de CPU libres,…)
Définit le lancement en fonction des infos du CE Initialise the voms proxy Génère les JDL Soumet les jobss en utilisant la soumission multithreadée Jusqu’à ce que tous les jobs soient done (success):
Récupère le statut des jobs en utilisant le checking multithreadé Resoumet les jobs si besoin est Réinitialise le voms proxy si besoin est Met à jour les informations sur AMGA
Plateforme de Calcul pour les Sciences du Vivant
Interactions du task manager1
1
2
2
Plateforme de Calcul pour les Sciences du Vivant
Processus de soumission de tâches
Information System(AMGA)
Tool WEB SERVICE Tool WEB SERVICE
Task Task ManagerManager
Task Task ManagerManager
Crée etgère lestâches
Storage ElementStorage Element
Computing Element
Computing Element
Prend les packages de programmes
correspondant et récupère les
données correspondantes
Prend une tâche(info sur les programmes et les paramètres)
11
33
22Prend les informations
correspondantes
44 Exécute la tâche
55Stocke les données
résultats66 Supprime la tâche
Plateforme de Calcul pour les Sciences du Vivant
Plateforme de Calcul pour les Sciences du Vivant
Exemple
• Nom du service : blast.tar.gz– ~/blast/ répertoire du nom du service– ~/blast/createTask exécutable de création de tâche– ~/blast/scripts.tar.gz scripts d’utilisation d’AMGA– ~/blast/blast.sh shell du service
• Création d’une tâche– ~/createTask –s BLAST –u <username> –c <contrainte> –a
<paramètres>– les paramètres sont séparés par :– ~/createTask –s BLAST –u reichma–c gilda –a seq.fasta:db.fasta
• Basé sur un fichier shell
Recommended