View
104
Download
0
Category
Preview:
Citation preview
VIP et GATE-Lab : retour d’expérience
JRES, Montpellier 2013
Sorina Pop, Rafael Silva, Tristan GlatardUniversité de Lyon, CREATIS; CNRS UMR5220; Inserm U1044; INSA-Lyon; Université Lyon 1,
France
JRES, Montpellier 2013
Virtual Imaging Platform (VIP)
● Plate-forme web intégrant des applications● Simulation médicale: CT, IRM, TEP, ultrason, radiothérapie● Analyse d’images
● Connectée à EGI (European Grid Infrastructure)● Calcul (+100 clusters, 25,000 cœurs)● Stockage (~ 4 PB)
● Utilisée largement● 453 utilisateurs enregistrés de 50 pays● 499 années CPU consommées en 2012● Le certificat robot le plus utilisé dans EGI en 2012
Simulated prostate radiotherapy treatment plan (L. Grevillot and D. Sarrut)
CT and PET whole-body simulations (C. Lartizien, J. Tabary)
in-vivo simulated
Simulated cardiac DWI (L. Wang, Y. Zhu, I. Magnin)
T. Glatard, C. Lartizien, B. Gibaud, R. Ferreira da Silva, G. Forestier, F. Cervenansky, et al. "A Virtual Imaging Platform for multi-modality medical image simulation",IEEE Transactions on Medical Imaging, vol. 32, no. 1, pp. 110-118, 2013
Echocardiographies – parasternal short axis view (O. Bernard and M. Alessandrini)
2/14
JRES, Montpellier 2013
Un portail web pour l’exécution des applications d’imagerie médicale sur grilles de calcul
Launch applications
Transfer files
http://vip.creatis.insa-lyon.fr
Virtual Imaging Platform (VIP)
3/14
JRES, Montpellier 2013
GATE-Lab
• Applet Java intégrée dans VIPDédiée aux simulations GATE
• FonctionnalitésDétection des entrées à partir du fichier principal de configuration de GATE
Upload automatique des entrées
Choix du nombre de tâches parallèles en fonction du temps CPU estimé
4/14
JRES, Montpellier 2013
User
Web portal
0. Login1. Send input data
Storagesystem
Workflow engine(Moteur + GASW)
3. Launch workflow
Pilot Manager(DIRAC)
4. Generate andsubmit task
5. Submit and 6. Schedule pilot jobs
2. Transferinput files
Computing sites
7. Get task8. Get files9. Execute10. Upload results
Architecture VIP
5/14
JRES, Montpellier 2013
Utilisation des tâches pilotes
• Principe des tâches pilotesRessources occupées par les pilotes
Tâches ordonnancées sur les pilotes
• Avantages principauxTemps d’attente réduit
Impact réduit des erreurs
• VIP utilise l’instance France Grilles de DiracHébergée au Centre de Calcul de l’IN2P3 à Lyon
Administrée à tour de rôle par une group de personnes représentant les principales communautés utilisatrices
Voir aussi la contribution 66 des JRES 2013 : « France Grilles, des opérations aux utilisateurs », Geneviève ROMIER, Hélène CORDIER, Gilles MATHIEU
6/14
JRES, Montpellier 2013
Défis
Latence Re-soumission des tâches échouées
Hétérogénéité (durée d’exécution très variable pour un même calcul)
Jobs
7/14
JRES, Montpellier 2013
• Simulations Monte-Carlo– Simuler P évènements aléatoires– Avec n jobs– Ex: estimation de π
• Algorithmes d’équilibrage de charge– Statique
– DynamiqueWorker: While “stop” not received:
Simulate 1 event End while
Master: While e ≠ E e ←# simulated events End while Stop the workers
Worker: Simuler E/n évènements
http://en.wikipedia.org/wiki/Monte_Carlo_method
Equilibrage de charge dynamique
8/14
JRES, Montpellier 2013
Static load balancing + pilot jobs
Dynamic load balancing + pilot jobs
S. Camarasu-Pop, T. Glatard, J. T. Moscicki, H. Benoit-Cattin, and D. Sarrut, "Dynamic partitioning of GATE Monte-Carlo simulations on EGEE“ Journal of Grid Computing, vol. 8, no. 2, pp. 241-259, mar, 2010
Equilibrage de charge dynamique : résultats
9/14
• Expériences réalisées avec GATE sur EGI – 450000 événements, 75 tâches, 3 répétitions pour chaque configuration
JRES, Montpellier 2013
● Optimalité de l’équilibrage dynamique
● La fusion de résultats partiels reste problématique● Utilisations de plusieurs tâches de fusion● Sauvegarde périodique de résultats + fusion incrémentale
Statique Dynamique
S. Camarasu-Pop, T. Glatard, R. Ferreira da Silva, P. Gueth, D. Sarrut, and H. Benoit-Cattin"Monte-Carlo Simulation on Heterogeneous Distributed Systems: a Computing Framework with Parallel Merging and Checkpointing Strategies"Future Generation Computer Systems, vol. 29, no. 3, pp. 728--738, 03/2013
Zoom sur les simulations Monte-Carlo
10/14
JRES, Montpellier 2013
Réplication automatique de tâches
• Répliquer des tâches en retard• Faire attention au gaspillage de ressources• Algorithme
Si La tâche est en retard alors Si Tous les réplicas de la tâche sont en retard alors Si Aucun réplica est en attente alors Répliquer la tâche Fin si Fin siFin siSi Un réplica de la tâche est en retard alors Annuler le réplicaFin si
11/14
JRES, Montpellier 2013
Limitations
• Exécutions très courtes (< 20 min CPU) • Sont pénalisées par les overheads
• Exécutions très longues (> une année CPU) • Ont besoin d’intervention pour finir
• Support pour les contraintes des applications• RAM > 2 GB• Espace disque > 2 GB
• Transfert de gros fichiers• L’intégration de nouvelles applications demande l’intervention des
experts• Développement de workflows
12/14
JRES, Montpellier 2013
Conclusion
• VIPUne des plates-formes les plus utilisées dans EGI
Les utilisateurs peuvent transférer des fichiers et lancer des applications
Les sites de calcul et l’emplacement de stockage des fichiers sont choisis automatiquement
Les applications sont externes aux portail
• Effort demandéAdministration système
Support logiciel
Support utilisateurs
Développement logiciel
13/14
JRES, Montpellier 2013
Merci pour votre attention !Questions ?
14/14
Recommended