Embed Size (px)
Citation preview
LEGO – Rennes, 18 Septembre 2006
Un outil de monitoring pourUn outil de monitoring pourle déploiement dynamique de JuxMemle déploiement dynamique de JuxMem
Loïc CudennecIRISA / INRIA, PARIS project-team
Stage de M2RI de Voichita Almasan
LEGO - Rennes, 18 Septembre 2006 2
La grille de calcul Un ensemble de ressources hétérogènes interconnectées par un réseau Plusieurs domaines d’administration Echelle : 10^3 à 10^4 noeuds
Caractérisation des ressources Les noeuds
Puissance de calcul Espace de stockage
Le réseau Topologie physique Débit Latence
La grille et ses ressources
LEGO - Rennes, 18 Septembre 2006 3
Etablit une interface entre les ressources et les applications
Le système d’information Mutualise les informations sur l’état des ressources Propose une vue de la grille Met les informations à disposition de l’ordonnanceur Exemples :
Network Weather Service [UCSB] Ganglia [Berkeley/Intel]
La gestion des ressources
SE
noeud
SE
noeud
SE
noeud
Gestionnaire des ressources
Applications distribuées
LEGO - Rennes, 18 Septembre 2006 4
Dynamicité de l’infrastructure Des noeuds quittent ou rejoignent la grille Défaillances des noeuds, du réseau, des serveurs de fichiers…
Dynamicité de l’application Statiques
Utilisent le même nombre de ressources pendant l’execution Besoins prévisibles, réservation statique
Dynamiques Modification des ressources pendant l’execution Besoins non prévisibles Interactions avec les gestionnaires de ressources
Les applications distribuéesUn double niveau de dynamicité
LEGO - Rennes, 18 Septembre 2006 5
Décrire les besoins d’une application Sélectionner les ressources adéquates S’adapter aux évenements : surcharge, volatilité…
Le déploiement
grille application
Demandeinformations
Selectionressources
LancementjobsSurveillanceexecution
LEGO - Rennes, 18 Septembre 2006 6
JuxMem : application distribuée dynamique permettant le partage de données sur la grille
Support de la dynamicité de l’infrastructure Mécanismes de routage pair-à-pair (JXTA) Persistance des données en présence de fautes Travaux de Mathieu Jan et Sébastien Monnet (thèses 2003-2006)
Support de la dynamicité de l’application Objet de ce travail : moyens d’interactions avec la grille Thématique du déploiement dynamique couverte par le WP3 de
LEGO
Etude de cas : JuxMem
LEGO - Rennes, 18 Septembre 2006 7
Un service de partage de données pour la grille Développé depuis 2003 par PARIS/IRISA Permet l’accès transparent aux données partagées Offre le support pour la tolérance aux fautes et la
cohérence des données S’inspire des systèmes à MVP et PàP
Plate-forme d’expérimentation de protocoles de cohérence tolérants aux fautes
Repose sur la plate-forme pair-à-pair JXTA (Sun) pour la découverte des ressources
http://juxmem.gforge.inria.fr
JuxMemJuxtaposed Memory
LEGO - Rennes, 18 Septembre 2006 8
JuxMemService de partage de données pour la grille
Modèle hiérarchique (fédération de grappes)
Juxmem group
Cluster group A
Cluster group B
Cluster group C
Data group
LEGO - Rennes, 18 Septembre 2006 9
Les managers Organisent la topologie de JuxMem
Les providers Offrent de l’espace de stockage physique
Les clients Demandent l’allocation de données dans le service Effectuent des requêtes de lecture/écriture
JuxMemPrésentation des rôles
manager
provider
clientRequêted’allocation
LEGO - Rennes, 18 Septembre 2006 10
Allocation sur 1 provider, dans le même cluster
ScénariosUn scénario statique
manager
provider
clientRequêted’allocation
provider
LEGO - Rennes, 18 Septembre 2006 11
Allocation sur 3 providers, dans 1 cluster (tolérance aux fautes des noeuds)
ScénariosUn premier scénario dynamique
manager
provider
clientRequêted’allocation
provider provider
déploiement
LEGO - Rennes, 18 Septembre 2006 12
Allocation sur 2*2 providers, dans 2 clusters (tolérance aux fautes des clusters)
ScénariosUn deuxième scénario dynamique
manager clientRequêted’allocation
provider provider
déploiement
déploiementmanager
provider provider
LEGO - Rennes, 18 Septembre 2006 13
Rôle : prendre en charge l’aspect dynamique de JuxMem
Interface entre JuxMem et les gestionnaires de ressources
Reçoit les requêtes de besoin d’extension de JuxMem
Crée et gère les réservations de ressources de l’utilisateur
Commande le déploiement de nouveaux rôles JuxMem (provider, manager)
Proposition : un outil de monitoring
Application
JuxMem
Moniteur
Gestionairesressources
LEGO - Rennes, 18 Septembre 2006 14
Proposition : un outil de monitoring
Interactions JuxMem
Couche de coordination
DéploiementADAGE
RéservationOAR
managerclient (1) Requêted’allocation
provider
provider
(2) Recherchede providers
moniteur
(3) Stockage(4) Requêted’extension
(6) Déploiement
(5) Interactionsinfrastructure
LEGO - Rennes, 18 Septembre 2006 15
Implémentation d’un prototype Programmes client et serveur
indépendants de JuxMem Communications directes entre client et
serveur Modules d’intéraction avec OAR et
ADAGE 4000 lignes de code C
Mise en oeuvre du moniteur
ServeurMoniteur
CProgramme
Client C
manager
provider
déploiement
Requêted’allocation
LEGO - Rennes, 18 Septembre 2006 16
Plate-forme de test : Grid’5000 4 des 9 sites : Bordeaux, Grenoble, Lyon et Rennes
Outil de réservation : OAR [ID-IMAG, Grenoble] Bases de données locales à chaque cluster http://oar.imag.fr
Outil de déploiement : ADAGE [PARIS, IRISA] Déploiement automatique d’applications distribuées à partir
d’une description générique http://adage.gforge.inria.fr
Evaluation du moniteur
LEGO - Rennes, 18 Septembre 2006 17
En violet : temps de réponse du moniteur En vert : temps de réponse d’OAR
Evaluation du moniteur1 cluster, 1 nouveau noeud toutes les 15 secondes
M
P P P
LEGO - Rennes, 18 Septembre 2006 18
En violet : temps de réponse du moniteur
Evaluation du moniteur1 cluster (Manager+Provider) toutes les 15 secondes
M
P
M
P
M
P
LEGO - Rennes, 18 Septembre 2006 19
En violet : temps de réponse du moniteur
Evaluation du moniteurx cluster (Manager+Provider) par étape
M
P
M
P
M
P
M
P
M
P
M
P
LEGO - Rennes, 18 Septembre 2006 20
Le moniteur est fonctionnel Mise en place d’une interface pour exprimer le besoin de l’application Interactions avec les gestionnaires de réservation et déploiement des
ressources
Le moniteur est relativement performant Temps de réponse moyen du moniteur < 1s ADAGE : 1s, OAR : 12s
Perspectives Intégrer le moniteur comme un rôle JuxMem basé sur un pair JXTA Distribuer le moniteur pour le rendre tolérant aux fautes Partager le moniteur avec d’autres applications (Zorilla [VU/Amsterdam])
Conclusion
