Plateforme de Calcul pour les Sciences du Vivant Le Système dInformation de gLite

Plateforme de Calcul pour les Sciences du Vivant

Le Système d’Informationde gLite


Système d’information

• Qu’est-ce que c’est?– Un système pour collecter des informations sur l’état des

ressources

• Pourquoi?– Pour explorer les ressources de la grille et leur nature– Avoir des données utiles pour gérer aux mieux les charges sur

les ressources– Vérifier le bon fonctionnement des ressources

• Comment?– En surveillant l’état des ressources localement et en le publiant

dans le système d’information– En adoptant un modèle de données commun pour tous les

composants qui veulent accéder à ces informations– En utilisant différentes approches qui seront détaillées dans les

prochains transparents


Design des Systèmes d’informations

• Concernant les mesures– Elles doivent être adaptées aux objectifs des utilisateurs qui y accèdent– Elles doivent être suffisamment précises

• Concernant la récupération des informations– Comment et quand les données doivent-elles être publiées?– Où les données doivent-elles être stockées?– Combien de temps les données doivent-elles être concervées?

• Requêtes sur le système d’information– Où les requêtes doivent-elles être envoyées?– Quels syntaxes et protocoles doivent être utilisés?– Quel est le modèle de données qui décrit les ressources?

• Sécurité– Qui a le droit de faire des requêtes et quels types de requêtes?– Gestion des droits et des accès


Les SI choisis

• Le BDII (Berkley DB Information Index)– A été choisi comme système d’information pour l’intergiciel LCG– C’est une évolution du Globus Monitoring and Discovery Service

(MDS)– LCG-2 utilise le BDII comme système d’information.– Il est basé sur des serveurs LDAP (Lightweight Directory Access

Protocol)

• Le Relational Grid Monitoring Architecture (R-GMA)– C’est une implémentation du Grid Monitoring Architecture (GMA)

standardisée par le Global Grid Forum (GGF)– C’est une implémentation relationnelle du GMA– Il est fortement orienté Web Services– Sera adopté lors des prochaines versions de l’intergiciel gLite


Lcg InformationSystem


LCG Information System

• LCG utilises un ensemble de solutions– Globus MDS

Au plus bas niveau du système d’information Pour explorer et monitorer les ressources et publier les informations Utilise Grid Information Security (GSI) Système de cache

– BDII Au plus haut niveau du système

• Parce que MDS a des problèmes de passage à l’échelle Utilisé par les Resource Broker pour le matchmaking Peut être configuré pour chaque VO Effectue des requêtes de façon périodique (2 minutes)

• Un système hiérarchisé– L’information est collecté au niveau des feuilles et transite jusqu’à la

racine– Les clients peuvent effectuer des requêtes à chaque niveau– Plus le niveau où les requêtes sont effectuées est élevé, plus les

données sont vielles


Récupération des informations

• Récupérations des informations à différents niveaux– Plus bas niveau: Grid Resource Information Server (GRIS)

Récupère les informations d’une ressource donnée Un GRIS sur chaque ressource Un ensemble de scripts et de capteurs qui extraient les informations

utiles

– Niveau moyen: Grid Index Information Server (GIIS) Récupère les informations pour un site donné Un GIIS pour chaque site

– Plus haut niveau: BDII Récupère les informations pour une VO donnée Un BDII pour chaque VO

• Comment récupérer les données– Pull model (Les niveaux supérieurs effectuent des requête sur

les niveaux inférieurs de façon périodique)– Modèle de requêtes LDAP


Globus MDS (Le passé)

• Globus Meta Directory Server (MDS)– Système hiérarchique– Basé sur des serveurs LDAP– Les GRIS sont les feuilles de l’arbre– Les GIISes sont les nœuds intermédiaires– Les utilisateurs peuvent faire des requêtes à

chaque niveau– Plus l’information provient d’un nœud élevé,

plus l’information est vieille

• Grid Resource Information Service (GRIS)– Un pour chaque ressource (CE ou SE)– Récupère les informations pour cette

ressources– Donne des informations dynamiques ou

statiques

• Grid Index Information Service (GIIS)– Un pour chaque site– Récupère les informations des GRIS– Met les informations en cache– Effectue des requêtes sur les GRIS quand

necessaire

GIISCERN root

National GIIS

National GIIS

GIIS

GIIS

GRISes

GIIS

GRISes

GIIS

GRISes

Globus Monitoring

and Discovery Service


BDII (le présent)

• The Berkley Database Information Index (BDII)– Développé dans le cadre du projet LCG– Corrige les problème d’instabilité du MDS qui

apparaissent quand le nombre de sites est trop important

– Est placé au dessus des GIIS– Un pour chaque VO– Système centralisé– Trois niveau de hiérarchie– Utilisé par le Workload Management System

• Fonctionnement– Un GRIS pour chaque ressource– Un GIIS pour chaque site récupérant les

informations des GRIS– Un BDII par VO récupérant les informations des

GIIS– 2 serveurs LDAP, un en lecture et un en écriture– Toutes les 2 minutes un script récupère les

informations des GIIS– La liste des GIIS devant être accédés est placée

dans un fichier de configuration du BDII

GIIS

GRISes

GIIS

GRISes

GIIS

GRISes

BDII


R-GMA (le futur)

• The Relational Grid Monitoring Architecture (R-GMA)– Implémentation relationnelle du GMA– Utilise un modèle de base de données

avec des relations entre les tables– Utilise une base de données virtuelle– L’utilisateur fait des requête comme s’il

utilisait une base de données (SQL)

• Les informations– Produite au niveau des sites – Toujours à jour– Peuvent être collectées par une entité

(producteur secondaire) pour être accédées plus rapidement (cache)

Virtualdatabase

R-GMAfront end

R-GMAfront end

R-GMAfront end

R-GMAclient

R-GMAclient

R-GMAclient


GLUE Schema


GLUE Schema

• Grid Laboratory Uniform Environment (GLUE) Schema– C’est un modèle de données qui décrit les ressources de grille– C’est le résultat de la collaboration des projets EU-DataTAG et

iVDGL– EGEE, NorduGrid, LCG et Grid3/OSG ont participé à la

définition de ce schéma

• Schéma XML– GLUE Schema est en train d’être mis en place dans une

représentation XML– http://infnforge.cnaf.infn.it/glueinfomodel/Spec/V12/R1


Site Element

Site

A collection of resources owned by the same organization and managed by the same administrator . Contains info on the location, the administrator , the web homepage and so on .

Service

The description of a deployed Web Service. Contains the URI endpoint of the WS, the WSDL document , the list owners and so on.

StorageElement Cluster

1 1 1

*

*

*

une collection de ressources appartenant à la même organisation et dirigées par le même admin. contient les infos sur les machines, l’admin, la page web de présentation,…

description d’un WS déployé. contient l’adresse URL du WS, le WSDL, la liste des responsables, ….


Cluster Element

Cluster

A set of heterogeneous resources . Contains information on shared temporary directories .

SubCluster

A set of similar resources. Contains the number of Logical and Physical CPUs.

1

*

Host

Contains detailed static information of the type of hosts and related installed software. Data deal with the type of CPU architecture, memory sizes, the operating system installed as well as the type of network adapter . Furthermore it contains some information on performance mesures obtained by executing well known benchmark softwares.

Location

Information on installed softwares , their path and version

1

*

ComputingElement

1

*

ensemble de ressources hétérogènes.contient des informations sur des répertoires partagés.

ensemble de ressources similaires. contient un nombre logique et physique de CPUs.

contient une liste détaillée des hôtes ainsi que des softs installés Les informations sont fonctions du type d’architecture, de la taille mémoire, des OS installés, et du réseau.

contient des infos sur la mesure de performance obtenue par l’exécution de softs étalons.

information sur les softs installés, ainsi que leur version et le chemin d’accès


Computing Element

ComputingElement

Abstraction of a queue of jobs

Policy

Contains info on configuration policies. MaxWallClockTime, MaxRunningJobs , MaxCPUTime . . .

AccessControlPolicyBase

Set of rules defining access control policy rules

Info

Static information on the resource that deal with the type of Loca scheduler adopted , the default Storage Element and so on .

VOview

View for a given Virtual Organization . Contains authorization details for VO members and the amount of available resources .

State

Dynamic information on the status of this queue such as the number of free CPUs and the Estimated Traversal Time (ETT)

Job

Information on jobs in this queue , its owner, its local and global ID and its status

*

*

informations relatives au scheduler adopté, le SE par défaut, …

vue d’une Virtual Organization donnée. contient les autorisations détaillées pour les membres de la VO et le nb de ressources disponibles.

information dynamique sur le statut de la queue vu comme un nombre de CPUs libre et le temps d’attente estimé

Abstraction d’une queue de jobs

contient les infos de configuration. MaxWallClockTime, MaxRunningJobs, MaxCPUTime…

ensemble de règles définissant les contrôles d’accès

Information sur les jobs dans cette queue, leur responsable, son ID local, son ID global, son statut


lcg-info


lcginfo• -h/--help: pour voir l’aide

• --list-attrs: pour afficher la liste des attributs existants

• --list-ce: liste les CE qui satisfont la requête.

• --list-se: liste les SE qui satisfont la requête

• --bdii: permet de spécifier le BDII à utiliser <hostname>:<port>. Utilise la valeur de LCG_GFAL_INFOSYS si rien n’est spécifié.

• --vo: Limite les résultats aux sites où la VO est autorisée

To change: View -> Header and Footer 17


lcg-infosites


lcginfosites• -h/--help: aide

• --vo: nom de la VO (obligatoire)

• --is: Permet de spécifier un BDII à utiliser

• Quelques options:

– se: nom des SE accessibles pour la VO

– ce: informations sur le nombre de CPU, de jobs en train de tourner…

– wms: nom des wms disponibles

– sitenames: noms de sites LCG

– tag: Noms des tags relatifs aux softwares installés sur les sites

– closeSE: Nom des CE où l’utilisateur peut envoyer des jobs et leur SE correspondants

– voview: Nom des CE où l’utilisateur peut envoyer des jobs et leur SE correspondants ainsi que des informations sur les CPU

To change: View -> Header and Footer 19


References

• GLITE 3 User Guide– https://edms.cern.ch/file/722398/gLite-3-UserGuide.pdf

• GLUE Schema– http://infnforge.cnaf.infn.it/glueinfomodel/

• EGEE Library– http://egee.lib.ed.ac.uk/

Documents

Plateforme de Calcul pour les Sciences du Vivant Le Système dInformation de gLite