30 Janvier 2002 Réunion ACI GRID CGP2P1 Calcul Global et Pair à Pair Projet Global 30 Janvier 2002 Ecole des mines de Paris

30 Janvier 2002 Réunion ACI GRID CGP2P 1

Calcul Global et Pair à PairProjet Global

30 Janvier 2002

Ecole des mines de Paris


Sommaire

• Le projet CGP2P F. Cappello 50m

• Archi serveur O. Richard 10m

• Sous projet 1 S. Petiton 10m

• Sous projet 2 F. Cappello 10m

• Sous projet 3 G. Utard 10m

• Sous projet 4 C. Germain 10m

• Sous projet 5 J. Beauquier 10m

• Démo A. Djilali 10m


Le projet CGP2P

• Présentation des participants

• Présentation des objectifs

• Organisation / administration

– Plate-formes d’expérimentation

– Première journée CGP2P

• Budget/financement

• Contacts industriels

• Premier bilan


Liste des participants (26 pers, 7 labs)Guillaume Alléon EADSJoffroy Beauquier LRIJacques Briat IDFranck Cappello LRIHenri Casanova SDSCChristophe Cérin LARIABernadette Charron Bost LIXAlain Cordier LALCécile Germain LRIMichel Jouvin LALOleg Lodygensky LAL/LRIVincent Néri LRIFranck Petit LARIASerge Petiton LIFL/ASCICyril Randriamo LARIAOlivier Richard IDBrigitte Rozoy LRIGil Utard LIPVincent Villain LARIA

George Bosilca LRIAdberhamanne Djilali LRIGilles Fedak LRIOleg Lodygensky LAL/LRIAton Selikov LRIMarta Gonzalez LIFL/ASCIThomas Hérauet LRI

Liste des doctorants associés

Laboratoires :ASCI,IMAG, IDLAL,LARIA,LIFL,LRI,Polytechnique,


Diversité/Richesse thématiquedes participants au projet

• Environnements d’exécution (Lri)• Protocoles de communication hautes performances (Lri/Imag)• Environnements de programmation/interface (LIFL/ASCI)• Systèmes de GRID (Globus et DataGrid) (LAL)• Ordonnancement (SDSC/UCSD)• Sécurité (Lri/Imag)• Ressource stockage dans les applications parallèles (Laria)• Recherche/tri/fouille de données (Laria)• Utilisateurs (LAL, EADS)• Théorie des systèmes distribués (Lri)


Le projet CGP2P








• Premier bilan


ACI GRID Globalisation des Ressources Informatiques et des Données

CERN Data Grid EU middleware for the data-intensive applications Covise DE Collaborative, Visualization and Simulation EnvironmentDAS NL Wide-area distributed cluster, parallel and dist. computing EROPPA EU Software to design, implement, and experiments with

remote/distributed access to 3D graphic applications Globe EU Study and implement a unifying paradigm for the large-

scale wide area distributed shared objectsJaCo3 EU Java and CORBA Collaborative Env. for Coupled Simulations..JaWs GR JaWS is an economy-based computing model MetaMPI DE MetaMPI supports the coupling of heterogeneous MPI METODIS DE Metacomputing Tools for Distributed Systems - A

metacomputing MPI for TCP/IP and ATM MOL DE Metacomputer OnLine is a toolbox for the coordinated use of

WAN/LAN connected systems. Poznan Metacom.

PL Development of tools and methods for metacomputing

WAMM IT WAMM (Wide Area Metacomputer Manager) is a graphical tool, built on top of PVM.

UNICORE DE The UNiform Interface to Computer Resources allows users to submit jobs to remote high perf. Comp. resources

DesignDrug AU Molecular Modelling on Peer-to-Peer Grid

DISCWorld AU An infrastructure for service-based metacomputing(GridSim) AU A Java-based Toolkit for Modeling and Simulation

of World Wide Grids.Nimrod/G AU A global scheduler for parametric computingNINF JP PSE

Apples USAApplication-Level Scheduling

Bricks USA Performance evaluation for analysis and comparison of various scheduling

DOCT USA The Distributed Object Computation Testbed (DOCT) is for handling complex documents

Entropia.com USA Desktop software that should provide universal and pervasive source of computing power

Folding@Home

USAUnderstanding how proteins self-assemble.

GLOBUS USABasic software infra. for computations that integrate geo. distributed computational and information resources

HARNESS USA Based on PVM. Parallel plug-ins, Peer-to-peer distributed control, and multiple virtual machines

HTC USA Develop,deploy, and evaluate mechanisms and policies that support high throughput computing

InfoSpheres USA The Caltech Infospheres Project researches compositional systems,

Javelin USAJavelin: Internet-Based Parallel Computing Using Java

LEGION USA Object-based metasystem. Transparent scheduling, data management, fault tolerance, site autonomy,

NASA IPG USATestbed that provides access to a grid

NETSOLVE USAPSE. RPC based client/agent/server system for remote access both hardware and software components

PARDIS USABuilding PARallel DIStributed applications from CORBA to implement application-level interaction

WebFlow USAWebFlow can be regarded as a high level, visual user interface and job broker for Globus

WebSubmit USA A Web-based Interface to High-Performance Computing Resources

Connecter et fédérer des ressources de calcul/stockage/instruments géographiquement distribuéesGlobalisation des RessourcesInformatiques et des Données


Différents types de GRID

3 types de grands systèmes distribués

Les Grilles de calcul ou « GRID »

Les systèmes de Calcul Global ou

« Mega Computing » ou « Internet Computing »

Les systèmes Pair à Pair

Les systèmes distribués à grande échelle


Calcul GlobalGlobal Computing

• Modèle Client-Serveur inversé : 1 client et n serveurs• L’application exécutée sur les serveurs est fournie par le client• Type de services : principalement calcul distribué (SETI@home)

PC serveur

Requête

PC serveur

Résultat

Client : Lanceur de tâches,ordonnanceur + collect. de résultats

Requête Résultat

InternetOu réseau propriétaire

Application(s)Application(s)

Définition Pragmatique :Calcul Maître-esclave

Par vol de cycles sur Internet


• Applications massivement distribuées– SETI@Home, distributed.net, GIMP– Plus de 3 Millions d’utilisateurs, 30 TFLOPS

• Projets de Recherche (plate-formes)– Javelin, Bayanihan, JET, Charlotte (fondés sur Java)– XtremWeb (LRI), AppLeS (UCSD)

• Projets en cours– Entropia, Parabon, Process Tree, United Devices, Platform Active

Cluster– Folding@Home, Genome@Home, Xpulsar@Home,– Folderol, Gamma Flux, Exodus, Peer review– Site Web de K. Pearson :

http://www.nyx.net/~kpearson/distrib.html

Calcul GlobalGlobal Computing


Pas de consensus autour d’une définition.Un système dans lequel toutes les ressources peuvent agir comme des clients, des serveurs et/ou maintiennent le système lui même

Pair à Pair(entre pair)

• En principe : X clients, Y serveurs, X=Y

PC client/serveur

Requête

PC client/serveur

Résultat

PC client/serveur

Internetou réseau propriétaire

Répertoirede services

Répertoirede services

Gnutella Servent: SERveur et cliENT

Systèmes Pair à Pair

Mode d’interaction inter-ressource :Toutes les ressources sont à la fois client et serveur

Mode d’organisation système:Système sans serveur centralisé. Système auto-organisé (découverte de ressources,

•Le service exécuté par le serveur est proposé par le serveur

• Type de services : partage de documents, calcul délocalisé

XtremWeb

Mode de communication :Après la phase de découverte (mise en relation) les nœuds communiquent directement


• Applications massivement distribuées– Napster, Gnutella, Freenet, FastTrack, etc.– Nombre d’utilisateurs potentiel ~x Millions, espace de stockage de l’ordre du

TeraOctet (beaucoup de redondance)

• Projets de recherche (plate-formes)– Globe (Tann.), Cx (Javalin), OceanStore (USA), XtremWeb (LRI), AppLeS

(UCSD),

• Projets actuels (définition de protocoles)– Cosm, Wos, peer2peer.org, JXTA (sun), PtPTL (intel),

• Conférence : O’Reilly,• Livre

– Peer to Peer, «Harnessing the Power of Disruptive Technologies »

Andy Oram, O’Reilly, Intel ?

Pair à Pair(entre pair)


Objectif du projet

Fusion des concepts de Calcul Global et de système Pair à Pair

Approche : augmenter les fonctionnalité des systèmes de calcul global• stockage• communications entre les participants• possibilité à n’importe quel participants de soumettre des requêtes

Résultats visés :Trouver des réponses aux problèmes scientifiques posésProduire des logiciels interopérants qui assemblés forment une plate-forme CGP2P


Projet CGP2P : Une plate-forme pour le Calcul Global Pair à Pair

Un environnement de recherche offrant une image système unique à partir de l’agrégation de ressources faiblement couplées

System CGP2P

Mon PCrequête

résultat

un PCaccepte

fournit

PC

PCPC

PC

PC

PC

PC PC

PC

Un autre PC

accepte

fournit

communicationspotentielles pour les applicationsparallèles

Les requêtes correspondent à des des demandes de calcul et/ou à desdemandes de stockage


Problèmes scientifiques posés

Ordre alphabétique : • Architecture générale du système distribué• Interface utilisateur / aide à la décision (Sous projet I)• Sécurité (Sous projet II)• Stockage/Fouille (Sous projet III)• Communications inter-nœuds (Sous projet IV)•Ordonnancement (Sous projet IV)• Vérification théorique des protocoles (Sous projet V)• Interopérabilité avec les GRID (Sous projet V)• Validation sur des applications réelles

Etudié par tous les membres du projet

Etudié par un sous ensemble des membres du projet


Point de départ : XtremWebUne plate-forme fonctionnelle

PC Client/Worker

Internet ou LAN

PC ServeurCalcul Global(centralisé)

PC Worker

PC ServeurPair à Pair(centralisé)

PC Client/worker

PC Client/worker

RedHat 7.1 + mysql + apache+php, RPM (instal. en 5 sec)

serveur + worker + demo Pov (sur une seule machine)


Hôtes :Capture d’écran du prototype fait au LRI :

XtremWeb I


XtremWeb I

Capture d’écran du prototype :Page résultats client


Nombre d’heures de calcul par jour

(combien de ressources participent)

Nombre de tâches terminées/stoppées

(état des ressources, efficacité de

l’ordonnancement)

Capture d’écran du prototype :Statistiques pour l’administration :

• Activité des ressources• Performance générale du système

XtremWeb I


PC Client/Worker

Internet ou LAN

PC Worker

Serveur de tâches

PC Client/worker

Communications tolérantes aux pannes

Etendre XtremWeb pour une large disversité de services Architecture multi-services

Collecteur de résultats

Serveur de stockage

P2P? P2P? P2P?P2P?

Architecture Générale CGP2P (1/4) :

Une architecture multi-services


Architecture générale CGP2P (2/4) : Des serveurs centralisés ou totalement distributés

Centralized (or hierarchical) Distributed

Distributed System Infrastructure

Internet

Client

Coordinationserver

node(Server)

Internet

Clientnode

Node

Node

Centrally managed system:Classical client serverarchitecture

Self organizing system:-Resource discovery-Message routing-Query broadcast-Periodic relay research/checking-Role distribution

Coordination backbone


Architecture générale CGP2P (3/4) : Exemples d’architecture distribuée pour les services

Gnutella,

peer peer peer peer peer

Central server

Registration, LoginSupernode addressesdirectory

Catalog, (local search hub)Supernode election

Fasttrack

peer

peer

peer

peer

GET file

Searc

h qu

ery

Search query

Search queryPeer ID

Peer I

D

No central serverResource discovery by broadcasting

Clip2, BearShare, Super peer election

peer

Super peer

peer

peer

GET file

Searc

h qu

ery

Search query

Search queryPeer ID

Peer I

D

peer

peer


Architecture générale CGP2P (4/4) : Dans le cas totalement distribué

Nœuds physiques :

Entités logiques : Client Serveur Worker

Client

Worker Serveur

Client

Worker

Serveur

Worker

Serveur

Client

ClientWorker


Le projet CGP2P








• Premier bilan


Couche réseauTCP/UDP - IP

Interface GRID (Globus) (10)

Protocole (4)

Comm. inter-ressource (3)

Application

Ordonnancement (5)

Interface utilisateurAide à la décision (7)

Certification de résultats (8)

Fouille/opération données (9)

Couchesservice

Application

Stockage (2)

Sandboxing (1)

Couchessystème

Vérification théorique (6)

I

II

IV

V

III

Décomposition en sous-projets

ArchitectureGénérale


Organisation du projet

Rôle du coordinateur : aider à la collaboration + gérerla progression du projet + gestion du budget + responsable devant la direction de l’ACI

Responsables de tâches :Architecture Générale les responsables + Olivier Richardsous-projet I Serge Petitonsous-projet II Franck Cappellosous-projet III Gil Utardsous-projet IV Cécile Germain, Franck Cappellosous-projet V Joffroy Beauquier


Planning « prévisionnel »

t0 t0+6 t0+12 t0+18 t0+24 t0+30

Sous-projet I

t0+36

Sous-projets

Intégration,Tests et

Validationsur

Applications+ Poursuite des

actions de recherchedans les

sous-projets

Sous-projet II

Sous-projet III

Sous-projet IV

Sous-projet V

ProjetsExistants

(XW)

CGP2P

centralisée distribuéeArchi. Générale


Interactions entre sous-tâches

Interface GRID 1

Interface GRID 2

Vérif. théo tolé. défail.

Vérif. théo protocoles.

Communications indirectes

Communication directes

Ordon. sans com.

Ordon. avec Com.

Services

Anonymat

Fouille de données

Séc. par confinement

Iso. logicielle de fautes

Certification système

Certification application

Intégration SPIN XtremWeb

Langage de tâches

Adaptation et tests d’applications

Aide à la décision

Stock. dans XW


Relation avec nos collègues étrangers

• Henri Casanova• Ian Foster • Mitsuhisa Sato

Visites / échanges de chercheurs :

Sips et Epema étaient au LRI le 8 et 9 Novembre.M. Sato au LRI en Juillet 2002 (1 mois)H. Casanova au LRI fin Mars 2002H. Casanova «peut être» au LRI en Août 2002 (1 sem)

faire venir* des étrangers pour les faire participer à nos réunions plénières (1 talk), * lorsqu’ils sont de passage en France ou en Europe


Coordination du projet

• Réunion plénières en alternance Paris – Province• Périodicité des réunions plénières : 4 mois• Réunions de travail entre temps

• Site web : www.lri.fr/~fci/CGP2P.html• www.cgp2p.net

• Un rapport d’avancement après chaque réunion plénière• Copies des transparents après chaque réunion plénière


Le projet CGP2P








• Premier bilan


Organisation scientifique

Beaucoup de questions:

Communications, architecture du système, certification de résultats, ordonnancement, etc.

There is a need for a tool set to explore scientifically the issues of Global Computing and P2P Computing systems

We are building a TestBed (various places in France + SDSC)

The XW client can setup a platform and run experiments

from a single Java program. We are building a Traces collector for resources activity/

performance (XW-Trace) Traces will be stored in a database (XW-Climate history) We are building an Emulator (XW-emulator) to run experiments

in a reproducible way.


Le projet CGP2P




– Plate-forme d’expérimentation




• Premier bilan


La première réunion (23 Nov. 2001)


• Présentation des objectifs et des moyens


• Réponses aux questions immédiates

• Premières discussions entre groupes


La matinée :• Présentation des équipes (thèmes de recherche, effectif, degré de participation, etc.) 10h00

10h45 : présentation du projet : (et des aspects financiers), F. Cappello 10h45 11h00 : équipe IMAG, O. Richard 11h00 11h15 : équipe LRI Clusters et Grilles, F. Cappello 11h15 11h30 : break 11h30 11h45 : équipe LRI parallélisme / LIX, Brigitte Rozoy11h45 12h00 : équipe ASCI/LIFL, S. Petiton 12h00 12h15 : équipe LARIA/ENS Lyon, G. Utard 12h00 12h30 : équipe LAL, Christian Helft

Déjeuner : • Repas au CNRS de Gif Sur Yvette pris en charge par l'ACI 20 personnes prévues, 5

voitures : fin 13h30-14h00 L'après midi : • Première présentation des sous-projets (problème aborde, piste, relation avec les autres sous-

projet, etc.) 14h30 14h45 : équipe IMAG, O. Richard 14h50 15h10 : équipe LRI Clusters et Grilles, C. Germain 15h10 15h30 : équipe LRI parallélisme / LIX, F. Magniette 15h30 15h50 : équipe ASCI/LIFL, S. Petiton 15h50 16h00 : break 16h55 16h15 : équipe LARIA/ENS Lyon, G. Utard16h15 16h35 : équipe LAL, ?16h40 17h10 : discussions (pour le démarrage effectif - qui travaille avec qui) 17h10 17h30 : établissement d'une fréquence de réunion et à l‘établissement


La première réunion (23 Nov. 2001)

Présentations

Discussionsdémos

Déjeuner


Prochaines réunions

Le 27 Mars à Paris, pour coïncider temporellement de la réunion de l’Orap du 28 Mars où 2 membres du projets CGP2P présenteront leur travaux.

Ordre du jour :1) rappel des objectifs du projet et aspects administratifs2) progression des travaux dans chaque sous-projetdémonstration de premiers prototypes (version 0.00 Alpha)3) identification des problèmes rencontrer et discussion avecles autres groupes pour trouver des solutions


Le projet CGP2P








• Premier bilan


Budget

Budget total sur 3 ans : 2 MFs, 304.878 E

matériel fonction. dont postdoc Total 3 ansProjet I 2,290 € 80,190 € 38,110 € 82,480 €Projet II 4,570 € 17,680 € 0,000 € 22,250 €Projet III 5,340 € 23,020 € 0,000 € 28,360 €Projet IV 3,078 € 128,000 € 76,220 € 131,078 €Projet V 6,100 € 34,610 € 0,000 € 40,710 €Totaux 21,378 € 283,500 € 114,340 € 304,878 €

Budget distribué sur 3 sites :Orsay, Amiens/Lyon, Grenoble


Budget

t0 t0+6 t0+12 t0+18 t0+24 t0+30

PostDoc II

PostDoc I

12 mois

24 mois

187,5 Kfrs

62,5 Kfrs

250 Kfrs

62,5 Kfrs

250 Kfrs 187,5 Kfrs

312,5Kfrs

t0+36

Dur

éeC

oût

187,5 Kfrs


Budget

Disponibilité : à priori fin décembre 2001 Fin Janvier 2002 ?

Année 1 Année 2 Année 3 TotalMatériel 21 342,86 € 0,00 € 0,00 € 21 342,86 €Fonctionnement

44 515,11 € 56 939,71 € 67 763,59 € 114 336,76 €

Post-docs 38 112,25 € 47 640,32 € 28 584,19 € 114 336,76 €Total par an 103 970,23 € 104 580,03 € 96 347,78 € 304 898,03 €


Le projet CGP2P








• Premier bilan


Contacts industriels

• EADS (fait parti du projet : G. Alléon)

– Stage de DEA

• IFP

– Stage de DEA

• L2T (protocole P2P)

– Premier contact (discussion informelle le 8 Fev)

• Platform (LSF, Active Cluster, Décrypthon)


Platform (Canada)Le 25 Janvier 2002: Web conférence9H00 (Toronto), 15h00 (Paris)

Prochaine discussion : 5 Février 2002

PlatformLRI

Franck

GeorgeAbderrahmane

Géraud

Gilles prend la photo

Songnian ZhouDir./fond. Platform


FosdemFree and Open Source Devellopers European Meeting http://www.fosdem.org/1200 visiteurs en 2001Brussel du 16 au 17 Février 2002

Présentation invité d’XtremWeb et CGP2P Et interview de Gilles Fedak

Autres présentations Stallman (GNU), De Icaza (Gnome),Ian Clark (Freenet),Richard Dale (KDE)


Le projet CGP2P








• Premier bilan


Evolutions du projet par rapport à sa forme initiale

• Certaines tâches sont déjà presque terminées (sécurisation des workers)• D’autres tâches sont devenues « moins intéressantes » (sécurisation par isolation de fautes logicielles)• Certaines tâches devraient être terminées rapidement (communication indirecte inter-ressources)

• En revanche, il y a un gros besoin de simulation et l’étude et l’étude de l’ordonnancement peut devenir plus importante que prévue.

Accepter une souplesse dans la définition et l’avancement des tâches dans la mesure où cela reste cohérent avec l’objectif

Mise en oeuvre d’un simulateur et/ou émulateur pour l’étude de l’architecture et d’un simulateur d’ordonnancement (totalement distribué, centralisé, hiérarchisé, etc.)


Production scientifique

Articles de présentation :

F. Cappello, « Calcul Global Pair a Pair : extension des systemes Pair a Pair (P2P) au calcul », lettre de l’IDRIS, Janvier 2002

Articles scientifiques :

George Bosilca, Gilles Fedak et al. « Evaluation de performances de différentes techniques de confinement d’exécutions pour le calcul pair à pair», soumis à RenPar 2002.

George Bosilca, Gilles Fedak et al. « Performance evaluation of sandboxing techniques for P2P computing systems» à soumettre à ICS 2002.


Sommaire

• Le projet CGP2P F. Cappello 50m

• Archi serveur O. Richard 10m

• Sous projet 1 S. Petiton 10m

• Sous projet 2 F. Cappello 10m

• Sous projet 3 G. Utard 10m

• Sous projet 4 C. Germain 10m

• Sous projet 5 J. Beauquier 10m

• Démo A. Djilali 10m

Documents

30 Janvier 2002 Réunion ACI GRID CGP2P1 Calcul Global et Pair à Pair Projet Global 30 Janvier 2002 Ecole des mines de Paris