03/12/2006 Othmane Bouhali EumedGrid Workshop Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc) Othmane Bouhali Université Libre de Bruxelles

03/12/2006Othmane Bouhali

EumedGrid Workshop

Grille de calcul et coopération Nord-sud(exemple Belgique-Maroc)

Othmane Bouhali

Université Libre de Bruxelles


EumedGrid Workshop

Programme

Motivations

Introduction à la grille de calcul

Grille de calcul au Maroc?

Collaboration UAE, ULB et CNRST

Résumé et perspectives


EumedGrid Workshop

Motivations

Grid computing sur le web

01020304050607080

juin-05 dec-05 dec-06

Date

Nob

re d

e si

tes(

en

mill

ions

)


EumedGrid Workshop

Motivations

besoins en puissance de calcul et capacité de stockage importants

systèmes de grande ampleur

géographiquement dispersés

utilisation des ressources informatiques:

quelques exemples:

• fournir un accès au maximum d’utilisateurs à ces ressources• exploitation optimale• rationalisation (demande de budgets)


EumedGrid Workshop

Computing Intensive Science

- Recherche sur les séquences de l’ADN

- Analyse génétique

- Processus souvent parallèles

- Nanotechnologie et sciences des matériaux

- Simulation à l’échelle moléculaire

- grande puissance de calcul


EumedGrid Workshop

• Transmission: >200 Mbps • Pbytes à sauvegarder/an • plusieurs projets d’études• Multi-Utilisateurs

• Transmission: >200 Mbps • Pbytes à sauvegarder/an • plusieurs projets d’études• Multi-Utilisateurs

Sciences de l’observation de la terre


EumedGrid Workshop

CERN: European Organisation for Nuclear Research

Where the web was born

• Tunnel d’accélération de 27km de circonférence

• Projet LHC

• 10 Petabytes de données/an

• 20 millions de CDs par an

Concorde(15 Km)

Balloon(30 Km)

CD stack with1 year LHC data!(~ 20 Km)

Mt. Blanc(4.8 Km)


EumedGrid Workshop

Aucun centre ne disposera de l’infrastructure pour autant de calcul

Nouveau concept de la collaboration

combiner les ressources de calcul et de stockage des centres scientifiques

Grille de calcul planétaire ou Grid computing


EumedGrid Workshop

Eléments d’une grille de calcul

ressources:

fermes de calcul (cluster) stockage réseaux LAN-WAN

services:

sécurité: authentification autorisation recherche de l’information gestion des jobs gestion de données: transfert, replication communication entre les processus (parallélisme)

Applications

Physique des hautes énergies BioInformatique Sciences de la terre …

Middleware:

GlobusEDGLCG


EumedGrid Workshop

Avantages de la grille de calcul

- Accès, selon des règles prédéfinies, aux ressources requises

- La faculté de résoudre des problèmes complexes

- Utilisation optimisée des ressources existantes

(exploitation des ressources non ou peu utilisées)

- Travail collaboratif (mise en réseau des ressources informatiques)

- Nouvelles perspectives pour la recherche scientifique

- Initiatives nationales partout


EumedGrid Workshop

Grille de calcul au Maroc?

Situation de la Recherche Scientifique et nécessité d’une infrastructure de calcul mieux adaptée

Exemple de « petit » pays ayant déjà opté pour la grille

Existence d’un noyau de la diaspora marocaine (projet fincome et transfert de technologie)


EumedGrid Workshop

Recherche scientifique au Maroc Etablissements

• 15 Universités • plusieurs établissements publics: CNRST, INH, CNESTEN,..

• Secteur privé: REMINEX, ST, Matra,..


EumedGrid Workshop

Recherche scientifique au Maroc Groupes de recherche

Unités de Formation par la Recherche:

Assurer la formation par la recherche

804 UFRUFR par domaine/an

050

100150200250300350400450500

ST

SHS


EumedGrid Workshop


Pôles de compétences:

Réseaux thématiques de recherche

orienter la RS vers des thèmes ayant un impact sur le développement du pays

optimiser les moyens mis à la disposition de la RS

créer une synergie entre les chercheurs au niveau national

• PC Microbiologie du Sol et Biotechnologie de Plantes• PC Pharmaco chimie • PC des Sciences et Technologies de l’Information • Réseau National de Physique Théorique • PC Matière Condensée • PC Electrochimie, Corrosion et Chimie Analaytique • Réseau National des Sciences et techniques de l’Espace • Réseau National d’Etude sur le Local et le Régional• Réseau Marocain des Plantes Aromatiques et Médicinales • PC Neurogénétique• Réseau Universitaire de la Physique des hautes Energies• Réseau National de Physico-Chimie • Réseau National de Mécanique • PC Qualité • Réseau National des Sciences et Techniques de la Mer • PC Eau & Environnement • PC Patrimoine Culturel


EumedGrid Workshop

Recherche scientifique au Maroc Budget et production

Budget alloué à la RS:

% du PIB par année

00,10,20,30,4

0,50,60,70,80,9

1998 2002 2003 2005

Production Scientifique

Publication par année

0

200

400

600

800

1000

1200

1990 1996 1997 1998 1999 2000 2001

Pascal

SCI


EumedGrid Workshop


Programmes visant à consolider la R (CNRST)

Réseau MARWAN (Morocco Wide-Area Network)

Unités d’Appui Technique à la RS (UATRS)

Institut National de l’Information Scientifique et Technologique (IMIST)

Froum International des COmpétences Marocaines à l’Etranger (FINCOME)

Plateforme Nationale de Grille de calcul (MaGrid)


EumedGrid Workshop

Collaboration UAE(Maroc)-ULB(Belgique)Motivations et plan d’action

acquérir et maîtriser les notions de bases inhérentes aux grilles de calcul ainsi que les outils nécessaires à leur déploiement

campagne de sensibilisation auprès des chercheurs

synergie entre partenaires (nationaux et autres) intéressés

création d’un noyau national « grid computing »:

- développement et maintien des compétences techniques - recherche liée au: grid, calcul distribué, services web,..

2003: brainstorming sur la grille (O. Bouhali-ULB et C. El Amrani-UAE)


EumedGrid Workshop

Collaboration UAE(Maroc)-ULB(Belgique)Motivations et plan d’action

identifier les applications et utilsateurs: (en commençant par les disciplines susceptibles de s’impliquer rapidement)

plateforme de grille nationale

implication dans les projets internationaux liés au grid.


EumedGrid Workshop

Collaboration UAE(Maroc)-ULB(Belgique)

activités de l’ULB (notamment de l’IIHE)

UAE

Collaboration UAE-ULB (et CNRST): histoire, résultats et futurs


EumedGrid Workshop

Collaboration UAE(Maroc)-ULB(Belgique)ULB-IIHE (activités)

• participation aux expériences de physique des hautes énergies:

(AMANDA/ICE3, CHORUS, CMS, H1, OPERA)

• PET (Tomographie à émission de poitrons)

• Computing:

- CMS Tier2 centre (800 CPU et 200 TB )

- EGEE-II: NA2 (promotion de la grille) et SA3 (Test et certification de gLite)

- Grille nationale belge de calcul: BEgrid


EumedGrid Workshop

Collaboration UAE(Maroc)-ULB(Belgique)ULB-IIHE (activités)

ULB

VUB

UCL

CETIC

FPMS

VLIZ

UGentUA

BELNET

ULG

FUNDP


EumedGrid Workshop

Collaboration UAE(Maroc)-ULB(Belgique)UAE

TangerTanger

MartilMartil

ChaouenChaouen

OuezzaneOuezzane

LaracheLarache

Ksar El KebirKsar El Kebir

AsilaAsila TétouanTétouan

• 22000 étudiants• 11 établissements (8 facultés)• 2 sites (Tanget-Tétouan)

~50km

• 58 UFR• 48 labratoires• sites connectés via un réseau sans fil


EumedGrid Workshop

Collaboration UAE-ULB

Installation et administration d’un cluster 2003/2004

techniques liées aux clusters

- bachsystem, ordonnancement - parallélisme (MPI)

- networking

(Projet de fin d’études)


EumedGrid Workshop

Installation et administration d’un cluster 2003/2004

OS: Scientific Linux 3.0

gestionnaire de taches: Condor (environnement HPC)

Interface graphique: soummission de jobs, gestion du cluster,..



EumedGrid Workshop

Autorité de certification(DESA)

acquisition des notions de base liées à la sécurité:

• cryptographie, déchiffrement,..• fonctions de hachage (MD5, SHA)• principe des signatures numériques• protocole en relation (SSL,..)

installer un prototype d’autorité de certifications

générer des certificats (machines et utilisateurs)



EumedGrid Workshop

Autorité de certification

installer un prototype d’autorité de certifications

générer des certificats (machines et utilisateurs)

administration du CA



EumedGrid Workshop

Prototype d’une grille de clacul de base

expérience acquise sur les clusters

expériences acquise sur les certificats

Installation d’un intergiciel (middeleware) de base

certificats machines et ustilsateurs

exécution des jobs de test


(DESA)


EumedGrid Workshop

- Contact avec le CNRST (groupe réseau MARWAN)

- lettre d’intention pour la création d’une plateforme grid

- mailing list: [email protected] (discussion des sujets liés au grid)

- commission nationale: vision stratégique pour la grille nationale: MaGrid

- commencement du projet Eumedgrid: une chance historique

- plateforme CNRST et plateforme UAE déjà en place

Collaboration CNRST-UAE-ULB

mailto:[email protected]


EumedGrid Workshop

• CNRST (Rabat): R. Merrouch, N. Talhaoui,

• UAE (Tanger/Tétouan): C. EL Amrani, A. Bendahmane et A. Younès

• ULB (Bruxelles): O. Bouhali

• plusieurs partenaires nationaux (utilisateurs potentiels) et internationaux

Collaboration CNRST-UAE-ULB


EumedGrid Workshop


Collaboration réussie entre CNRST, UAE et ULB

renforcée par la participation au projet EumedGrid

travaux présentés/publiés dans plusieurs manifestations nationales et internationales

1 PFE, 2 DESA + 2 thèses de doctorat en cours

bonne expérience acquise: clustering, grid et CA

noyau national grid computing


EumedGrid Workshop


application à tourner sur la grille

physique nucléaire

GEANT4 (applications médicales)

groupe HEP marocain

élargissement vers d’autres universités et centre nationaux

quelques projets déjà soumis avec des partenaires internationaux

s’impliquer d’avantage dans EumedGrid


EumedGrid Workshop


EumedGrid Workshop


EumedGrid Workshop


EumedGrid Workshop

Tier2 Centre ~200kSI2k

Event Builder

Event Filter~7.5MSI2k

T0 ~5MSI2k

T1 T1 T1T1

Workstations

10 GB/sec

•Some data for calibration and monitoring to institutes

•Calibrations flow back

Each Tier 2 has ~20 physicists working on one or more channels

Each Tier 2 should have the full AOD, TAG & relevant Physics Group summary data

Tier 2 do bulk of simulation

Physics data cache

~Pb/sec

Tier2 Centre ~200kSI2k

~800kSI2k

Tier 0Tier 0

Tier 1Tier 1

PC (2004) = ~1 kSpecInt2k

~800kSI2kTier 2Tier 2 ~200 Tb/year/T2

~2MSI2k/T1 ~2 Pb/year/T1

~5 Pb/year No simulation

Tier-1s reprocess

house simulation

Group Analysis

Physique des hautes énergies

Documents

03/12/2006 Othmane Bouhali EumedGrid Workshop Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc) Othmane Bouhali Université Libre de Bruxelles