1

Le calcul et l’informatique à l’IN2P3 et au DAPNIA

Prospectives, La colle sur Loup 2004

Contributions:B. Boutherin (sécurité), J. Delabrouille (Astro-particules), F. Etienne (Coordination, IN2P3), F. Hernandez (CC-IN2P3 et LCG), P. Micout (Dapnia), G. Wormser (EGEE)

L’informatique des laboratoires de l’IN2P3 et du Dapnia

Le calcul pour les astroparticules

Le calcul pour le LHCFairouz O-Malek

2

F. Le Diberder (IN2P3)F. Etienne (IN2P3)

F. Le Diberder (IN2P3)F. Etienne (IN2P3)

Organisation de l’Informatique et du calcul

J-P. Génin (CEA/DSM)J. Le Foll (DAPNIA)

J-P. Génin (CEA/DSM)J. Le Foll (DAPNIA)

Informatique labo IN2P3

CC-IN2P3D. Linglin

Calcul LHC: LCG

Utilisateurs IN2P3/Dapnia

Comité des utilisateurs

Responsables Informatique des labos

BaBar

Resp. Calcul exp.

Resp. Calcul exp.

Resp. Calcul exp.

Resp. Calcul exp.

Informatique labo IN2P3

D0

Théorie

Gestion des ressources

3

L’informatique des laboratoires de l’IN2P3 et du Dapnia

Le calcul pour les astroparticules

Le calcul pour le LHC

4

233 Informaticiens à l’IN2P3(juin 2004)

Effectif Informaticiens

22

10 8 117

1510

4

28

1925

14

2 4 4

15

35

05

10152025303540

46%

34%

20%

ASR Développement DAQ

Informaticiens

= 6% effectifs

Informaticiens =

15% ITAEffectifs des informaticiens par métier

0

2

46

8

10

12

ASR

Soft offline

DAQ

Développeurs= Offline+Online

ASR=administrateurs systèmes et réseaux

5

La sécurité informatique

Enjeux de la sécurité informatique à l’IN2P3 – Continuité du service – Risque juridique – Vol de ressources – Image de marque

Menace : liée au nombre de machines visibles sur Internet (3000)

Vulnérabilité : 500 avis de sécurité par an

SQL injection

Buffer overflowVer

Virus

Actions mises en place Filtrage en entrée, cloisonnement des réseaux, chiffrement des communications (SSH), surveillance réseau.

Juridique : mettre en place une structure pour pour dégager la responsabilité de l’IN2P3 en cas de plainte.

Code pénal

6

Le CC-IN2P3

Chiffres– 54 personnes (07/10/04) dont CDDs: 25 (46%) , Permanents: 29

(54%) financements des CDDs: Sur convention: 13 personnes (EPT)CNRS: 4 personnes (2 EPT)EGEE (Grille de calcul): 7 personnes -- bientôt 10RUGBI (Grille bio): 1 personne

– Budget (2004)OrigineOrigine kk€€ % Total% Total

CNRS 4750 68

DSM-CEA 1500 20

Autres, CDD(EGEE, Grille, …)

890 12

Total 6940 100

7

Le CC-IN2P3

Chiffres (suite)– CPU: 1,2 MSI2K Linux (environ 700 machines biprocesseurs)– disque ~ 100 TO– bande ~ 700 TO– 2500 comptes– ~40 expériences (+groupes bio)

Évolution– D’un centre de ressources vers un centre de services– Mise en place de solutions élaborées adaptées aux expériences y

compris des services autres que le calcul et le stockage (hébergement web, visio-conférence, webcast,…)

8

Consommations CPU de juillet à septembre 2004 : les 10 groupes les plus consommateurs

babar24%

atlas11%

hess10%

d09%

lhcb8%

cmsf6%

alice5%

archeops4%

virgo4%

pauger4%

Autres 15%

Le CC-IN2P3

Gestion des ressources:Gestion des ressources: un comité IN2P3 qui se réunit 1 fois par trimestre pour régler et corriger les répartitions calcul par expérience: http://cc.in2p3.fr/rubrique.php3?id_rubrique=144

Les ressources demandées sont au delà des capacités du Centre de calcul !!!!

10 expériences consomment 85% des ressources du CC-IN2P3

9

Le CC-IN2P3

Croissance − 100% par an de la puissance CPU et de la capacité de stockage sur

bande (à budget constant)− Légèrement moins en stockage disque

DAPNIA: depuis 1993 Une convention triennale le lie à l’IN2P3 pour l’utilisation des moyens de calcul centraux.

AnnèeAnnèe Contribution au CC Contribution au CC en ken k€€

2004 1500

2005 1600

2006 1700

10

Le CC-IN2P3

0

1 000

2 000

3 000

4 000

5 000

6 000

7 000

2002 2003 2004 2005 2006 2007 2008

Ter

aByt

es

0

2 000

4 000

6 000

8 000

10 000

12 000

14 000

K S

pec

tIn

t200

0

Stockage

CPU (K SI2K)

LCG: ~70%

LCG: 20%

11

Le CC-IN2P3

Les expériences LHC deviennent prioritaires– Budget et ressources humaines actuellement disponibles ne

permettront pas de satisfaire les besoins à venir– Rôle prépondérant du CC-IN2P3 pour la composante française de

ces expériences en tant que centre de services connecté à la grille

Travail Collaboratif:Dans un modèle de calcul global, le travail en étroite collaboration entre le représentant expert de chaque expérience au CC-IN2P3 est fondamental– Success Stories: Babar et D0– En cours de mise en place: LCG– Le CC souhaite que la composante française de chaque

expérience tienne compte des besoins en ressources humaines correspondantes

12

L’informatique des laboratoires de l’IN2P3 et du Dapnia

Le calcul pour les astroparticules

Le calcul pour le LHC

13

Expériences astroparticule

préparationacquisitionanalyse

AMSAntaresArcheopsAugerEdelweissGLASTHESSLISANEMOPlanckSNLSVIRGO

2005 2008 20142011

14

Besoins spécifiques à l'Astroparticule

- Augmentation du stockage disque (données modestes mais beaucoup d'accès)- Besoin de bande passante spécifiquement pour la visualisation- Besoin de manipuler des dizaines de GO en mémoire (ou des centaines)

Questions ouvertes

- Pic dans les besoins de disque et de CPU en même temps que LHC (2007) pour les expériences HESS, Planck, VIRGO, GLAST- Rôle du CC pour l'organisation / la distribution des données astroparticule ? (implication pour les moyens humains au CC et dans les labos)

Evaluation des besoins

-Dépend fortement du taux d'implication du CC (de 0% à 100% des moyens)-Dépend fortement du rôle du CC (e.g. service pour la composante française de l'expérience, pour toute l'expérience ou pour toute la communauté scientifique ?)-Dépend des méthodes de traitement encore en cours de développement-Dépend de la qualité ultime des données (ex. Planck, problème de "trivial" à "insoluble")

15

TO/an science

Total TO produits

Stockage (TO) Disque (TO) RAM (GO) "partagée"

AMS 100 100 nans 100 nans <1

Archeops 2 10 2 16

ANTARES 100 100 nans 100 nans <1

AUGER 1 1 nans 10 300

EDELWEISS 4 4 nans 20 <1

GLAST 30 50 30

HESS 15-30 (15-30) nans 30 nans <1

LISA 0,05 (TBC) ? ? ? ?

NEMO ? ? ? ?

Planck 4 240 3000 (TBC) 300 600 (TBC)

SNLS 10 10 nans 10 nans 3 (TBC)

VIRGO 100 100 nans 100 nans 2 ?

16

UI 2004

demandé

Gflop/s à prévoir

à terme

Dates approx. Heures CPU 1GHz

Personnes dédiées CC

% au CC pour l'exp.

AMS 0.3M ? 2007 - 2011 ? ?

Archeops 0.6M 20 2005 - 2006 5 MHr/an 0 100%

ANTARES 0.5M 40 2007 - … 10 MHr/an ?

AUGER 7M 40 2005 - … 10 MHr/an

EDELWEISS 2005 - … 100%

GLAST ? 2007 - … ? ? 20% (TBC)

HESS 4M 3 2005 - 2008

2009 - …

1. MHr/an

1.5 MHr/an

100%

LISA ? 2010 - … ? ? 20-50%

NEMO 6M ? ? ?

Planck 200 2007 - 2012 15 MHr/an 1 ? 10-30%(en négociation

avec l’INSU)

SNLS 2 2004 - 2009 0.5 MHr/an

VIRGO 2M 100 2005 - … 15 MHr/an 0 50%

17

0

20

40

2003 2004

consommation astroparticule ccin2p3

virgoThemissnovaenemohessglasterosedelw eissarcheopsantaresamsauger

Le calcul astroparticule est en augmentation au centre (en %)(Remarque : ~16% demandé, ~38% consommé les 4 premiers mois de 2004 !)

Ceci correspond à un besoin réel et traduit l'investissement croissant des équipes IN2P3 dans le traitement des données des expériences astroparticule et cosmologie

La montée en puissance des activités VIRGO, Planck, LISA va encore augmenter considérablement les besoins d'ici quelques années

%

18

Estimation des demandes pour les 5 ans à venir

Stockage : ~ 3-6 PODisque : ~ 700 TOMHr 1GHz : ~ 70 MHr/an …soit ~ 8000 CPU à 1 GHz…

(1500 machines actuelles)

PLANCK:Une machine dédiée au calcul parallèle disposant de 500 processeurs et d’un réseau haute performance est actuellement envisagée (1 M€)

19

L’informatique des laboratoires de l’IN2P3 et du Dapnia

Le calcul pour les astroparticules

Le calcul pour le LHC

20

LCG

LHC Computing Grid Project – LCG

LCG 40 million de collisions par seconde

Après filtrage, ~100 collisions d’intérêt physique par seconde

1-10 Megabytes de données digitisées pour chaque collision taux stockage: 0.1-1 GigaBytes/sec

~ 1010 collisions enregistrées par an quelques PetaBytes/an

CMS LHCb ATLAS ALICE

LHC Computing Grid Project – LCG

22

LCG

Europe: 267 instituts 4603 utilisateursHors Europe: 208 instituts 1632 utilisateurs

La communauté du CERNLa communauté du CERN

23

LCGLe LHC Computing GRID - LCG

Objectif: fournir L’INFRASTRUCTURE de calcul pour LHC

4 expériences , 1 seule infrastructure 20% des ressources seront présentes au CERN (80% du temps du

LEP, 50% BABAR,..)

Quatre zones d’activités Applications area (POOL, GEANT4, outils logiciels,..) Fabric management Grid technology area Grid deployment area

Deux phases R&D : 2001-2005 (Contribution volontaires des états membres) Déploiement 2006-2008

24

LCG

RAL

IN2P3

BNL

FZK

CNAF

PIC ICEPP

FNAL

Tier-1

Petitscentres

Tier-2

Postes de

travail

USCNIKHEFKrakow

CIEMATRome

Taipei

TRIUMF

CSCS

Legnaro

UB

IFCA

IC

MSU

Prague

Budapest

Cambridge

IFIC

LHC: 140 sites actuellement connectés sur la grille de calcul mondiale3 différentes technologie (protocoles) de grille: LCG-2, GRID3, NorduGrid

Mais d’autres grilles HEP existent et sont performantes: SAM-GRID (D0)

25

LCG

LCG-2

Actuellement 80 sites

Compagnie générale de géologie

2 sitesFrançais

26

LCGCurrent Grid3 Status(http://www.ivdgl.org/grid2003)

• 30 sites, multi-VO

Grid 3Grid 3

27

LCG

NorduGrid & Co. Resources

7 countries:

Sites for ATLAS: 22 Dedicated: 3, the rest is shared

CPUs for ATLAS: ~3280 Effectively available: ~800

Storage Elements for ATLAS: 10 Capacity: ~14 TB, all shared

30 sites

28

LCG

LCG-2 et les générations futures du logiciel (Middleware)

LCG-2 est le service principal pour 2004 pour les data challenges

Le logiciel (middleware) LCG-2 va être mantenu et développé jusqu’à ce que la nouvelle génération aura été éprouvée (et aura fait preuve de stabilité et d’efficacité)

2004 2005

LCG-2

Nouvelle Génération prototype produit en développement Service principal

29

LCG

RAL

IN2P3

BNL

FZK

CNAF

PIC ICEPP

FNAL

Tier-2 – stockage disque Simulation Travail d’analyse du

physicien

Tier-1Petits

centres

Tier-2

Postes de travailportables

USCNIKHEFKrakow

CIEMATRome

Taipei

TRIUMF

CSCS

Legnaro

UB

IFCA

IC

MSU

Prague

Budapest

Cambridge

IFIC

Le modèle de computing du LHC

Tier-0 – Le lieu de l’accélérateur Données brutes Reconstruction des données : ESD Stockage données brutes et ESD Distribution données brutes et ESD

aux Tier-1 Tier-1 –

Management du stockage de mass services de la grille indispensables

Retraitement données brutes ESD Support National et régional

Budget global 2005-2008: 200M€Budget global 2005-2008: 200M€

Tier-0+Tier-1 CERN: ~90 M€Tier-0+Tier-1 CERN: ~90 M€

30

LCG Experiment Alice Atlas CMS LHCb SumResource

CERN Tier 0 + Tier 1Disk PetaBytes 0.5 2.0 1.8 0.3 5

Mass Storage PetaBytes 2.3 7.6 9.2 1.0 20Processing M SI2000** 5.6 5.4 5.7 2.7 19

Sum of resources at all Tier1 centresExpected number of centres 3 6 6 5

Disk PetaBytes 3.0 6.8 8.7 1.3 20Mass Storage PetaBytes 3.6 7.2 6.6 0.4 18

Processing M SI2000** 9.1 13.6 12.6 9.5 45

Sum of resources at all Tier12centresExpected number of centres 16 24 25 15

Disk PetaBytes 3.0 3.8 5.0 0.6 12Mass Storage PetaBytes 0.0 1.6 2.9 0.0 5

Processing M SI2000** 7.2 8.4 7.5 16.4 40

** Current fast processor ~1K SI2000

First full year of data - 2008Estimated Resources Required by LHC Experiments in 2008

Estimations préparées pour la Task Force du MoU, Juin 2004, Guy Wormser

31

LCGSummary of Phase 2 Costs & Funding at CERNAll figures are MCHF

year 2005 2006 2007 2008 total Phase 2

ESTIMATED COSTSMaterials 25.5 30.0 27.6 83.1 a=b+c

Tier-0+1 Installation and Operation -- 21.1 25.7 23.2 70.0 b see "Tier-0+1 Materials"

Base Physics Service -- 4.4 4.3 4.4 13.1 cPersonnel 2.1 17.7 16.6 14.9 51.3 d=e+f see "Human Resources"

Nominal cost of funded personnel (CERN +

anticipated external funding) -- 12.0 11.6 11.9 35.5 e

Nominal cost of missing staff 2.1 5.7 5.0 3.0 15.8 f

2005 included in Phase 2 costs (overlap of personnel for Phase 1 and Phase 2)

Total Estimated Costs 2.1 43.2 46.6 42.5 134.4 g=a+d

FUNDINGPhysics Service Base Budget -- 6.0 5.9 6.0 17.9 h1Base systems administration -- 0.5 0.5 0.4 1.4 h2

Special Phase 2 Funding -- 19.8 19.8 19.8 59.4 iNominal personnel funding

(CERN + anticipated external funding) -- 12.0 11.6 11.9 35.5 j=e

Funding -- 38.3 37.8 38.1 114.2 k=h1+h2+i+jMissing Funding 2.1 4.9 8.8 4.4 20.2 l=g-k

80 M€

LCG-POB, Août 2004, Les Robertson

- 12 M€

32

LCG Data Challenges

Un effort de production à grande échelle pour les expériences LHC dans le cadre du projet LCG

Tests et validation des modèles de calcul (computing

models) Production des données nécessaires de simulation Test de la production dans le cadre de l’architecture du

logiciel de l’expérience Test des logiciels de la grille de calcul Test des services fournis par LCG-2

Toutes les expériences ont utilisé LCG-2 en tout ou en partie de leur production

33

LCG

ATLAS DC2 - CPU usage

LCG41%

NorduGrid30%

Grid329%

LCG

NorduGrid

Grid3

Total:

~ 1350 kSI2k.months~ 95000 jobs~ 7.7 Million events fully simulated (Geant4)~ 22 TB

34

LCG

ATLAS DC2 - LCG - September 71%

2%

0%

1%

2%

14%

3%

1%

3%

9%

8%

3%2%5%1%4%

1%

1%

3%

0%

1%

1%

4%1%

0%

12%

0%

1%

1%

2%

10%

1% 4%

at.uibk

ca.triumf

ca.ualberta

ca.umontreal

ca.utoronto

ch.cern

cz.golias

cz.skurut

de.fzk

es.ifae

es.ific

es.uam

fr.in2p3

it.infn.cnaf

it.infn.lnl

it.infn.mi

it.infn.na

it.infn.na

it.infn.roma

it.infn.to

it.infn.lnf

jp.icepp

nl.nikhef

pl.zeus

ru.msu

tw.sinica

uk.bham

uk.ic

uk.lancs

uk.man

uk.rl

CERN

Brookhaven

INFN 1

Espagne

UK

35

LCG

ATLAS DC2 - Failures on LCG

Athena4% LCG-RB

7%

LCG-MaxRetry22%

LCG-Proxy27%

LCG-Globus2%

LCG-Others0%

DMS-Input4%

DMS-Output (ATLAS)23%

DMS-Output (LCG)10%

DMS-Others1%

Athena

LCG-RB

LCG-MaxRetry

LCG-Proxy

LCG-Globus

LCG-Others

DMS-Input

DMS-Output (ATLAS)

DMS-Output (LCG)

DMS-Others

36

LCGPhase 1 finie

DIRAC alone

LCG inaction

1.8 106/day

LCG paused

3-5 106/day

LCG restarted

186 M Produced Events

186 M events et 61 TBytes

Total CPU: 424 CPU an sur 43 sites LCG-2 et 20 sites DIRAC

Jusqu’à 5600 jobs en compétition sur LCG-2

37

LCG

Partage DIRAC-LCG

May: 89%:11%

11% of DC’04

Jul: 77%:23%

22% of DC’04

424 CPU · Years

5 à 6 fois plus que possible au CERN seul

Aug: 27%:73%

42% of DC’04

Jun: 80%:20%

25% of DC’04

38

LCG

EGEE : Enabling Grids

for EsciencEButBut

Créer une infrastructure de qualité de la Grille Européenne (HEP + Bio + Météo + …)

StatusStatusPlus grande collaboration ”développement de la grille dans le monde”

Budget: €100 millions /4 ansMoyensMoyens

Soutenir les efforts actuels et plannifiés des programmes GRID nationaux et régionaux (e.g. LCG)

Travailler étroitement avec les développements de la grille dans l’Industrie et collaborer avec les recherches hors Europe (US)

 

EGEE

applications

Geant network

39

LCG

La complémentarité EGEE-LCG

EGEE est un projet MultiSciences Européen

LCG est un projet de la Physique des Particules au niveau mondial

EGEE et LCG utilisent la même INFRASTRUCTURE constituée par des noeuds répartis à travers le monde (80 aujourd’hui) et d’un logiciel (actuellement LCG-2). La grande majorité de ces ressources et d'utilisateurs appartient à la communauté HEP.

Le développement du middleware (logiciel intermédiaire) est assuré par EGEE , qui délivrera LCG-3=EGEE-1 au printemps 2005.

EGEE exploitera l'infrastructure qui sera utilisée par  LCG.

01/06/200401/06/2004

Equipe LCG Tier-1Services Grid, Exploitation & Support

Equipe LCG Tier-1Services Grid, Exploitation & Support

Groupe Applications LHC

Groupe Applications LHC

Tier-2LPC

ClermontFerrand

Tier-2LPC

ClermontFerrand

Tier-2Labo

IN2P3/DAPNIALAL …

Tier-2Labo

IN2P3/DAPNIALAL …

Projet LCG

Autres Tier-1

CC-IN2P3Direction

CC-IN2P3Direction

Le projet LCG-France http://grid.in2p3.fr/lcg/

• responsable scientifique: F.OM (LPSC)• responsable technique: F. Hernandez (CC-IN2P3)• comité de pilotage (incluant resp. LCG/CERN)• comité direction

Tier-2 ?Subatech

Tier-2 ?Subatech

Data-Challenges ALICENœuds EGEE

Resp. calcul expériences

ALICE: Y. Schutz

ATLAS: A. Rozanov

CMS: C. Charlot

LHCb: A. Tsaregorodtsev

Financements locaux > 80%

SC2, POB, GDB, GDA, …

Le Centre Tier-1 Français hébergé au CC-IN2P3

Au démarrage du LHC, il devra fournir:• CPU: ~12M SpectInt2000 (équivalent 6000 machines biprocesseurs) • Stockage disque et stockage permanent: ~ 6 PétaOctets• Connectivité réseau (RENATER) avec le Tier-0 (CERN) de 10 Gbps• Service et Support à la communauté d'utilisateurs de LCG, 24h/24 et 365 jours/an

0

1 000

2 000

3 000

4 000

5 000

6 000

7 000

2002 2003 2004 2005 2006 2007 2008

Te

raB

yte

s

0

2 000

4 000

6 000

8 000

10 000

12 000

14 000

K S

pe

ctI

nt2

00

0

Stockage

CPU (K SI2K)

LCG: ~70%

LCG: 20%

Année Budget

2005 2,3 M€

2006 3,3 M€

2007 4,6 M€

2008 6,2 M€

TOTAL 16,4 M€

Année

Personnel CC-IN2P3 affecté à

LCG (ETP)

Embauchesnécessaires

(ETP)Total (ETP)

2005 16 3 19

2006 23 4 27

2007 31 4 35

2008 38 2 40

Demandes budgétaires et de ressources humaines Tier-1

Année

Renouvellement du matériel LCG et

frais de fonctionnement

(M€)

Coût Annuel Ressources Humaines

(M€)

Total annuel(M€)

2009 3,0 2,2 5,2

2010 3,0 2,2 5,2

--- --- --- ---

2014 3,0 2,2 5,2

2015 3,0 2,2 5,2

Budget 2005-2008 requis : 26 MBudget 2005-2008 requis : 26 M€€

Budget requis au-delà de 2008Budget requis au-delà de 2008

43

Conclusions

La sécurité est un domaine critique, important, sérieux et il faudra s’attendre à des limitations des modes de travail

L’augmentation des ressources du centre de calcul CC-IN2P3 par la loi de Moore (1.6) ne semble pas satisfaire les expériences LHC (et peut-être aussi les Astro)

A la demande de LCG-France, le DG du CNRS semble avoir été réceptif à la nécessité d’augmenter les ressources en calcul des expériences LHC

Comment tout ceci s’intègre-t-il au CNRS dans le cadre de la mise en place des TGE ??