15/10/2003ALICE/Yves Schutz1 ALICE Lenvironnement logiciel ALICE & EDG (LCG) « Physics Data Challenge » 2004 Ressources et outils

15/10/2003 ALICE/Yves Schutz 1

ALICE

L’environnement logiciel ALICE & EDG (LCG) « Physics Data Challenge » 2004 Ressources et outils


L’environnementlogiciel

AliRoot

UtilisateurUtilisateurSimulation,

Reconstruction,Calibration,

Analyse

C++

ROOT

SystèmeSystèmeGUI

Persistent ES

Libs Utilitaires

C++

WorldWorldInterfaces &

Environnement de calcul distribué

anything

Super! Je n’ai qu’à

apprendre le C++

HEP use cases: Simulation &

Reconstruction

Mélange d’événements

Analyse


L’environnement logiciel AliRoot

C++: 400kLOC + 225kLOC (générés) + macros: 77kLOC FORTRAN: 13kLOC (ALICE) + 914kLOC (paquets externes) SAV Linux (toute version!), HP-UX, DEC Unix, Solaris,

MacOSX, Intel Itanium Marche également avec compilateur icc de Intel

Deux paquets à installer (ROOT+AliRoot) + MC’s Édition de lien moins de 1 second (libs partagées) Téléchargement et “make” (makefile non-récursif)

AliEn 25kLOC PERL5 (ALICE) ~2MLOC en majorité PERL5 (open source)

Installé dans 50 sites par les physiciens >50 utilisateurs développent AliRoot partie détecteurs 30% développés par une équipe regroupée au CERN


L’environnement logiciel@CC

THRONG_DIRoffline

Root (HEAD)

GEANT3 (HEAD)

AliRoot (HEAD)

AliEn (HEAD)

alien(install)

AliEn_packages

AliRoot (versions)

Root (versions)

Développements

Production

Max 4 Go; aujourd’hui 81%

256Mo 140Mo 2.1Go 10.1Ko 223Mo

~400Mo/version


L’environnement logiciel@CC

GROUP_DIR: 1 partition 8Go, dont aujourd’hui 70%

utilisés Attribution par utilisateurs + tempo

schutz

…

tempo


MS@CC cchpssalice:/hpss/in2p3.fr/group/alice

Production ALICE : ppr/sim/année-No/VersionAliRoot/Run/événement/*.root Production individuelle

ppr

Utilisateurs

xx

yy

?

Catalogue AliEn

Cahier

~4 To


AliEn@CC Communication avec AliEn@CERN

Worker dédié: ccwalj01 Quelques ports ouverts vers alien.cern.ch Mais sens unique: on perd une fonctionnalité de AliEn

(télécommande) Vers une machine dédiée ALICE

AliEn en mode batch n’est pas une solution efficace Perte du token afs Pas de cronjob Logon autorisé (limité dans le temps) ccwalj01 Ouverture ports 9000/1/2/3 pour monitoring (

MonALISA)


Physics Data Challenges

Période(milestone)

Fraction de la capacité finale (%)

Objectifs scientifiques

06/01-12/01 1% Études pp, reconstruction de TPC et ITS

06/02-12/02 5%

• Premier test de la chaine complète, de la simulation à la reconstruction pour PPR

• Outils d’analyse rudimentaires• Digits au format ROOT

01/04-06/04 10%

• Chaine complète pour études de trigger• Prototype des outils d’analyse• Comparaison avec MonteCarlo paramètré• Données brutes simulées

01/06-06/06 20%• Test du système final pour la

reconstruction et l’analyse


Productions

32 sites configurés (CC & SUBATECH) 5 sites fournissent du stockage de masse

(CC) 12 productions différentes 22773 tâches validées (très faibles

contributions du CC), 2428 échecs (10%) Jusqu’à 450 tâches en parallèle 0.5 opérateurs


ALICE & GRID

Yerevan

CERN

Saclay

Lyon

Dubna

Capetown, ZA

Birmingham

Cagliari

NIKHEF

GSI

Catania

BolognaTorino

Padova

IRB

Kolkata, India

OSU/OSCLBL/NERSC

Merida

Bari

Nantes

Houston

RAL


Soumission

EDG RB

EDG Site

EDG CE

WN

AliEn

EDG SE

Status report: outbound connectivity

Server Interface Site

AliEn CE

EDG UI

AliEn SE

Les CE’s de EDG sont vus comme un seul CE de AliEn et les SE’s de EDG comme un seul SE de AliEn.

AliEn fait partie de l’environnement ALICE (pas de daemons dans WN)

Communication avec EDG

UI de EDG tourne sur un site interface ainsi que la suite client de AliEn - ClusterMonitor, CE, SE

Cette interface prend (“pulls”) une tâche à partir du serveur, génère les requètes JDL et soumet la tâche au RB de EDG.

La tâche active AliEn dans le WN pour communiquer avec le serveur AliEn


Communication avec EDG

Sorties générées par le CE de EDG sont sauvegardées sur un SE de EDG. L’ information est transmise à AliEn par le fichier .Brokerinfo

Les fichiers sont enregistrés dans le catalogue de EDG

Les fichiers sont également enregistrés dans le catalogue de ALiEn (EDG LFN == AliEn PFN)

L’accès aux fichiers se fait en 2 étapes par le catalogue de AliEn et le catalogue de EDG

Data Catalogue

EDG RC

EDG Site

EDG CE

WNAliEn

EDG SE

LFN

PFN

EDG://<RC>/<LFN>


Stratégie de PDC3

Production de RAW Transfert de RAW vers

CERN Reconstruction de RAW Analyse

CERN

Tier2

Tier1

Tier2

Tier1

AliEn job control

Data transfer


Estimation des ressources PDC3 Simulation

105 Pb-Pb + 107 p-p Production distribuée, réplication des données au CERN

Reconstruction et analyse 5106 Pb-Pb + 107 p-p Reconstruction au CERN et ailleurs selon les ressources

disponibles CERN est la source des données

Ressources (CPU et Stockage) 2004 Q1: 1354 KSI2K et 165 TB 2004 Q2: 1400 KSI2K et 301 TB Cf. document présenté au PEB

Bande passante Simulation en 2004 Q1 ~90 TB seront envoyés au CERN en 2 mois (~10 jours en

utilisant 10% de la bande passante du CERN.


Profil des ressources


Ressources disponibles

200TB nécessaires après PDC3 pendant 2004 Les ressources disponibles sont estimées en supposant

leur utilisation simultanée par les 4 expériences.

O4Q1 O4Q2

1354 1400

941 941

165 301

LCG Declared Capacity for ALICE Disk 192 192Tapes 578 578Total 770 770

CPU Requirements kSI2k

LCG Declared Capacity for ALICE

Storage Requirements - total TB active data


Ressources disponibles LCG

Year CountryCPU capacicty

(kSI2K) Disk Capacity (TB)LCG Support

(FTE)Tape Capacity

(TB)2004 CERN 175 40 3 250

Czech Rep. 18 2 1 2France 120 23 3 154Germany 69 14 3 22Holland 41 1 1 4Italy 145 16 4 25Poland 0 0 0 0Russia 30 8 3 10UK 69 24 2 41USA 150 40 1 50Sweden 90 20 1 20Hungary 35 6 1 0

Total 2004 941 192 23 578

Sum LCG Values Resource


ALICE PDC3 & LCG Tout la production sera sous contrôle de AliEn,

l’analyse se fera avec Root/Proof/AliEn. LCG-1 sera un des CE de AliEn, AliEn intègrera

indifféremment les ressources LCG et non-LCG. Si LCG-1 fonctionne, il aspirera la plupart des

tâches. Sinon, AliEn privilégiera les autres ressources. Dans tous les cas de figure LCG-1 sera utilisé

autant que possible. ALICE ne prendra aucune décision: les

performances du système imposeront les choix.


ADC

Date MBytes/sTbytes to

MSSOffline milestone

10/2002 200 200 Rootification of raw data -Raw data for TPC and

ITS

9/2003 300 300

Integration of single detector HLT, at least for TPC and ITS - Quasi on-line reconstruction at CERN -

Partial data replication to remote centres

5/2004 450 450HLT prototype for all detectors that plan to use it - Remote reconstruction of partial data streams -Raw digits for barrel and MUON

5/2005 750 750

Prototype of the final HLT software

Prototype of the final remote data replication

(Raw digits for all detectors)

5/2006750 (1250 if possible)

750 (1250 if possible)

Final test (Final system)


Analyse distribuée @ GRID

Asynchrone Pseudo interactif Exécution des tâches

(transparente à l’utilisateur) Faisable avec AliEn + ROOT

Interactif Système synchrone Résultats disponibles

instantanément Il faut:

Une nouvelle fonctionnalité (AliEn + PROOF)

Grande disponibilité des ressources

Utilisateur

fournit le scriptd’analyse

.... et désire traiter toutes les données labelées <X> du run <Y> ....

.... et les données sont distribuées


Analyse distribuée: AliEn+Root

AliEnfs: le stockage distribué est vu comme un seul système de fichiers à la unix

Un job par fichier est créé

Les résultats sont regroupés dans des conteneurs ROOT

******************************************* * * * W E L C O M E to R O O T * * * * Version 3.03/09 3 December 2002 * * * * You are welcome to visit our Web site * * http://root.cern.ch * * * *******************************************

Compiled for linux with thread support.

CINT/ROOT C/C++ Interpreter version 5.15.61, Oct 6 2002Type ? for help. Commands must be C++ statements.Enclose multiple statements between { }.root [0]newanalysis->Submit();

Analysis Macro

MSS

MSS

MSS

MSS

MSS

CE

CE

CE

CE

CE

merged Trees +Histograms

? Query for Input Data


ClassicPROOF

PROOFPROOF

USER SESSIONUSER SESSION

PROOF PROOF SLAVE SERVERSSLAVE SERVERS

32 nodes: dual Itanium II 1 GHz CPU’s,2 GB RAM, 2x75 GB 15K SCSI disk,1 Fast Eth, 1 GB Eth nic (not used)

Each node has one copy of the data set(4 files, total of 277 MB), 32 nodes: 8.8 Gbyte in 128 files, 9 million events

8.8GB, 128 files1 node: 325 s

32 nodes in parallel: 12 s


AliEn + ROOT

Analysis Macroprovides: Input Files ? Query for Input Data

USER

produces List of Input Data + Locations

new TAliEnAnalysis Object

IO Object 2for Site A

IO Object 1for Site BI

IO Object 1for Site C

IO Object 1for Site A

Job Object 1for Site A

Job Object 2for Site A

Job Object 1for Site B

Job Object 1for Site C

Job Submission

Job Splitting

Histogram MergingTree Chaining

Results:

Execution


Conclusions Augmenter taille THRONG_DIR +2Go GROUP_DIR: on fait avec 8Go Reconduire les ressources utilisées hors PDC Une machine dédiée ALICE simplifierait la vie de tout

le monde Resources nécessaires pour PDC3:

Production organisée Q1 2004 Analyse Q1-Q2 2004

CPU Disques HPSS Réseau

autant que le CC a annoncé pour ALICE au travers de LCG ou non

Documents

15/10/2003ALICE/Yves Schutz1 ALICE Lenvironnement logiciel ALICE & EDG (LCG) « Physics Data Challenge » 2004 Ressources et outils