25
Calcul etc… p

Calcul etc…

  • Upload
    spike

  • View
    54

  • Download
    3

Embed Size (px)

DESCRIPTION

p. Calcul etc…. Les données pour Offline. 8 kHz (160 GB/sec). level 0 – trigger cablé. 200 Hz (4 GB/sec). level 1 – pre-processeurs embarqués. 60 Hz (2.5 GB/sec). level 2 - PCs. 30 Hz (1.25 GB/sec). Enregistrement des données Analyse Offline. La structure Offline. - PowerPoint PPT Presentation

Citation preview

Page 1: Calcul etc…

Calcul etc…

p

Page 2: Calcul etc…

level 0 – trigger cablé8 kHz (160 GB/sec)

level 1 – pre-processeurs embarqués

level 2 - PCs

200 Hz (4 GB/sec)

60 Hz (2.5 GB/sec)

30 Hz

(1.25 GB/sec)

Enregistrement des données

Analyse Offline

Les données pour Offline

Page 3: Calcul etc…

La structure Offline

• AliRoot, un environnement unique pour– La reconstruction des données– L’analyse des données – La génération des données Monte-Carlo

• Seulement quelques logiciels à installer– AliRoot– ROOT la colonne vertébrale– G3, Fluka pour le transport des particules simulées– AliEn pour le calcul distribué

• Compatible avec la plupart des architectures – Linux IA32, IA64 and AMD, Mac OS X, Digital True64, SunOS…

• Un développement distribué– ~ 50 développeurs et un archivage CVS unique

• Intégration avec DAQ (data recorder) et HLT (code de base unique)• Un objectif de portabilité

– Interfaces abstraites – Usage limité des possibilités de C++

Page 4: Calcul etc…

Offline

ROOT

AliRoot

STEER

Virtual MC

G3 G4 FLUKA

HIJING

MEVSIM

PYTHIA6

PDF

EVGEN

HBTP

HBTAN

ISAJETA

liEn +

Gri

d’s

EMCAL ZDCITS PHOSTRD TOF RICH

ESD

AliAnalysis

AliReconstruction

PMD

CRT FMD MUON TPCSTART RALICESTRUCT

AliSimulation

JETAN

Page 5: Calcul etc…

Pour en savoir plus

• Manuel AliRoot: http://aliceinfo.cern.ch/Offline/AliRoot/Manual.html

• Tout sur AliEn http://alien.cern.ch/twiki/bin/view/AliEn/Home

• Les pages de A(nalyse)T(ask)F(orce) (en construction) : http://aliceinfo.cern.ch/Offline

• Un guide utilisateur pour l’analyse distribuée http://project-arda-dev.web.cern.ch/project-arda-dev/alice/apiservice/AA-UserGuide-0.0m.pdf

• Tous les mois un tutorial de 2 jours

Page 6: Calcul etc…

Calibration

• Figures imposées: – Dès qu’un run est terminé, nous devons disposer de

suffisamment d’informations pour le reconstruire– Nous de disposons ni du temps ni des ressources

pour relire les données– Les conditions initiales doivent permettre d’obtenir

des événements reconstruits de qualité suffisante pour faire de la physique

– Ces conditions sont affinées par la suite, pendant la première reconstruction à partir des données brutes ou des ESD # 1

Page 7: Calcul etc…

Calibration en ligne

DAQ

Trigger

DCS

ECS

Physics

data

DCDB

calibration

procedures

calibration files

AliEn+LCGmetadatafile store AliRoo

t

Calibration classes

API

API

API

API

API

filesFrom URs:

Source, volume, granularity, update frequency, access pattern, runtime environment and dependencies

http://pcaliweb02.cern.ch/Collaboration/Boards/Computing/Planning/index.html

API – Application Program Interface

API

APIHLT shuttle

Page 8: Calcul etc…

Flux des données

CAF

WN

lfn guid

{se’s}

lfn guid

{se’s}

lfn guid

{se’s}

lfn guid

{se’s}

lfn guid

{se’s}

ALICE File Catalogue

Publishagent xrootd

Castorcache

CASTOR

LDC

DAQNetwork

GDC

Conditionfiles

Data files

Data file

FTSSRM

SRM

T1’s

OfflineOnline

HLT

DDL

240TB

DCS Shuttle

Publish in AliEn

Monit.Calib.

DAQFESDAQ

Logbook DB

Condition files

HLTFES

DCSFES

Run info

DCSDB

Page 9: Calcul etc…

Chronogramme SHUTTLE

Loop over all detectorsRegistration of condition filesInterfaces with info providers

ACORDE

EMCAL HMPID FMD ITS MUON PHOS PMD T0 TOF TPC TRD V0 ZDC

ECS

DAQ

DCS

HLT

Pre-Proc

SHUTTLE

EoR

Page 10: Calcul etc…

La grille ou le calcul distribué

Faire faire à mille souris le travail d’un éléphant

Page 11: Calcul etc…

Le modèle de calcul« If you don't know where you are going, you will wind up somewhere else »

T0• Archivage données brutes et distribution• Reconstruction « en ligne »

CAFAnalyse en ligne

T1• Copie des données• Reconstructions ultérieures• Analyses organisées

T2• Production MC• Analyses utilisateurs

La grille ALICE en temps réel:http://pcalimonitor.cern.ch:8889

Page 12: Calcul etc…

CCIN2P3: 13%

Ça roule !

Page 13: Calcul etc…

Alice et la grille

Interface

Services ALICE CA: https://igc.services.cnrs.fr/GRID-FR/

Page 14: Calcul etc…

Crée un proxy (lié à la session) avec CA perso

Demande un token (validité 24h)

Démarre UI AliEn

Page 15: Calcul etc…

Job 1.1 lfn1

Job 1.2 lfn2

Job 1.3 lfn3, lfn4

Job 2.1 lfn1, lfn3

Job 2.1 lfn2, lfn4

Job 3.1 lfn1, lfn3

Job 3.2 lfn2

Site

ALICE services centraux

Comment ça marche

Optimizer

ComputingAgent

RB

CE

WN

Execs agent

Submits job UtilisateurALICE Job Catalogue

VO-Box

LCG

User Job

ALICE catalogues

Registers output

lfn guid {se’s}

lfn guid {se’s}

lfn guid {se’s}

lfn guid {se’s}

lfn guid {se’s}

ALICE File Catalogue

packman

SE

xrootdGUID

LFC

SRM

MSS

File accessWorkloadrequest

SURL

Page 16: Calcul etc…

User job (many events)

Data set (ESD’s, AOD’s)

Job Optimizer

Sub-job 1 Sub-job 2 Sub-job n

Job Broker

Groupés par localisation SE

Soumet à CE proches SE

File merging job

Job output

File Catalogue query

Analyse distribuée (batch)

CE and SE

processing

CE and SEprocessin

g

CE and SE

processing

Output file 1

Output file 2

Output file n

processin

g

processin

g

Page 17: Calcul etc…

Sélection des événements

• Critères (exemple)– ESD– Collisions pp– Début 11/11/2007 et fin 25/12/2007– -1 cm < Vz < 1cm

– Mch > 10

– ptch > 10 GeV/c

• En 2 temps:– Sélection fichiers (AliEventTagCuts)– Sélection événements à analyser (AliTagAnalysis)

EE

Metadata Run

Metadata événement

Page 18: Calcul etc…

Analyse interactive

• PROOF: Parallel ROOT Facility• Analyse parallèle sur cluster local• Code utilisateur unique PROOF et

Analyse batch (TSelector)• Infrastructure analyse en développement

(AliAnalysisTask)• Pour être à jour:

– http://aliceinfo.cern.ch/Offline/Activities/Analysis/– [email protected]

Page 19: Calcul etc…

root

$ root$ root

root [0] tree->Process(“ana.C”)

ana.C

Schéma PROOF

ESD

PC utilisateur

Page 20: Calcul etc…

root

PROOF Cluster

ESD

ESD

ESD

PC utilisateur

$ root

node1

node2

node3

node4

$ root

root [0] tree->Process(“ana.C”)

ana.C

Schéma PROOF

ESD

Page 21: Calcul etc…

root

ESD

ESD

ESD

$ root

node1

node2

node3

node4

$ root

root [0] tree->Process(“ana.C”)

$ root

root [0] tree->Process(“ana.C”)

root [1] gROOT->Proof(“remote”)

ana.C

proof

Schéma PROOF

ESD

PROOF master

PC utilisateur PROOF Cluster

Page 22: Calcul etc…

root

ESD

ESD

ESD

proof

proof

proof

$ root

node1

node2

node3

node4

$ root

root [0] tree->Process(“ana.C”)

$ root

root [0] tree->Process(“ana.C”)

root [1] gROOT->Proof(“remote”)

ana.C

proof

Schéma PROOF

ESD

PROOF master

PROOF ClusterPC utilisateur

Page 23: Calcul etc…

root

Remote PROOF Cluster

ESD

ESD

ESD

proof

proof

proof

$ root

ana.Cstdout/result

node1

node2

node3

node4

$ root

root [0] tree->Process(“ana.C”)

$ root

root [0] tree->Process(“ana.C”)

root [1] gROOT->Proof(“remote”)

$ root

root [0] tree->Process(“ana.C”)

root [1] gROOT->Proof(“remote”)

root [2] chain->Process(“ana.C”)

ana.C

proof

Schéma PROOF

ESD

PROOF master

PC utilisateur

Page 24: Calcul etc…

Le mot de la fin

« In theory there is no difference between theory and practice. In

practice there is. »

Page 25: Calcul etc…

AlignementSimulation

Ideal Geometry

Desalignement

Reconstruction

Données brutes

Données des

géomètres

Géometry idéale

Procédure d’alignement