Serv

ice

info

rmat

ique

Act

ivit

és t

echniq

ues

et

valo

risa

tio

n

Com

puting

Dep

artm

ent

Tech

nic

al A

ctiv

itie

s an

d T

echno

logy

Tra

nsf

er

CPPM, Rapport d’activité Activity Report 2002-2006

SERVICE INFORMATIQUE

Le service informatique du laboratoire a pour mission principale de maintenir et de développer l’outil informatique pour les différents groupes de physique. L’équipe d’exploitation développe et exploite les moyens informatiques communs du laboratoire. Elle gère l’installation et la maintenance des machines et des logiciels et le réseau interne et l’espace de stockage. Elle a également la responsabilité de la sécurité informatique. L’équipe Support à la Physique et Temps Réel participe aux expériences de physique dans les domaines du calcul scientifique, du développement de codes et d’applications en temps réel. Elle est chargée de la mise en œuvre des systèmes spécifiques aux différentes expériences de physique.

The primary goal of the Computing Department of the laboratory is to maintain and develop the computing tools for the different physics groups. The operations team develops and maintains the common equipment of the laboratory. This group installs and maintains both the computers and the operating systems, and controls the behaviour of the network and the use of storage. It is also responsible for computer security. The Physics Support and Real Time team participates in the physics experiments. The group is expert in computing developments for scientific calculation and in real time applications. It is in charge of developing specific systems for individual physics experiments.

M. Ageron, C. Bee, K. Bernardet, J. Brunner, F. Cassol Brunner, P.-Y. Duval, D. Hoffmann, S. Kermiche, E. Knoops, D. Magnan, C. Meessen, Th. Mouthuy, O. Pisano, Z. Qian, M. Ricard, J.-M. Santoni, A. Tsaregorodtsev

R. Bazzoli, E. Dipinto, E. Fède, F. Koscielniak, A. Le Van Suu, S. Nicoud, J. Raguet

Figure 1 : Salle informatique avec les serveurs et le noeud de grille.Computing room with the servers and the local grid node.

64

Serv

ice

info

rmat

ique

Act

ivit

és t

echniq

ues

et

valo

risa

tio

n

Com

puting

Dep

artm

ent

Tech

nic

al A

ctiv

itie

s an

d T

echno

logy

Tra

nsf

er

CPPM, Rapport d’activité Activity Report 2002-2006

L’exploitation des moyens communs

Le groupe d’exploitation du service informatique gère l’ensemble des moyens informatiques, tant

au niveau installation que maintenance du matériel et des logiciels. Il définit la stratégie informatique

du laboratoire.

Le système informatique du laboratoire est basé sur un large parc de micro-ordinateurs (PC)

ainsi que sur un ensemble de serveurs reliées entre eux par un réseau local Ethernet à base de

commutateurs 100 Mb/s. Le cœur du réseau et la connexion au réseau national Renater et au

campus sont à 1 Gb/s.

L’ensemble des répertoires des utilisateurs est centralisé sur un serveur NAS, redondant et

sécurisé par une technologie RAID. Il est en outre secondé par un système de sauvegarde qui

permet la copie hebdomadaire des répertoires grâce à un robot.

Le système d’exploitation Windows est utilisé avec un service Active Directory qui gère les

authentifications et les droits de chaque utilisateur. Les groupes de physique utilisent principalement

le système Linux qui garantit une compatibilité binaire avec les centres de calcul et la grille de

calcul. Enfin, une soixantaine de PC portables est à intégrer dans l’exploitation quotidienne avec

les problèmes de sécurité associés au nomadisme intrinsèque de ces machines.

La sécurité informatique est un souci constant de l’équipe d’exploitation. Outre le suivi quotidien

et l’installation des correctifs de sécurité, l’équipe participe activement aux réunions de sécurité

de l’IN2P3. Un cloisonnement interne du réseau a été installé afin d’éviter une contamination

massive des postes en cas d’infection d’un ordinateur portable ou du branchement d’un ordinateur

d’un visiteur.

La demande en calcul et en stockage des groupes de physique est en progression constante en

raison de l’accumulation de nouvelles données et du démarrage des nouvelles expériences. Le

nœud de calcul du laboratoire qui atteindra près de 300 processeurs et 50 téra-octets de stockage

en 2010, est relié à la grille de calcul (voir section Grilles de Calcul).

L’informatique dans les expériences

Le service informatique du laboratoire dispose d’une dizaine d’ingénieurs spécialisés dans le

développement de logiciels et dans le calcul scientifique. Ils travaillent dans deux domaines

essentiels à la physique des hautes énergies. Le premier groupe, Temps Réel, développe des

applications temps réel, tels l’acquisition des données et le monitorage des détecteurs et

équipements. Le second groupe, Support à la Physique, intervient au niveau des techniques de

simulation, de reconstruction, de gestion, d’analyse des données et de support aux utilisateurs.

Activités ATLAS

Le groupe Temps Réel du laboratoire est impliqué dans les développements du projet ATLAS.

D’une part, il a installé un banc de test (figure 2) du système de contrôle qui est utilisé pour vérifier

les échelles du détecteur à pixel lors de leur qualification. Ce programme intègre un système

d’acquisition, un système de refroidissement et le contrôle via PVSS.

D’autre part, dans le développement du filtre, qui est le dernier étage du système de sélection

en ligne des événements, le groupe est responsable de l’algorithme de distribution à une ferme

de plus de mille PC. Il assure aussi la maintenance et le suivi des évolutions des services associés :

contrôle, base de données de configuration.

Parallèlement, nous avons développé un système de contrôle de cette ferme à base d’agents

mobiles Java puis par l’utilisation de Web-services. Finalement, un environnement de contrôle

plus général a été développé dans le contexte d’ATLAS, mais aussi pour l’expérience ANTARES.

Depuis l’approbation du rapport technique (TDR) du système d’acquisition et de déclenchement

de haut niveau d’ATLAS en juin 2003, nous avons assuré une partie de la responsabilité du projet.

Le travail s’est focalisé sur l’implémentation, les tests et le déploiement du système. Celui-ci a été

testé avec succès sur une ferme de PC allant jusqu’à 1100 machines lors d’une prise de données

en faisceau en utilisant un élément de chaque sous-détecteur. Depuis juin 2006, les premiers

éléments du système final sont en cours d’installation et de vérification.

65

Serv

ice

info

rmat

ique

Act

ivit

és t

echniq

ues

et

valo

risa

tio

n

Com

puting

Dep

artm

ent

Tech

nic

al A

ctiv

itie

s an

d T

echno

logy

Tra

nsf

er

CPPM, Rapport d’activité Activity Report 2002-2006

Le groupe de support à la physique poursuit différentes activités logicielles. Au niveau du

calorimètre, nous avons intégré les bouchons dans la base de données de production et

sommes responsables de l’intégration du logiciel spécifique dans le programme général.

Nous avons travaillé également sur l’alignement du détecteur interne, ce qui nécessitait des

techniques de calcul parallèle. Enfin, nous assurons du support logiciel pour les physiciens,

au laboratoire, au centre de calcul et sur la grille.

Activités LHCb

Le système de déclenchement à muons est basé sur un processeur complexe à base de 62

FPGA et de plusieurs milliers de liaisons à très haut débit. Le groupe développe le contrôle

de ce processeur, grâce à des outils qui valident les composants matériels et le traitement

numérique effectué. Ils sont basés sur l’injection d’une grande quantité de données de test

et la comparaison avec les résultats sortis des processeurs. Le groupe assure également la

coordination de l’intégration des différents modules de supervision, de la modélisation et du

contrôle de l’ensemble du système.

Le groupe de support assure la coordination et le développement de la gestion du calcul

distribué au moyen du logiciel DIRAC qui utilise aussi bien des ordinateurs individuels que

des grilles de calcul.

Activités DØ

Le groupe de support à la physique assure toutes les tâches liées à l’informatique du groupe,

y compris l’exploitation des machines. En particulier, il gère les installations locales du logiciel

et vérifie le fonctionnement correct des programmes. Fort de cette expertise, il participe

activement aux installations au centre de calcul, qui est un site de production et d’analyse

de la collaboration, et a joué un rôle important dans l’automatisation du transfert de données

vers le centre de calcul. Il participe à différentes analyses, comme la calibration du calo-

rimètre, à la sélection de données et à la production de données simulées. Enfin, il a permis

l’utilisation du site de calcul grille du CPPM comme site certifié pour la production de données

de simulation.

Activités H1

Le groupe Temps Réel a assumé la responsabilité du système d’acquisition de l’expérience.

Ce nouveau logiciel utilise un système de communication basé sur une architecture mixte

(Java, C++ et Perl) de type client-serveur entre les systèmes Unix. Dans un second temps,

il a développé et validé un nouveau système d’Event Builder, qui a intégré récemment un

dernier élément, le JetTrigger.Le groupe de support est fortement impliqué dans la réécriture du logiciel de l’expérience

dans une technologie orienté-objet. Dans ce cadre, il a participé aux développements d’outils

de contrôle de la qualité des données.

Activités ANTARES

Le groupe Temps Réel du laboratoire est responsable, tant au niveau conception que réalisation,

du système de contrôle et de commande de l’expérience. Celui-ci concerne le paramétrage

de tous les éléments du détecteur et la lecture régulière des instruments qui lui sont attachés.

Ces valeurs sont transportées vers la base de données Oracle par réseau. Un système de

visualisation basé sur Java permet un contrôle en ligne du détecteur.

D’autre part, le groupe de Support à la Physique a la responsabilité de l’organisation générale

du logiciel de l’expérience. Le travail porte en particulier sur le logiciel de simulation et le

bruit de fond des muons atmosphériques a été produit pour l’équivalent d’un an d’opération.

Les données du détecteur sont transférées automatiquement vers le centre de calcul, mais

leur qualité est vérifiée localement, permettant un contrôle en ligne du détecteur. Finalement,

nous avons la responsabilité de la partie logicielle du projet KM3Net qui démarre.

66

Serv

ice

info

rmat

ique

Act

ivit

és t

echniq

ues

et

valo

risa

tio

n

Com

puting

Dep

artm

ent

Tech

nic

al A

ctiv

itie

s an

d T

echno

logy

Tra

nsf

er

CPPM, Rapport d’activité Activity Report 2002-2006

Activités RENOIR

Le groupe a développé un logiciel de simulation piloté par un ensemble de fichiers XML dont

l’édition est facilitée par l’usage d’une interface graphique qui en garantit la cohérence. On

s’assure ainsi que les paramètres de simulation sont transférés tout au long de la chaîne de

production.

Un nouveau projet est en phase de conception. Il consiste en la réalisation d’un logiciel de

combinaison des paramètres cosmologiques obtenus par différentes sondes, qui nécessitent un

traitement de données spécifique. Ce projet utilise donc une grande puissance de calcul parallèle

et est bien adapté à l’utilisation de la grille. Les problèmes à résoudre concernent l’interface

utilisateur, l’assistance dans la soumission et le suivi des tâches, le graphique interactif et l’interface avec

des logiciels existants.

Activités imXgam

Un premier projet consiste en une amélioration des performances du programme d’acquisition.

Il a permis une importante réduction du temps de mesure. Ce programme comprend aussi le

pilotage de la motorisation et la conception du système de contrôle et de sécurité. Le second

aspect concerne le traitement des images acquises, afin d’augmenter la qualité des images produites.

Nous participons également à l’installation et l’organisation du logiciel de simulation, de

reconstruction et d’analyse. En particulier, les logiciels de simulation du scanner X dans le cadre

de la collaboration OpenGate sont basés sur GEANT4.

Figure 2 : Banc de test du système de contrôle et de lecture du détecteur à pixels d’ATLAS avec les fenêtres de l’interface utilisateur graphique développée au CPPM.System test bench for control and data acquisition of the ATLAS pixel Detector with windows of the graphical user interface developped at CPPM.

67

Mots-clés : acquisition de données en temps réel, exploitation de systèmes informatiques, filtrage d’événements en temps réel, système de déclenchement, techniques de simulation.