18
0.5 setgray0 0.5 setgray1 GRID-TLSE : un site d’expertise en algèbre linéaire creuse Marc Pantel [email protected] CERFACS, FERIA-IRIT, LaBRI, LIP Projet GRID-TLSE ENSEEIHT 2, rue Camichel, 31071 TOULOUSE CEDEX FRANCE http://www.enseeiht.fr/lima/tlse GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 1/17

GRID-TLSE : un site d'expertise en algèbre linéaire creuse

  • Upload
    dothuan

  • View
    238

  • Download
    6

Embed Size (px)

Citation preview

Page 1: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

0.5setgray0

0.5setgray1

GRID-TLSE : un site d’expertiseen algèbre linéaire creuse

Marc [email protected]

CERFACS, FERIA-IRIT, LaBRI, LIPProjet GRID-TLSE

ENSEEIHT2, rue Camichel,

31071 TOULOUSE CEDEX FRANCEhttp://www.enseeiht.fr/lima/tlse

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 1/17

Page 2: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Plan

� Introduction

� Contenu du site

� Infrastructure pour le Grid Computing

� Points à explorer

� Conclusion

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 2/17

Page 3: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Introduction

� Projet sur 3 ans subventionné par l’ACI GRID

� Laboratoires : CERFACS, IRIT, LaBRI,LIP-ENS

� Partenaires industriels : CNES, CEA, EADS,EDF, IFP

� Collaborations internationales : Berkeley, RAL,Parallab, Univ. Florida, Univ. Minneapolis, Univ.Minnesota, Univ. Tennessee, Univ. San Diego,Univ. Indiana, . . .

� Contacts avec des constructeurs : IBM, SGI,Fujitsu, . . .

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 3/17

Page 4: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Matrice creuse ?Matrice initiale Matrice factorisée

0 100 200 300 400 500

0

100

200

300

400

500

nz = 51040 100 200 300 400 500

0

100

200

300

400

500

nz = 58202

Matrice dwt_592.rua (N=512, NZ=2007);Calcul de structure de sous-marin

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 4/17

Page 5: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Quelques propriétés :

� Tailles moyennes : Matrice 100 MB;Facteurs = 2 GB; Flops = 10 Gflops ;

� Exploitation de la structure creuseRenumérotation Flops

Sans 1073 � �� �Avec 42 � �� �

� Contrôle de la précision numériqueSeuil de pivotage Erreur numérique

�� � �

4 � �� � �

�� � �1 � ��

�� � ��3 � � � �

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 5/17

Page 6: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Objectifs du projet

� Conception d’un site d’expertise pour lesmatrices creuses

� Diffusion de notre expertise en algèbre linéairecreuse

� Donner accès aux outils et aux logiciels aussibien développés par nous que par le reste de la«communauté»

� Basé sur l’utilisation d’une grille de calcul

� Aide à la définition et au déploiement deprocédures d’expertises

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 6/17

Page 7: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Pourquoi ?Chaque requête d’expertise peut induire un volumeimportant de calculsPar exemple :

� Autant d’exécutions d’un code creux que

� de solveurs différents

� d’instances des solveurs sur des architecturesdifférentes

� de valeurs possibles pour les paramètres decontrôle ...

� Plus généralement autant d’exécutions que devaleurs appropriées des paramètres d’entrée(logiciels, matériels et algorithmiques)

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 7/17

Page 8: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Est-ce réaliste ?

Relative indépendance entre requêtes d’expertisesRésultat d’observation : donnée synthétiqueSpécification «naturelle» de la persistance desdonnées:

Au sein d’une requête d’expertiseEntre deux requêtes consécutives

Temps de réponse pas critique car expertiseMaîtrise du domaine algorithmique et logiciel(algèbre linéaire creuse)«Mise à disposition» de logiciels commerciaux

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 8/17

Page 9: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Est-ce réaliste ?

� Relative indépendance entre requêtes d’expertises

� Résultat d’observation : donnée synthétique

� Spécification «naturelle» de la persistance desdonnées:

� Au sein d’une requête d’expertise

� Entre deux requêtes consécutives

� Temps de réponse pas critique car expertise

� Maîtrise du domaine algorithmique et logiciel(algèbre linéaire creuse)

� «Mise à disposition» de logiciels commerciaux

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 8/17

Page 10: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Contenu du site d’expertise

� Logiciels matrices creuses : méthodes directes

� MUMPS (CERFACS, IRIT, LIP-ENS)

� PaStiX, SCOTCH (LaBRI)

� Librairie HSL (RAL) dont MA41, MA49, . . .

� SuperLU (Berkeley)

� Autres (commerciaux,? . . . )

� Base de données :bibliographiques, résultats d’expertise.

� Collections de matrices creuses (RAL-BOEING,PARASOL, en provenance des utilisateurs)

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 9/17

Page 11: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Composants logiciels

Matlab / SciLAB

Weaver Collect.Matrices

( RAL−BOEING / Parasol )

Expert Site :Grid−TLSE

Database

Logfiles

Static Dynamic

Solvers

Bibliography

External User

Internal UserExpert

Grid

History

MIDDLEWARE :FAST + DIET

Stats

User−supplied matrices

WebSolve

/ ...

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 10/17

Page 12: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Types d’utilisateurs

� Utilisateur expert (concepteur de logiciel etpartenaires du projet) :interagit avec Weaver et Websolve pour ajouter /modifier / tester des services sur la grille et écriredes procédures d’expertise.

� Utilisateur externe («client») :limité à émettre des requêtes d’expertise ou àconsulter la base de données à partir d’unnavigateur.

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 11/17

Page 13: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Description des servicesEnrichir une description CCM (Corba ComponentModel) pour décrire :

� des propriétés numériques des données;

� des propriétés algorithmiques des logiciels;

� des propriétés informatiques : architecture,modèle de programmation, volume mémoire . . .

Mots-clés associés à des valeurs:

� obligatoires ou par défaut;

� définis par l’utilisateur;

� résultant du lancement d’un service.

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 12/17

Page 14: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Mots-clés numériques

� Type de calcul : ordering, factorisation, solve, . . .

� Algorithme :

, ,

, . . .

� Type de matrice (obligatoire) : Real / Complex

� Symétrie (facultatif)

� Forme : carrée, rectangulaire, . . .

� Structure : pleine, % de densité, bande,triangulaire, . . .

� . . .

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 13/17

Page 15: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Mots-clés informatiques

� Nom du solveur

� Séquentiel ou parallèle (distribué / partagé)

� Machines : (SUN, IBM SP, HP COMPAQ, SGIORIGIN, Grappes, PC)

� Taille mémoire / nombre de processeurs pourréaliser la requête( estimation ? ... )

� . . .

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 14/17

Page 16: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Exemple de requête d’expertiseTemps minimal pour résoudre

��� � �

avec

non symétrique

Matlab / SciLAB

Weaver Collect.Matrices

( RAL−BOEING / Parasol )

Expert Site :Grid−TLSE

Database

Logfiles

Static Dynamic

Solvers

Bibliography

External User

Grid

History

MIDDLEWARE :FAST + DIET

Stats

User−supplied matrices

WebSolve

/ ...

Procédure d’expertise

Services disponiblesinterroge Weaver

retournés par Weaver

Générationd’un jeu de tests

Eventuellement itération avecutilisateur

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 15/17

Page 17: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Infrastructure pour le Grid

� Utilisation des outils développés dans le cadre duprojet GRID-ASP : FAST, DIET

� Interface de haut niveau pour le déploiement etl’exploitation des services sur une grille : Weaver

� Interface Web pour lancer (interactivement) desrequêtes de calcul : WebSolve

� On ne renvoie aux utilisateurs externes que desstatistiques d’expertise.

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 16/17

Page 18: GRID-TLSE : un site d'expertise en algèbre linéaire creuse

Principaux développements

� Ecriture des modules Weaver et Websolve

� Ecriture des procédures d’expertise

� Incorporation des logiciels d’algèbre linéairecreuse

� Construction de la base de donnéesbibliographiques et des collections de matricescreuses

� Gestion des données issues de l’expertise( L’exploitation de ces données est hors projet ).

GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 17/17