22

Présentation de Windows HPC Server 2008 : fonctionnalités, cas d'emploi et beta de la version R2

Mardi 9 Février 2010Thomas VARLETAvant Vente HPCMicrosoft France

33

•Fonctionnalités•Cas d’emploiWindows HPC Server 2008

•Présentation des nouvelles fonctionnalitésWindows HPC

Server 2008 R2

44

•Fonctionnalités•Cas d’emploiWindows HPC Server 2008

•Présentation des nouvelles fonctionnalitésWindows HPC

Server 2008 R2

55

Equipes Informatiques

Infrastructure d’entreprise

Environment HPC

Technologies Mainstream

StockageRéseaux rapides

Clusters/supercompute

rs

Analystes financiersIngénieursScientifiques

CompilateursLanguages

spécialisées Debuggers

66

Développement parallèle simplifié

Environnement PC et HPC unifiée

Infrastructure combinées

Environnement de développement unifié

High Productivity Computing

Fusion des Datacenters HPC et IT, administration du cluster simplifiée

Utilisateurs avec un accès a de multiples cœurs et serveurs

77

“Fournir une plateforme, des outils et un large écosystème pour réduire la complexité du HPC en rendant le parallélisme plus accessible pour trouver de

futurs solutions/produits.

Vision de Microsoft pour le HPC

Réduire la complexitée

Mainstream HPC Large écosystème

Faciliter le déploiement de gros cluster

Simplifier l’administration de cluster

Intégration avec l’infrastructure existante

Adresser les besoins traditionnels du HPC

Adresser les besoins émergeant du calculs

Permettre aux utilisateurs non techniques d’utiliser la

puissance d’une solution de calcul

Augmenter le nombre d’applications parallèle

Offrir un choix d’outils/ langages / bibliothèques

parallèle

Augmenter le nombre d’utilisateurs/développeurs/

administrateurs

88

Windows HPC Server 2008Plateforme complète et intégrée de cluster HPCBasée sur la plateforme Windows Server 2008Environnement intégré de développement

Windows Server 2008 HPC Edition

• Sécurisé, Fiable, Testé

• Support de matériel haute performance (x86-64, réseau rapide)

Microsoft HPC Pack 2008

• Ordonnanceur• Gestion des Resources• Gestion du Cluster• Message Passing Interface

Windows HPC Server 2008

• Solution intégrée • Consolide les

investissements dans l’infrastructure Windows

• Sécurise et facilite la gestion de cluster

Version d’évaluation disponible sur http://www.microsoft.com/hpc

99

Administration du système

Job Scheduling

Réseau& MPI Stockage

Interface fenêtrée (MMC) Interface PowerShellHaute disponibilité des frontalesWindows Deployment ServicesDiagnostiques/ReportingAgent pour SCOM

Support pour SOA et WCFSélection de la granularité des ressources Scalabilité pour de gros clusters, Gestion de politique de scheduling Interopérabilité via HPC Profile

NetworkDirect (RDMA) pour MPI Wizzard de configuration du cluster Mémoire partagée pour MPI sur multi-cœur MS-MPI est intégré avec Windows Event Tracing

Support de système de fichiers parallèle dans Win2008Server Message Block ( SMB v2)Support de système de mémoire cache

HPC Pack 2008

1010

Réseau MPI

Réseau Privé

Infrastructure IT

Nœud de calculNœud Maitre

ADDNSDHCP

Windows Update

Monitoring SystemsManagement

Cluster

Topologie typique

Admin / User Cons

WDS

Job Scheduler

MPI

Management

NAT

Node Manager

MPI

Management

Nœud de calculNode Manager

MPI

Management

Réseau d’entreprise

1111

Faciliter l’administrationSimple à installer et à gérer dans un environnement familier

Solution clef en main avec nos OEMSimplifie le déploiement de systèmes et d’applications

Images de base, patches, drivers, applications

Administration :Diagnostics, dépannage et monitoring Interface de gestion familière et flexibleLigne de commandes

Extensible :Déploiement, administration, infrastructureHaute disponibilité du nœud maitreRapport d’utilisation du cluster

Intégration dans l’infrastructure d’entreprise

Gestion des PatchsSystem Center Operations ManagementPowerShell« Windows 2008 high Availability Services »

1212

Faciliter l’utilisation : Ordonnanceur

Support toutes les tailles de cluster :Cluster “hétérogènes”Interface du type Linux/Unix

Gestion des ressourcesMémoire, cœur, socket, applicatif

Gestion des utilisateursGroupe, priorités

Gestion des jobs« Grow/shrink », SOA

Interopérabilité :Ordonnanceur du marchéFile système parallèle

Large support d’application :Travail avec les ISV

1313

• Fonctionnalités• Cas d’emploi

Windows HPC Server 2008

• Présentation des nouvelles fonctionnalités

Windows HPC Server 2008 R2

1414

Centre de Jouys-en-Josas :Laboratoire de Génétique Microbienne

"Rapidité de développement, performance, ergonomie, nous disposons d’une architecture matérielle et logicielle qui va nous aider dans le traitement des données",

développer des applications clés en main pour les biologistes.Cluster DELL de 8 serveurs sous HPCS cluster

Centre de Nancy :Simulations du comportement du bois optimisées

« Cet environnement de simulation complet et intégré permet d’exploiter pleinement le calcul parallèle et distribué, nous donne une totale autonomie pour la gestion de la plate-forme et facilite la démarche d’optimisation du code de simulation »

Premier cluster DELL de 5 serveurs sous CCSEtendu a 13 serveurs avec IB sous Windows HPC Serveur

1515

EURO/CFD :Entreprise spécialisée dans la simulation numérique des

phénomènes physiques à Belfort,11 Ingénieurs, ANSYS FluentPremier cluster de 24 serveurs (144 cœurs) sous CCSMaintenant, cluster de 35 serveurs (220 cœurs) sous HPCS

1616

L'Institut Automobile du Mans (IAM) a pour objectif le développement socio-économique de la filière automobile des Pays de la Loire.

Met a la disposition de ses membres de la puissance de calcul sous Windows

4 clusters reconfigurables : 4 frontalesTotal de 8 serveurs

Conseil/Intégration/réalisation : Serviware

Solution de calcul ANSYS, Simulia, Altair, …

1717

Cluster HP sous Windows HPC Serveurs 20088 serveurs dans 4U

54 cœurs Intel Xéon 5560Réseau Infiniband

Pour nos clients :Démo,Tests,Séminaires HPC

1818

• Fonctionnalités• Cas d’emploi

Windows HPC Server 2008

• Présentation des nouvelles fonctionnalités

Windows HPC Server 2008 R2

1919

Entrée de Microsoft dans le HPC

Personal Super Computing Windows Server 2003 Entrée de Microsoft dans le HPC Besoin « personnel » ou départemental Application HPC disponible sous Windows Outils de développement parallèle et HPC Facilité d’administration et de déploiement Intégration dans l’infrastructure Microsoft

2006

2020

Microsoft HPC Server

Broad Reaching HPC

2008

Windows Server 2008 Support du HPC traditionnel et émergeant Support de grand cluster (Top500) Meilleurs support des outils de développement et SOA Amélioration d’administration et de déploiement Intégration dans l’infrastructure Microsoft

2006

2121

Prochain Windows HPC

Highly Scalable, Efficient HPC Windows Server 2008 R2 Infrastructure extensible jusqu’a 1000+ serveurs Elément d’administration « customisable » pour un meilleur contrôle Evolution du modèle SOA pour une meilleur extensibilité et

programmation Modèle de programmation parallèle dans les Extensions .NET Intégration dans l’infrastructure Microsoft

20102006 2008

Parallel Extensions

2010

2222

Quels nouvelles fonctionalitésATTENTION : ces fonctionnalités peuvent encore changer (ajout/suppression)

Version Béta 2 sera complète !

Admin.Système

JobScheduler

Modèle SOA

Support MPI

Performance Utilisation Efficassité- Amélioration pour déploiement de grand clusters, - Support de base de donnée distante pour le cluster

- Optimisations pour gestion de grand clusters- Extension du modèle de « parameter sweep »

-Modèle d’échange de messages en duplex, - Persistance des Messages- Redémarrage automatique des WCF broker ou haute disponibilité

- Options de tunning MS MPI

-Nœuds virtuels- Wizzard de gestion des patchs - Group de serveurs- Customisation de la Heat map

- Vue de la progression des jobs - Taches de préparation/nettoyage - Information sur les jobs en erreurs - Amélioration de la sécurité - Envoie d’email-Utilisation de PC sous Windows 7 dans le cluster

- JOB SOA : lance et collecte- Installation Out-of-the-box des WCF broker- Point de configuration unifié via IU - Barre de progression intégré

- Placement des processus MPI

- Nœuds de calculs sans disque via boot réseau basé sur iSCSI- Filtres et vue multiples-Diagnostiques/Rapports extensibles

-Gestion des priorité des services - Amélioration de la gestion des licences applicatives

-Vérification/Diagnostiques- Diagnostiques extensible- Corrélation des traces- Tracing- Plus de compteur de perf sur les Broker -CLI pour voir les sessions

2323

Deploiement Flexible

Requête client HPC Server 2008 R2

Serveurs sans disque • Boot réseau iSCSCI = disque n’est pas dans le serveur• Support initial : NetApp filers et Windows Storage Server• 1000 serveurs à Université de Southampton Top 500

Clusters Dual Boot • « Best practices » de nos labs• Déploiement Hybrid ROCKS Linux/Windows de Clustercorp• Ordonancement de cluster Dual boot de Adaptive

Computing et Platform Computing

Upgrade flexible • Upgrade de la frontale vers R2 Server et HPC Pack R2• Guide de migration de la configuration et historique• Support de nœuds de calcul sous Windows Server 2008 et

2008 R2Performance de la base de donné du cluster

• Sépare les fichiers de données et log à l’installation• Base de donnée du cluster sur un SQL serveur distant

2424

ExtensibilitéRequête client HPC Server 2008 R2

Performance • Performance équivalente à Linux• « Hands-on work » avec des ISVs et codes open source• Collaboration avec Argonne sur MPI• Travail avec l’Alliance Open Fabrics Alliance pour Infiniband

sur Windows• NetworkDirect pour communications RDMA MPI

Démontrer l’extensibilité • Tests réguliers sur des clusters de 1000+ serveurs• Conseils sur la configuration de la frontale • Runs Top 500 réguliers

Utilisation pour de petits/moyen/gros clusters

• Customisation de la Heat map et liste des nœuds • Groupe de nœuds basé sur la localisation • Scripting Powershell pour toutes les actions• Extensibilité avec Microsoft Operations Manager

Utilisation de la puissance de mes stations de travail

• Des machines sous Windows 7 pourront rejoindre le cluster pour ajouter de la puissance de calculs

2525

Heat Map Flexible

2626

Utilisation de stations de travail

Principe : HPC Server 2008 R2 introduit la possibilité d’ajouter des PC sous Windows 7 comme des nœuds de calculs dans un cluster HPCS Vois et surveille les PC comme des nœuds de calculs dédiés. Utilisation pendant des créneaux de disponibilité (nuit, week-end, … )Les Jobs soumis sur un PC :

niveau de priorités bas éviter une interruption de service sur la console.

PrérequisWindows 7 Professional ou Enterprise

besoin du support Active DirectoryNe supporte que la topologie 5 :

PC, la frontale et les nœuds de calculs doivent-être sur le même réseau public

Même domaines pour PC et serveurs

Augmenter la puissance du cluster HPC en utilisant la puissance libre sur les stations de travails.

2727

Diagnostiques avancé

Requête client HPC Server 2008 R2

Framework de Diagnostiques

• Framework diagnostics extensible• Ecrire son scripts/code de test• Nous travaillons avec ISVs, vendeurs de réseaux, et OEMs• Nouvelles diagnostiques pour SOA et réseau

Progressions des Job • Montre en % la progression du job• Nouvelle API pour les intégrer le rapport dans les

applications• Statuts des taches

Erreurs et Tracing • Voir tous les messages d’erreurs• Sous statuts lors du déploiement • Traces pour SOA• MPI and SOA debugging

Extensibilité de la base de données du clusters

• Exportation de l’historique des job et des taches pour un rapport personnalisé

• Analyse avec SQL Server Reporting, Excel, etc

2828

Business Critical SOARequête client HPC Server 2008 R2 Features

Paralléliser facilement les applications

• Expose les calculs comme des services WCF• Etendre les applications aux cluster de calcul• Haut débit et faible latence

Lance et re-collecte • Client soumet une requête puis se reconnecte pour collecter les résultats

• Paradigme de batch SOA• Requêtes et résultats survivent si le client tombe

WS-* Interop • Construit sur des services web standard• Exemples pour des clients Java et C/C++

Haute disponibilité du Broker

• Déploiement de broker Haute Disponibilité avec «Windows Failover Services »

• MSMQ est utilisé pour la persistance des requête et des réponses

Gestion des services • Contrôle interactif des applications • Garanti aux applications un nombre minimum de cœurs• Possibilité de « Grow and shrink » avec les ressources

disponibles

28

2929

Excel 2010 sur Windows HPC

Excel fonctionne sur le cluster et calculs des classeurs Lancé depuis un client (Excel/application) Excel 2010 sur un serveur lancé par un services SOA, Nécessite HPC Server 2008 R2 et Excel 2010

Remote Excel

Depuis Excel, envoie les UDF (XLL) existantes sur un cluster Simple add-in Excel pour lancer les UDF sur le cluster Nécessite HPC Server 2008 R2 et Excel 2010

Remote UDF

code VSTO dans un classeur appel un service SOA Entrées et sorties gérés par le développeur Excel Excel client SOA

Windows HPC Server 2008 R2 fournis 2 nouveaux mécanisme pour distribuer des calculs Excel sur un cluster HPC

Nouveau

Nouveau

3030

Windows HPC Server 2008 R2Release Schedul

e

Mai Juin Juil. Aout Sept Oct Nov Dec Jan Fevr MarQ2 2009 Q3 2009 Q4 2009 Q1 2010

Community Technical Preview

May 2009

CTP 2Sept 2009

BetaNov 2009

RTM Eté 2010English, Chinese, Japanese

Beta2Mar2010

RTMH2 2010

Q3 2010

Windows HPC Server 2008

SP1

3131

Pour plus d’informationshttp://www.microsoft.com/hpc

Liens pour télécharger Beta 1 sur MS ConnectLiens pour télécharger des docs sur R2

http://technet.microsoft.com/hpcLiens vers des documentations techniques, Blog équipe

HPC et forums HPCMis à jour régulièrement avec des nouvelles

documentations, SDKs, exemples, vidéos, et autres infos utiles

31

3232

Autres sessions HPC

Mardi 9 Février de 17h30 à 18h30Microsoft Office Excel 2010 et Windows HPC Server 2008

R2 : puissance d'un cluster de calcul Excel Des calculs de plus en plus énormes se font dans des

feuilles Excel. Il n'est pas rare que ceux-ci durent des heures voire des jours. Il était logique qu'Excel comme les autres applications de calcul puisse tirer parti de la puissance des clusters HPC. Avec la beta de Windows HPC Server 2008 R2 et Excel 2010 un premier pas important est fait dans cette direction. Venez comprendre et voir les mécanismes mis en oeuvre avec des démos « live ».