Calculs parallèles et Distribuésekladata.com/ssSavCRYacF1CEIk0-dvqSAbHmw.pdf3 Introduction...

Calculs parallèles et Distribués

Benmoussa Yahia

Université M’hamed Bougara de Boumerdès

yahia.benmoussa@gmail.com

Calculs parallèles et Distribués

Introduction

Parallélisation sur mémoire distribuée.

Parallélisation sur mémoire partagée

2

3

Introduction

Architectures parallèles Pourquoi?

– Il est très naturel de partager un gros travail parmi

plusieurs personnes.

En informatique, le parallélisme a rapidement considéré comme une option naturelle pour calculer.

répondre à une forte demande

– En puissance de calcul: simulation, modélisation

– En puissance de traitement: base de données, serveurs multimédia

Problématique: Calculs trop gros, Calculs trop long

4

Architectures parallèles Pourquoi?

Solutions :

Approche classique: diminuer le temps de calcul

– Matériels plus rapides: évolution processeurs et mémoire

En calcul parallèle: Exécution simultané de plusieurs opérations (Tâches).

– Meilleurs algorithmes

– Machines parallèles

5

Architectures parallèles Pourquoi?

Avantages :

– Amélioration des performances de calcul

– Accroissement de la taille des problèmes à résoudre

– Résolution de nouveaux problèmes

Problèmes

– La remise en question des concepts d'algorithmique classique basés sur le principe de la machine séquentielle.

– Diversité des modèles d'architectures parallèles

– Difficulté de la programmation des machines parallèles.

6

Algorithmique Parallèle Pourquoi?

Approches de résolution de problèmes dans un contexte d’exécution parallèle.

Modèles algorithmiques : contextes d’exécution parallèle simplifiés pour faciliter la conception.

Analyse théorique de la performance

Historique

7

Historique

8

Historique

9

Historique

10

Historique

11

Historique

1990 → 2000 : faillite, disparition

– fort retrait des supercalculateurs entre 1990 et 1995

– nombreuses faillites

– disparition des architectures originales

Pourquoi ?

– Manque de réalisme

– faible demande en supercalculateurs

– coût d’achat et d’exploitation trop élevés

– Une utilisation peu pratique

– systèmes d’exploitation propriétaires

– difficulté d’apprentissage

– Manque ou absence d’outils

– difficulté d’exploitation 12

Historique

2000 : l'apparition des grilles

– Améliorations apportées par la microinformatique micro-processeurs rapides

– réseaux haut débit/faible latence de plus en plus répandus

– facilité de mise à jour (changer un composant)

Evolution du Logiciel

– bibliothèques standardisées (PVM, MPI,OpenMP)

– compilateurs parallèliseurs

13

Historique

14

Définitions

Un programme séquentiel se caractérise par l’exécution de plusieurs tâches l’un après l’autre avec un ordre prédéfini.

Un programme parallèle se caractérise par l’exécution de plusieurs tâches distinctes ou non en même temps.

Un ordinateur parallèle : est une machine composée de plusieurs processeurs qui coopèrent à la solution de même problème.

Un système distribué (ou réparti) est un système de plusieurs processeurs impliqués dans la résolution d’un ou plusieurs problèmes.

15

Définitions

Qu’est-ce que le parallélisme ?

– Exécution d’un algorithme en utilisant plusieurs processeurs plutôt qu’un seul.

– Division d’un algorithme en tâches pouvant être exécutées en même temps sur des processeurs différents.

Le but : réduire le temps de résolution d’un problème un utilisant un ordinateur parallèle.

3 niveaux d’abstraction

– Architectures

– Algorithmes

– Programmation 16

Définitions

Le type de parallélisme: physique et logique

– Le parallélisme physique: Exécution de plusieurs tâches distincts ou égales.

– Le parallélisme logique (pseudo-parallélisme): Exécution de plusieurs tâches par un seul processeurs qui les traite alternativement.

17

Architectures parallèles

Plusieurs types d’architectures

– Distribuées

– Centralisées

Modèles d’architecture : simplification du fonctionnement des ordinateurs parallèles

– SIMD

– MIMD

– MIMD

18

Parallélisme : Mémoire partagé vs Mémoire Distribuée

19

Modèle de programmation parallèles

20

Programmation parallèle vs Programmation distribuée

Programmation parallèle

– Programmation dans un langage permettant d’exprimer le parallélisme dans une application réelle

Différents niveaux d’abstraction possibles

La parallélisation automatique serait la solution idéale, mais difficile à mettre en œuvre

La façon de programmer n’est pas indépendante de la machine utilisée

21

Programmation parallèle vs Programmation distribuée

La programmation distribuée :

– Chaque composant s'exécute sur un matériel interconnecté par un réseau local ou global.

– Les processus envoient entre eux des messages. Exemple :

• un serveur de fichiers dans un réseau ;

• une base de données

• es serveurs Web

Le modèle de programmation est souvent celui du client/serveur.

Souvent les composants distribués sont eux même multi programmés

22

Programmation parallèle vs Programmation distribuée

Calcul parallèle & Calcul distribué

– Parallèle : homogénéité, haut niveau de couplage des tâches.

– Distribué : hétérogénéité, indépendance logique et physique des tâches, client-serveur.

23

Calcul parallèle & Calcul concurrent

Calcul parallèle & Calcul concurrent

– Parallèle : coopération des processus dans la

résolution d’un problème.

– Concurrent : compétition entre processus,

partage des ressources.

24

Parallélisation sur mémoire distribuée en utilisant MPI

25

MPI : Message Passing Interface

Standard développé en 1993-1994 pour le développement d'applications parallèles portables. En regroupant les meilleurs aspects des bibliothèques de communications existantes.

Implémentation (gratuite) : www.lam-mpi.org

MPI : Modèle de programmation

26

Le modèle de programmation est le passage de message, dés qu’une machine (un processus) désir de communiquer avec un autre, il luit envoie un message en utilisant des fonctions en c, fortran et c++.

MPI : Objectifs

Objectifs :

– Portabilité

– Performance

– Fiabilité

– Simplicité

– Spécification indépendante du langage.

27

MPI : Modèle de programmation

Une application MPI est un ensemble de processus exécutant chacun son propre code (modèle SPMD) et communiquant via des appels à des sous-programmes de la bibliothèque MPI.

Le modèle d'exécution d'une application MPI est le SPMD (Single Program Multiple Data), soit l'exécution du même programme pour tous les processus. Les paramètres et les données sont privés à chaque processus, la synchronisation des processus MPI est de la responsabilité de l'utilisateur

28

MPI : Modèle de programmation

groupes et communicateurs.

communications point à point,

communications collectives,

types de données dérivées,

29

MPI : Communicateur

Communicateur constitué :

– D’un groupe de processus,

– d’un contexte de communication,

– une propriété des communicateurs qui permet de partager l'espace de communication, gérer les communications point-à-point et collectives.

30

Communicateur

31

Mode de communication

32

Communication Point à point

33

Communication collective

34