Alphorm.com Support de la Formation PromoxVE 4.x

18/03/2016

1

Formation Proxmox Virtual Environment 4.1 alphorm.com™©

Site : http://www.alphorm.comBlog : http://blog.alphorm.com

Ludovic Quenec'hduFormateur et Consultant indépendant OpenSource et virtualisation

Formation Proxmox VE 4.x

18/03/2016

2


Plan• Présentation du formateur

• Le plan de la formation

• A propos de la formation

• Objectifs de la formation

• Liens utiles

18/03/2016

3


Présentation du formateur• Ludovic QUENEC’HDU

• [email protected]

• Consultant et expert en Open source, logiciel libre et virtualisation

• Mission de conseil, d’architecture, d’administration, de migration et de formation

• Mes références :

� Mon profil LinkedIn : https://fr.linkedin.com/pub/ludovic-quenec-hdu/47/6bb/550

� Mon profil Alphorm : http://www.alphorm.com/formateur/ludovic-quenechdu

18/03/2016

4


Mes formations sur Alphorm

18/03/2016

5


Cette formation est la mise à jour de la formation 3.x

18/03/2016

6


Le plan de formation• Vue d'ensemble de Proxmox VE

• Présentation de ProxmoxVE 4.1• Installation de ProxmoxVE• Découverte de l'interface d'administration

• Les technos de virtualisation • les machines virtuelles• Les containers• Kernelbased Virtual machine – KVM• LXC - Linux containers

• Les machines virtuelles sous Proxmox• Ma premiere machine virtuelle• Les templates lxc• Déploiement du container LXC

• Gérer les machines virtuelles• Booster la VM• Démarrer, arrêter, suspendre les Vms• Les snapshots• Clonage et modèles

• Le modèle réseau• Introduction au réseau Proxmox• Comprendre les pont réseau – Bridge• Comprendre l'agrégation de lien

• Le modèle de stockage • introduction au stockage avec Proxmox• Le LVM Logical Volume Manager• Le ZFS• Le NAS – NFS• Le SAN – ISCSI• Les FS distribues - Glusterfs• Les FS distribues – ceph

• Cluster Proxmox• Un peu de théorie• Installation d'un cluster et ajout et suppression de

nœuds• Migration des machines virtuelles

• Haute disponibilité• Mise en place de la HA

• Gestion des utilisateurs• Privilèges, rôles et permissions

18/03/2016

7


A propos de la formation• Public concerné :

� Techniciens Systèmes & Réseaux

� Administrateurs Systèmes

� Ingénieurs Systèmes

� Architectes Systèmes ou Infrastructure

� Directeurs Systèmes d’Information

• Prérequis pour bien comprendre :

� Disposer de connaissances linux est un plus

� Connaissances de base des OS

� Connaissances de base des réseaux, Stockage...

18/03/2016

8


Objectifs de la formation• Déployer et configurer un serveur Proxmox

• Créer, administrer et déplacer les machines virtuelles

• Comprendre, configurer et gérer les aspects réseau et stockage partagés

• Créer un cluster Proxmox

• Optimiser la disponibilité de l’infrastructure avec la HA

• Gérer les accès utilisateurs

18/03/2016

9


Les liens utiles• Documentations :

� Wiki complet : http://pve.proxmox.com/wiki/

• Forums :

� Forum officiel Proxmox : http://forum.proxmox.com/

18/03/2016

10


Are you ready ? ☺

18/03/2016

11




Présentation de Proxmox VE 4.1

Vue d'ensemble de Proxmox VE

18/03/2016

12


Plan

• C’est quoi ProxmoxVirtualEnvironment 4.x ?

• Les technologies utilisées par ProxmoxVE

• Les services proxmoxVE 4.x

18/03/2016

13


C’est quoi ProxmoxVirtualEnvironment 4.x ?

• ProxmoxVE 4 :

� N’est pas une solution de Cloud, n‘est pas un hyperviseur

� C’est une plateforme d’orchestration de machines et conteneursvirtuels

� Basé sur une Debian 8 GNU/linux

� Gestion des clusters

� Gestion des machines virtuellles et conteneurs Lxc

18/03/2016

14


C’est quoi ProxmoxVirtualEnvironment 4.x ?

LXC KVM

GUI

Cluster

HA

LVM/ZFS/ISCSI/GLusterfs

ProxmoxVE

18/03/2016

15


Les technologies utilisées par ProxmoxVE• KVM :

� L’hyperviseur du noyau Linux. C’est une solution de Full virtualisation assistée par le matériel

• LXC :

� C’est une interface en espace utilisateur qui permet de manipuler des containers Linux et gérer des environnements aussi isolés que possible à partir des noyaux linux standard

• SPICE :

� Simple Protocol for Independent Computing Environments

� C’est un protocole d’affichage et d’interaction à distance dédié aux machines virtuelles; principalement pour la virtualisation des bureaux à distance. On peut le comparer à RDP ou ICA.

18/03/2016

16


Les technologies utilisées par ProxmoxVE• KSM :

� Kernel Samepage Merging ou Kernel Shared Memory

� Il permet à plusieurs VMs de même type de partager les pages mémoires. Ce qui permet une réduction de la consommation mémoire.

• Balloning :

� Il pilote virtio qui permet aux OS invités (kvm ) de modifier dynamiquement sa mémoire inutilisée pour l’attribuer à une autre machine virtuelle

• Pilote Virtio :

� Il permet d’améliorer la virtualisation avec des pilotes de paravirtualisation des périphériques blocs, réseaux, graphiques, scsi, mémoire…

18/03/2016

17


Les technologies utilisées par ProxmoxVE• Le LVM :

� C’est le gestionnaire de Volume logique du noyau Linux. Il permet de redimensionner, des groupes de volumes, des volumes logiques et créer des snapshots. Toutes ces fonctions sont réalisées à « chaud ».

• DRBD :

� Distributed Replicated Block Device ou périphérique en mode bloc répliqué et distribué

� C’est une architecture de stockage distribuée pour GNU/Linux, permettant la réplication de périphériques bloc (disques, partitions, volumes logiques etc…) entre des serveurs

• CEPH :

� C’est une plateforme libre de stockage distribué. Les objectifs principaux de Ceph sont d'être complètement distribué sans point unique de défaillance, extensible jusqu'à l'exabyte et librement disponible. Les données sont répliquées permettant au système d'être tolérant aux pannes.

18/03/2016

18


Les technologies utilisées par ProxmoxVE• GLusterFS :

� C’est un système de fichiers libre distribué en parallèle, qui permet de stocker jusqu'à plusieurs pétaoctets (1015 octets). C'est un système de fichiers en cluster. Livré en deux parties - un serveur et un client.

• iSCSI :

� C’est un protocole SAN qui permet d’accéder aux volumes de stockage en mode bloc

18/03/2016

19


• Bonding :

� Agrégation de cartes réseaux, également appelé NIC teamings

� Il permet d'obtenir soit de la haute performance ou de la redondance ou même les deux en même temps.

� En mettant en place l'agrégation de liens. Les cartes réseaux apparaissent alors comme une seule interface. Il s'agit d'une fonctionnalité native du noyau Linux qui est supportée par la plupart des commutateurs.

� Le Channel Bonding améliore grandement les délais de migration et améliore la vitesse de réplication de données entre les nœuds du cluster

• Openvswitch :

� C’est un commutateur virtuel distribué qui permet de connecter les VMs et conteneurs, d’offrir des services de qualité de service, de redondance, d’isolation de trafic, des métriques de performance…

Les technologies utilisées par ProxmoxVE

18/03/2016

20


Les services proxmoxVE 4.x• Un nœud d’un cluster Proxmox VE exécute un certain nombre de services.

• Nous allons voir une petite description de ces services (deamons en langue Linux) :

� pve-cluster : Ce service est le cœur de toute installation Proxmox VE . Il fournit un système de fichiers Proxmox_Cluster_file_system_ (pmxcfs), pour stocker les fichiers de configuration, répliqué en temps réel sur tous les nœuds en utilisant corosync. Les fichiers de configuration sont stockés dans le répertoire /etc/pve

� Pvedaemon : pvedaemon est le serveur de l'API REST http://fr.wikipedia.org/wiki/Representational_State_Transfer. Tous les appels d'API qui nécessitent les privilèges root sont effectuées en utilisant ce serveur. Le serveur s'exécute en tant que root, mais seulement à l'écoute sur un port adresse locale 127.0.0.1:85 pour des raisons de sécurité. Il sert généralement les demandes de pveproxy, qui écoute lui sur les ports publics, et exécuté en tant qu'utilisateur non root.

� Pveproxy : Comme son nom l’indique; ce service est un proxy qui transfère les appels des nœuds dans le cluster. Cela permet d’effectuer des requêtes sécurisées avec un utilisateur non root.

18/03/2016

21


Les services proxmoxVE 4.x� corosync : est un gestionnaire de cluster qui gère un groupe de services. Un

gestionnaire de connexions qui s'occupe de la gestion de l'appartenance des nœuds à un Cluster : des messages entre les nœuds du cluster, de la notification d'événements, du quorum et les changement d'état dans le cluster.

18/03/2016

22


Ce qu’on a couvert

• C’est quoi ProxmoxVirtualEnvironment 4.x ?

• Les technologies utilisées par ProxmoxVE

• Les services proxmoxVE 4.x

18/03/2016

23




Installation de ProxmoxVE


18/03/2016

24


Plan

• Installation de ProxmoxVE 4.1

18/03/2016

25


Installation

18/03/2016

26


Installation

18/03/2016

27


Installation

18/03/2016

28


Installation

18/03/2016

29


Installation

18/03/2016

30



• Installation de ProxmoxVE 4.1

18/03/2016

31




Découverte de l'interface d'administration


18/03/2016

32


Plan

•Faisons un petit tour

18/03/2016

33


Faisons un petit tour

18/03/2016

34



•Faisons un petit tour

18/03/2016

35




Les machines virtuelles

Les technos de virtualisation

18/03/2016

36


PlanPlan

• C’est quoi une machine virtuelle ?

• Les technologies de virtualisation

18/03/2016

37


C’est quoi une machine virtuelle ?

• La représentation “logicielle” d’une machine physique

18/03/2016

38


C’est quoi une machine virtuelle ?

• Une machine virtuelle c’est :

� Une représentation logicielled’une machine physique

� Émulation du CPU, mémoire, nic, contrôleur de disque, disque, etc..

� Un OS installé dans la VM –Guest OS ou OS invité

18/03/2016

39


La full virtualisation – Émulation complète

• Translation Binaire :

� Ne requiert aucune modification au niveau du système d'exploitation

� N'a pas "conscience" de la virtualisation

� Demande une charge importanteau CPU

18/03/2016

40


La Paravirtulisation

• Pilotes spécifiques :

� Le système d'exploitation requiert une modification au niveau du noyau

� Communication entre l’hyperviseur et le guest au travers de « backend »

� PCI passthrough – DirectPass I/O

� Très bonnes performances

18/03/2016

41


La virtualisation matérielle – HVM

• Accès direct au CPU de l’hôte

� Modification matérielle sur les CPU

� Technologies :

• Intel-VT-x (VT-d, VT-c)

• AMD SVM

� Le noyau de l’hôte est modifié pour ajouter les fonctions de virtualisationmatérielles

18/03/2016

42



• C’est quoi une machine virtuelle ?

• Les technologies de virtualisation

18/03/2016

43




Les containersLes technos de virtualisation

18/03/2016

44


Plan

• Le modèle : isolation, containers

• Les produits : “Isolateur”, containers

18/03/2016

45


Le modèle : isolation, containers

• Un conteneur c’est :

� Le partage d’un noyau

� Les conteneurs utilisent le noyaude l’hôte

� Isolés avec les espaces de noms

• Réseau

• File system

• Les processus

� Les ressources sont limitées

18/03/2016

46


Les produits : “Isolateur”, containers• En isolation :

� Chroot

� BSD Jails

� Les zones de Solaris

• En containers :

� LXC

� OpenVZ

� Linux-Vserver

� Dockers

18/03/2016

47


Plan

• Le modèle : isolation, containers

• Les produits : “Isolateur”, containers

18/03/2016

48





KVMKernelbased Virtual machine

18/03/2016

49


Plan

• Historique

• Fonctionnalitées

• Architecture

• Outils

18/03/2016

50


Historique• KVM est une solution de Full virtualisation assistée par le matériel

• Avi Kivity a commencé le développement de KVM en 2006 comme module noyau au travers d’une startup nommée Qumranet

• KVM est intégré au noyau Linux 2.6 à partir de Février 2007.

• Red Hat rachète Qumranet en 2008

• KVM a été choisi par OpenVirtualization Alliance comme hyperviseur.

• OpenVirtualization Alliance fait partie du projet Linux Foundation

18/03/2016

51


HistoriqueKVM est la base de beaucoup de solution de virtualisation

OpenNebula

oVirt/Redhat Virtualization

Openstack

Proxmox Ve

18/03/2016

52


Fonctionnalitées• Virtualisation matérielle

• Paravirtualisation :

� Réseau

� Bloc

� PCI Passthrough

� Balloning memory

• OS invité Linux, FreeBSD, MS Windows, Mac OSX, nested hypervisor

• Live Migration

• Kernel Samepage Merging, Huges Pages, CPU pinning

• S’interface avec Libvirt

18/03/2016

53


ArchitectureKVM module noyau !!

Crée un périphérique /dev/kvm

QEMU-KVM s’occupe de l’émulation des périphériques (usb, réseau, disques, cpu ... )

Une architecture virtualisée kvm, repose sur le /dev/kvm et sur qemu pour l’émulation et des outils

Les outils permettant de créer et utiliser des machines virtuelles KVM interagissent avec ce périphérique

18/03/2016

54


Outils• L’utilisateur ne va pas directement discuter avec les ioctl et le

périphérique KVM /dev/kvm :

� qemu-system-{x86_64,i386, arm, ...}, qemu-img

� Libvirt : virsh, virt-install, virt-clone, virt-manager (GUI)

� Ovirt, proxmox, Openstack

18/03/2016

55


Pour aller plus loin• Formation : KVM sur Alphorm

http://www.alphorm.com/tutoriel/formation-en-ligne-kvm

18/03/2016

56



• Historique

• Fonctionnalitées

• Architecture

• Outils

18/03/2016

57




LXC - Linux containers


18/03/2016

58


Plan

• Qu’est-ce que LXC?

• Architecture des Linux Containers

• Les espaces de noms ou Namespaces

• Introduction aux groupes de contrôle

18/03/2016

59


Qu’est-ce que LXC?• LXC est une interface en espace utilisateur (userspace)

• C’est une API et des outils en licence GNU LGPLv2.1

• Manipuler des conteneurs

• LXC peut être vu comme une solution entre le chroot et une machine virtuelle.

• L’idée est de créer et gérer des environnements aussi isolés quepossible à partir des noyaux linux standard et ce sans modification

18/03/2016

60


Architecture des Linux Containers• LXC pour gérer et créer des conteneurs, utilise des fonctionnalités du

noyau Linux :

� Espace de noms - namespaces (ipc, uts, mount, pid, network and user)

� La sécurité MAC Apparmor et SELinux

� Les capabilities

� Les groupes de contrôle - CGroups (control groups)

18/03/2016

61


Architecture des Linux Containers

• Outils LXC en User space

• Partage le noyau de l’hôte

• Utilise les fonctionnalités du noyau pour l’isolation et la gestion des processus conteneurs

18/03/2016

62


Les espace de noms ou Namespace• Les namespaces sont une fonctionnalité du noyau Linux :

� Process Namespace

• Isole les processus, le conteneur dispose de sa liste de processus

� Network Namespace

• Isole les interfaces réseau, le conteneur dispose de ses propres interfaces

� Mount Namespace

• Isole les systèmes de fichiers

� UTS Namespace

• Permet au conteneur de disposer de ses noms d’hôtes et de domaines

� IPC Namespace

• Ses propres processus Inter Communications

� User Namespace

• Permet aux conteneurs de disposer de ses utilisateurs, root dans le conteneur possede l’id et le gid 0

18/03/2016

63


Introduction aux groupes de contrôle

profÉtudiant Système

Mémoire DisqueHTTP

NFS

1024640 512

50%20% 30% 50%20%

50%20%

Réseau

CPU Shares

50%20% 30%

18/03/2016

64


Introduction aux groupes de contrôle• Les cgroups sont organisés en sous-systèmes ou modules

• Un sous-système est un contrôleur de ressources

• Blkio : Surveille et contrôle l'accès des tâches aux entrées/sorties sur des périphériques bloc

• Cpu : Planifie l'accès de la CPU

- Cpuacct : Rapports sur les CPU utilisées

- cpu.shares : Part relative du temps CPU disponible pour les tâches

• Cpuset : Affecte des CPU à des tâches

• Devices : Autorise ou refuse l'accès aux périphériques

• Freezer : Suspend ou réactive les tâches

• memory : Utilisation mémoire

18/03/2016

65


Pour aller plus loin• Formation : LXC sur Alphorm

http://www.alphorm.com/tutoriel/formation-en-ligne-lxc

18/03/2016

66



• Qu’est-ce que LXC?

• Architecture des Linux Containers

• Les espaces de noms ou Namespaces

• Introduction aux groupes de contrôle

18/03/2016

67




Ma première machine virtuelle


18/03/2016

68


Plan

• Création d'une machine virtuelle

• Les différentes options proposés.

18/03/2016

69


Créer une machine virtuelle avec Proxmox• C’est très simple,

• Il faut au préalable disposer d’un fichier ISO de l’os invité

• Étapes :

� Cliquez sur « Créer VM » en haut à droite suivre les étapes. Cela ressemble à la création d'une VM VMware avec l’ESXi

� Donner un nom, un ID, sélectionner le type d‘OS

� Sélectionner l'iso pour l'installation ou le lecteur DVD

� Le type de contrôleur de disque, le format de fichier, la CPU, la mémoire et le mode de réseau (bridge).

• Démonstration vidéo

18/03/2016

70


Création d'une machine virtuelle

18/03/2016

71


Les différentes options proposés.

18/03/2016

72



18/03/2016

73



18/03/2016

74



18/03/2016

75



18/03/2016

76



18/03/2016

77



18/03/2016

78



18/03/2016

79



• Création d'une machine virtuelle


18/03/2016

80





Les templates LXC

18/03/2016

81


Plan

• Les modèles LXC

• Uploader des templates

18/03/2016

82


Les modèles LXC• Proxmox fournit des modèles de système à installer

• Les modèles sont des scripts appelés lors de la création du système virtuel pour générer le fichier de configuration et peupler l'arborescence racine

• Une fois un modèle téléchargé. Les scripts sont placés dans /var/lib/vz/templates/cache

• Ces scripts vont permettre de déployer très rapidement des containers

18/03/2016

83


Uploader des templates

18/03/2016

84



18/03/2016

85



18/03/2016

86



• Les modèles LXC

• Uploader des templates

18/03/2016

87




Déploiement du container LXC


18/03/2016

88


Plan

• Déploiement de conteneurs LXC


18/03/2016

89


Déploiement de conteneurs LXC• C’est très simple,

• Il faut au préalable disposer d’un modèle de conteneur

• Étapes :

� Cliquez sur « Créer CT » en haut à droite suivre les étapes. Cela ressemble à la création d'une VM VMware avec l’ESXi

� Donner un nom, un ID, un mot de passe, sélectionner le template…

� Le cpu, la mémoire et le mode de réseau (bridge).

• Démonstration vidéo

18/03/2016

90


Déploiement de conteneurs LXC

18/03/2016

91



18/03/2016

92



18/03/2016

93



18/03/2016

94



18/03/2016

95



18/03/2016

96



18/03/2016

97




Booster la VMGérer les machines virtuelles

18/03/2016

98


Plan

• Les pilotes virtio kesako ?

• Charger les pilotes virtio à l’installation

• Installer les pilotes virtio balloon, net, …

18/03/2016

99


Les pilotes virtio kesako ?• A l’instar des XenTools, et des VMware Tools,

• Les pilotes Virtio virtual Input-output propose une API pour les machines virtuelles afin de gérer des pilotes para virtualisés

• Virtio est une couche d’abstraction qui a pour but de donner au système invité l’accès à un panel défini de périphériques para-virtualisés disponibles sur l’hyperviseur au travers d’une interface commune.

• Avec cet API, des appareils réseau, bloc et ballon peuvent être pris en charge par KVM

• Développé par Rusty Russel pour l’hyperviseur lguest très proche de kvm. Red hat a repris le projet

• Virtio est aujourd’hui LA solution de para-virtualisation par défaut pour les systèmes virtualisés par KVM

• Il existe un portage pour les systèmes Microsoft

18/03/2016

100


Les pilotes virtio kesako ?• Un point intéressant avec KVM et d’autres implémentations de Virtio

• Les drivers se trouvant dans le système invité communiquent avec un backend qui se trouve en espace utilisateur.

• Les entrés/sorties sont réalisées à partir de cet espace (utilisateur) ce qui rend de grands services en termes de sécurité et d’isolation.

• Virtio comporte donc deux parties principales.

� Le driver "front-end" installé dans le système invité

� Le "back-end" installé dans l’hyperviseur.

18/03/2016

101


Virtio kesako ?

18/03/2016

102


Charger les pilotes Virtio a l’installation• Récupérer les pilotes sous format iso

• Monter un lecteur cdrom sur le guest

• Lancer l’installation de MS Windows, sélectionner les pilotes de disque

• Démonstration

18/03/2016

103


Charger les pilotes Virtio a l’installation

18/03/2016

104



18/03/2016

105



18/03/2016

106



18/03/2016

107



18/03/2016

108



18/03/2016

109


Installer les pilotes virtio balloon, net, …• Démonstration

• Via le gestionnaire de périphériques

18/03/2016

110



• Les pilotes virtio kesako ?

• Charger les pilotes virtio à l’installation

• Installer les pilotes virtio balloon, net, …

18/03/2016

111



18/03/2016

112


18/03/2016

113



• Déploiement de conteneurs LXC


18/03/2016

114




Démarrer, arrêter, suspendre les VMs

Gérer les machines virtuelles

18/03/2016

115


Plan

•Actions sur les VMs

•Actions sur les conteneurs

18/03/2016

116


Sur les machines virtuelles :

• Démarrer• Arrêter (faire un shutdown

dans le guest)• Stopper (arrêter sans

shutdown)• Suspendre et reprendre

(pause, unpause)

• Cloner et convertir en modèle

Actions sur les VMs

18/03/2016

117


Sur les conteneurs

• Démarrer• Arrêter (faire un shutdown

dans le guest)• Stopper (arrêter sans

shutdown)• Suspendre et reprendre

(pause, unpause)

Action sur les conteneurs

18/03/2016

118



•Actions sur les VMs

•Actions sur les conteneurs

18/03/2016

119





Les snapshots

18/03/2016

120


Plan

• Introduction aux snapshots

• Snapshoter des Vms

• Restaurer des snapshots

• Supprimer des snapshots

18/03/2016

121


Qu’est qu’ un cliché ou snapshot• Un snapshot (point de contrôle) ou cliché, est une copie de l'état de la

machine virtuelle à un instant T

• Ce snapshot pouvant être restauré à tout moment.

• A chaque snapshot réalisé, votre fichier principal du disque est figé et un nouveau fichier est créé à chaque création de snapshot.

• Toutes les nouvelles modifications sont donc stockées sur ce fichier secondaire.

• Il est important de comprendre que les points de contrôle ne sont pas des sauvegardes, mais des points de restauration.

18/03/2016

122


Qu’est qu’ un cliché ou snapshot

18/03/2016

123



18/03/2016

124



18/03/2016

125


Restaurer des snapshots

18/03/2016

126


Supprimer des snapshots

18/03/2016

127



• Introduction aux snapshots

•Snapshoter des Vms

•Restaurer des snapshots

•Supprimer des snapshots

18/03/2016

128




Clonage et modèles


18/03/2016

129


Plan

• Introduction aux clones et modèles

• Clonage des VMs

• Convertir en modèle

18/03/2016

130


Introduction aux Clones et modèles• Un clone est une copie d’une machine virtuelle

• Il existe deux types de clones : complets et liés

� Les clones complets peuvent être migrés sur d’autres nœuds et sur un autre volume de stockage

� Un clone lié est dépendant de son parent, ce dernier ne peut être migrer

• Un modèle permet de créer des clones complets et liés

18/03/2016

131


Clonage des VMs

18/03/2016

132


Clonage des VMs

18/03/2016

133


Convertir en modèle

18/03/2016

134


Clonage des VMs

18/03/2016

135


Clone lié à partir de modèle

18/03/2016

136


Clone lié à partir de modèle

18/03/2016

137



• Introduction aux clones et modèles

• Clonage des VMs

• Convertir en modèle

• Clone lié à partir de modèle

18/03/2016

138




Le modèle réseau

Introduction au réseau Proxmox

18/03/2016

139


Plan• Introduction aux réseaux “virtualisés”

• Les commutateurs virtuels

• Les modes de connexions avec Proxmox

• Le TAP

• Le NAT

• VETH - VirtualEthernet

• OpenvSwitch

• Le VLAN

18/03/2016

140


Introduction aux réseaux “virtualisé”• Dans une architecture réseau physique, on trouve :

� Des commutateurs (switch)

� Des routeurs

� Des cartes réseaux (nic)

• Dans une architecture réseau virtualisé, on trouve :

� Des commutateurs virtuels (vSwitch)

� Des routeurs virtuels

� Des cartes réseaux virtuelles (vNIC)

18/03/2016

141


Les commutateurs virtuels

• Plusieurs technologies de commutation virtualisée sous linux :

� Le mode bridge Linux

• Bridge utils

� OpenvSwitch – commutateur virtuel avec de nombreuses fonctions

� Et bien d’autre encore indigo, mininet…

18/03/2016

142


Les modes de connexions avec Proxmox• Proxmox offre plusieurs mode de connexion suivant le type de machine

virtuelle :

� KVM :

• Le mode TUN/TAP

• Le mode NAT

� LXC :

• Le mode Virtual ethernet - VETH

18/03/2016

143


Le TUN/TAP• TUN/TAP est une fonction de réception et de transmission de paquets

entre le noyau et les programmes de l'espace utilisateur.

• Les communications se font dans l’espace utilisateur.

• Il faut voir cette interface comme une interface ethernet ou point àpoint

• L'interface réseau TUN/TAP devient un canal de communication entre le système hôte et un système virtualisé

• Ce canal est ponté sur un Bridge ou un commutateur OpenvSwitch

• Permet d’offrir des services de type broadcast DHCP, Samba…

• Le “stack” IP se configure dans la VM et non sur l'hôte

18/03/2016

144


Le mode NAT• Le mode NAT Traduction d’adresse réseau:

� Ce mode de connexion n'offre pas la possibilité d'offrir de services réseaux aux VMs.

� La machine virtuelle accède au réseau et à internet via de la traduction d'adresse réseau (Network Address Translation).

� La machine virtuelle n'est pas accessible par les autres machines du réseau. Elle ne se trouve par sur le «commutateur », pas sur le LAN

� On peut toutefois rediriger des services sur les machines

� Très utile pour les bureaux virtuelles, pour les machines qui n’offre pas de service réseaux (samba, …)

18/03/2016

145


Les cartes VETH• Le mode Veth – virtual Ethernet

� Permet au conteneur d'offrir des services réseaux avec de type Broadcast (dhcp, samba,..)

• Cette carte virtuelle est pontée sur un Bridge ou un commutateur

• Le mode veth a des implications en matière de sécurité, cette carte est “directement” connectée sur le commutateur

• Se configure sur l'hôte et non dans le conteneurCaractéristiques veth

MAC address OUI

Broadcasts dans CT OUI

Traffic sniffing OUI

Sécurité réseau Faible

Performance RAPIDE

18/03/2016

146


OpenvSwitch• OpenvSwitch est un commutateur virtuel, qui fournit des fonctionnalités

avancées de commutation, mais également de QoS, d’agrégation de liens, de Vlans, de collecte de données avec le NetFlow .

18/03/2016

147


OpenvSitch• OpenvSwitch est un commutateur virtuel compatible avec les chipsets

des switchs modernes

• Commutateur administrable avec le protocole OpenFlow

• Supporte le VLAN 802.1Q, isolation et filtre de traffics

• Agrégation de lien, lacp, channel boding

• Gestion des flux, QoS Bande passante

• Collecte de données avec NetFlow, sFlow, RSPAN, SPAN (mirror)

18/03/2016

148


Le VLAN• Un Virtual Local Network ou VLAN est un ou des réseaux logiques au

sein d’un réseau local commuté

• Réduit la taille des réseaux de broadcast

• Isole des domaines réseaux

• Améliore la sécurité des réseaux

• Améliore l’utilisation de la bande passante

18/03/2016

149


Type de VLAN• Il existe 3 types différents de VLAN :

� VLAN de niveau 1 (ou VLAN par port) : on définit les ports du commutateur qui appartiendront à tel ou tel VLAN. .

� VLAN de niveau 2 (ou VLAN par adresse MAC) : on indique directement les adresses MAC des cartes réseaux contenues

� VLAN de niveau 3 (ou VLAN par adresse IP) : on indique les adresses IP (ou une plage d'IP) qui appartiendront à tel ou tel VLAN.

18/03/2016

150


Ce qu’on a couvert• Introduction au réseau “virtualisé”

• Les commutateurs virtuels

• Les modes de connexion des vms

• Le TAP

• Le NAT

• VETH - VirtualEthernet

• OpenvSwitch

• Le VLAN

18/03/2016

151




Comprendre les pont réseau - Bridge

Le modèle réseau

18/03/2016

152


Plan

• Introduction aux ponts réseau - Bridge

• Installation d’un Bridge avec Proxmox

18/03/2016

153


Introduction aux Bridge• Un bridge ethernet est l'équivalent d'un switch virtuel au niveau

système

• Permet donc d’avoir des fonctions :

� de commutation,

� spanning tree,

� multiple port ethernet,

� port de type channel bonding, team

� VLAN, ...

• Pour connecter les machines virtuelleseth0 eth1

TCPI/IP

Noyau

B r i d g e

br0

promiscuousmode

promiscuousmode

18/03/2016

154


Introduction aux Bridge• Le mode bridge (pont) :

� Lors de l'installation de Proxmox une ou plusieurs interfaces réseau sont crées. Elles sont nommées eth0, eth1 et sont associées à un pont réseau nommé vmbr0, vmbr1,..

� L'intérêt d'utiliser un pont réseau est de permettre aux VMs d'offrir des services réseaux avec broadcast, dhcp, samba, partage réseau MS Windows et également de limiter la bande passante de la VM en descente et en monté.

Vmbr0 10.0.0.10

vm vm vm vm

eth0 eth0 eth0 eth0

Vmbr1 192.168.10.10

lxc lxc lxc lxc

eth0 eth0 eth0 eth0

18/03/2016

155


18/03/2016

156


18/03/2016

157



• Introduction aux ponts réseau - Bridge

• Installation d’un Bridge avec Proxmox

18/03/2016

158




Comprendre l'agrégation des liens

Le modèle réseau

18/03/2016

159


Plan

• Introduction à l’agrégation des liens réseaux

•Le channel bonding

•Gérer le channel Bonding avec Proxmox

18/03/2016

160


• L’agrégation des liens consiste à lier plusieurs interfaces réseaux :

� Fournir plus de bande passante

� Fournir de la redondance sur les interfaces

• L’agrégation de liens est connue sous les termes :

� Channel Bonding

� Link agregation

� Port trunking

� NIC teaming

� Etc.

Introduction a l’agrégation de lien réseaux

eth0 eth1 eth2

team0

18/03/2016

161


Le channel bonding• Le Channel Bonding était la technologie utilisée par Red Hat pour

l’agrégation de liens

• Le Channel Bonding ou agrégation de cartes réseau permet d’appliquer des stratégies sur les cartes réseaux

• Avec plusieurs cartes, un groupe d’interfaces est créé. Une seule interface, représente un groupe de cartes

• Parmi les stratégies disponibles :

� L’équilibrage de charge

� La tolérance aux pannes

� L’amélioration des performances

eth0 eth1 eth2

Bond0

18/03/2016

162


Le channel bonding• L’équilibrage de charge - Balance rr

� Ce mode fait transiter séquentiellement les paquets sur chaque interface

• La sauvegarde active – Active backup

� Seule une interface est en fonctionnement, si elle tombe en panne, l’autre interface s‘active et reçoit donc les paquets

• La balance tdb

� Le trafic sortant est distribué selon la vitesse de chaque carte réseau, permet également le Fail-Over

• La balance XOR

� Ce mode est basé sur une politique de hachage de transmission. Une interface affectée à l’envoie vers une adresse MAC (adresse de la source XOR adresse MAC de destination modulo du nombre d’interface)

• La balance alb, le broadcast, le 802.3ad LACP

18/03/2016

163


Gérer le channel Bonding avec Proxmox

18/03/2016

164


Gérer le channel Bonding avec Proxmox

18/03/2016

165



• Introduction à l’agrégation des liens réseaux

• Le channel bonding

• Gérer le channel Bonding avec Proxmox

18/03/2016

166




Le modèle de stockage

Introduction au stockage avec Proxmox

18/03/2016

167


Plan

•Le stockage local

•Le stockage distant – Stockage réseau

18/03/2016

168


Le stockage local• Les types de DAS :

� LVM, ZFS

• Avantages ☺

� Simple à mettre en œuvre

� Offre de très bonnes performances

� Extensible

• Inconvénients �

� Nœud défaillant

� Pas de possibilité de migrer, pas de haute disponibilité

18/03/2016

169


Le stockage distant –Stockage réseau• Les types :

� NAS, SAN, FS distribués

• Avantages ☺

� Sécurise l’environnement virtuel

� Facilite les sauvegardes

� Offre de bonnes performances suivant le types

� Redondant, haute disponibilité, fonctionnalités HA et migration


� Le coût important

� Administration dédiée au stockage

18/03/2016

170


Le stockage distant –Stockage réseau

• Network Attached Storage

• Propose des services de mise en réseau de fichiers sur TCP/IP

• Les clients accèdent aux données via des systèmes de fichiers réseau

• Les NAS utilisent les protocoles :

� Server Message Block - SMB fourni par Microsoft

� Network File System - NFS pour le monde Unix/Linux

18/03/2016

171



• Avantages ☺

� Administration simple de la baie de stockage

� Un prix faible pour de grandes capacités

� Un accès par plusieurs nœuds aux mêmes données

� Utilisation des protocoles standardisés depuis longtemps


� Pas les meilleures performances

18/03/2016

172



• L’accès au stockage de type NAS est de type fichier.

• Les données sont des volumes partagés sur le réseau

• Le SAN – Storage Aera Network – réseau de stockage

• L’accès aux données est de type “block”

• Les volumes de stockage apparaissent comme des disques durs

• Plusieurs technologies de stockage réseau :

� Fibre Channel

� Fibre Channel over ethernet

� iSCSI

18/03/2016

173


Le stockage distant –Stockage réseau• Avantages ☺

� La Qualité de service : en fonction du média (la fibre optique assure la transmission des données)

� La disponibilité : Le SAN assure la redondance du stockage, la haute disponibilité des données

� L'hétérogénéité : Le SAN n’est pas lié à un environnement particulier : les serveurs Unix, Windows, Linux, Apple peuvent tous rejoindrent un SAN.

� Performances : La performance de l'accès aux disques n’est pas à comparer avec un NAS.


� Le coût : en fonction du type de SAN (Fibre Channel, FCoE, iSCSI), le coût devient un élément de rejet d’une architecture SAN (réseau dédié aux stockages).

� L’administration : est bien plus complexe qu’un NAS. Il faut souvent un administrateur dédié au stockage.

18/03/2016

174



• Il existe plusieurs types de SAN :

iSCSIProtocole de stockage en réseau basé sur le protocole IP.

Transporte les commandes SCSI sur les réseaux IP.

Se composent de cible (LUN des disques) et d’initiateur (logiciels clients ISCSI)

18/03/2016

175



• Glusterfs est un système de fichiers en cluster ou cloud

• Il permet d’agréger des volumes provenant de plusieurs types d’architecture NAS, SAN

• Propose au client un seulvolume

18/03/2016

176


• Ceph est une plate-forme de stockage conçue pour n’avoir aucun point de défaillance unique

• Cluster de FS distribué

• Idéal pour les applications qui nécessitent un stockage hautement disponible

• auto-réparant


18/03/2016

177



• Le stockage local

• Le stockage distant – Stockage réseau

18/03/2016

178




Le LVM Logical Volume Manager


18/03/2016

179


Plan

• Introduction aux Volumes logiques

• Pourquoi utiliser le LVM?

• Structure du LVM

• Les commandes LVM

• Création du LVM

• Visualiser le LVM

• Connexion des Volumes avec Proxmox

18/03/2016

180


Introduction aux Volumes logiques • La gestion par volumes logiques : une méthode de gestion du stockage

• La gestion par volumes logiques : des outils de gestion destinés au stockage sur des disques durs.

• Le LVM ou Logical Volume Manager offre bien plus de flexibilité que le traditionel partitionnement

• Le LVM représente l'une des nombreuses formes de virtualisation du stockage, mais pas la seule.

• On parle de Volume de stockage disponible et non plus de partition

18/03/2016

181


Pourquoi utiliser le LVM?

Plus de flexibilité • Agrandissement et réduction

� Il est possible d'agrandir ou réduire des volumes, mais les filesystems installés dessus doivent prendre en charge cette opération.

• Clichés (snapshots)

� La création d'un snapshot consiste à prendre une « photo », un instantané du volume logique cible (ce qui est quasi-immédiat) et on commence alors à enregistrer les modifications apportées au volume logique cible.

� Avantage des snapshots, ils peuvent être utilisés comme une méthode de sauvegarde. Ils permettent de stocker une image statique d'un volume logique à un instant précis. Il faut comprendre une sauvegarde incrémentale

18/03/2016

182


Plus de flexibilité• Volumes agrégés par bandes (striping)

� Les volumes logiques peuvent être « stripés » sur un ensemble de volumes physiques, à l'instar du RAID 0.

� Cette technique est utilisée pour améliorer les performances, mais rends plus vulnérable le volume à une panne de disque.

Pourquoi utiliser le LVM?

• Miroir (mirroring)

� Les volumes logiques peuvent être également mirrorés, à l'instar du RAID 1.

� Cette technique permet de se protéger contre une panne sur un disque dur.

18/03/2016

183


Structure LVMPartitions

sda1 sdb1 sdc1 sdd1

18/03/2016

184



Groupe de Volumes

sda1 sdb1 sdc1 sdd1

18/03/2016

185



Groupe de Volumes

Volume logique Volume logique Volume logique

sda1 sdb1 sdc1 sdd1

18/03/2016

186


Structure LVM

LV0 LV2LV1

/home /var /usr

Volumes logiques

18/03/2016

187


Les commandes LVM

Partitions

Groupe de Volumes

Volume logique Volume logique Volume logique

sda1 sdb1 sdc1 sdd1 pvcreate

vgcreate

lvcreate

18/03/2016

188


Création du LVM• Installation du LVM

#yum install lvm2

• Création des partitions de type LVM

#fdisk /dev/sdc

• Création des volume physiques

#pvcreate /dev/sdb{1,2,3}

• Création du groupe de volumes

#vgcreate mon_vgroupe /dev/sdb{1,2,3}

• Création des volume logiques

#lvcreate –L 5G –n mon_lvolume mon_vgroupe

18/03/2016

189


Visualiser le LVM

• Vérifier et visualiser les volumes physiques

#pvscan#pvdisplay

• Vérifier et visualiser les groupes de volumes

#vgscan#vgdisplay#vgdisplay mon_vgroupe

• Vérifier et visualiser les volumes logiques

#lvdisplay#lvscan

18/03/2016

190


Connexion des Volumes avec Proxmox

18/03/2016

191



• Introduction aux Volumes logiques

• Pourquoi utiliser le LVM?

• Structure du LVM

• Les commandes LVM

• Création du LVM

• Visualiser le LVM

• Connexion des Volumes avec Proxmox

18/03/2016

192





Le ZFS

18/03/2016

193


Plan

• Le stockage ZFS

• Installation de ZFS

• Mise en oeuvre

• Mise en oeuvre dans Proxmox

18/03/2016

194


Le stockage ZFS• GRANDES capacités de stockage

• Support natif du RAID :

� RAID-0, RAID-1, RAID-Z (RAID-5 améliore, parités doubles ou triples)

• Intégrité des données :

� Les données et métadonnées ont de sommes de contrôle vérifiées à chaque lecture de bloc et mise à jour à chaque écriture

� « Autoréparation » via les sommes de contrôle (si miroir)

� Réplication explicite, peut conserver jusque 3 copies des blocs

• Répartition dynamique :

� Distribue automatiquement les écritures à travers tous les périphériques

� L’ajout d’un nouveau périphérique n’oblige pas la migration des données

� Peut allouer les blocs de données sur les disques de façon proportionnelle à leurs performances

18/03/2016

195


Le stockage ZFS• Compression/décompression à la volée

• Gestion des quotas

• Gestion de réservations d’espaces

• Instantanés et clones

• Envoi/Réception :

� Permet d’échanger des instantanés pour les sauvegardes sur des systèmes distants

• Déduplication :

� Permet de détecter des données redondantes et ainsi économiser l’espace disque

18/03/2016

196


Le stockage ZFS

18/03/2016

197


Installation de ZFS• Installation du paquets ZFS

# apt-cache show zfsutilsPackage: zfsutilsStatus: install ok installedPriority: optionalSection: adminInstalled-Size: 3206Maintainer: Debian ZFS on Linux maintainers <[email protected]>

18/03/2016

198


Mise en oeuvre• Création du pool ZFS avec et sans raid

#zpool create lxc /dev/sdb /dev/sdc#zpool create lxc raidz /dev/sdb /dev/sdc#zpool list#zpool status

• Création du dataset lxc/containes en déduplication

#zfs create -o dedup=on lxc/conteneurs#zfs list

18/03/2016

199


Mise en oeuvre dans Proxmox

18/03/2016

200



• Le stockage ZFS

• Installation de ZFS

• Mise en oeuvre

• Mise en oeuvre dans Proxmox

18/03/2016

201





Le NAS - NFS

18/03/2016

202


Plan

• Introduction au NFS

• Mise en oeuvre simple d’un serveur NFS

• Accéder à un serveur NFS avec Proxmox

18/03/2016

203


Introduction a NFS• NFS – Network File System est un système de fichiers réseau

• Développé par SUN Microsystem dans les années 1980

• NFS offre l’export de répertoires pour des machines distantes

• NFS V1,2 et 3 s’appuie sur les RPC - appels de procédure distante

• Plusieurs versions :

� NFS version 1 et 2 utilise le protocole UDP, n’est pas sécurisé

� NFS V3 supporte le transport sur TCP, mais n’est pas toujours sécurisé

� NFS V4.x est une réecriture totale du protocole NFS

• Support de Kerberos, chiffrement des communications, reprise sur incident, parallélisation des transferts (stripping).

18/03/2016

204


Mise en oeuvre simple d’un serveur NFS

• Installation des paquets nfs pour le server et le client

#yum install nfs-utils#rpm -ql nfs-utils

• Configuration du server

#vi /etc/exports/nfs *(rw,no_root_squash,anonuid=2000,anongid=2000)#exportfs -avrexporting *:/nfs

• Montage de l’export nfs du client

#mount.nfs4 nfs-server:/nfs /mnt/

18/03/2016

205


Les options nfs• Droits sur les exports

� rw : Read = Lecture, Write = Écriture

� ro : Read Only = Lecture seulement (option par défaut)

• Gestion des performances :

� Async : ne synchronise pas les écritures immédiatement

• Améliore grandement les performances, incohérences des données lorsde “crash” serveur

� Sync : le contraire de async, synchronise les requêtes

� Rsize, wsize : taille des blocs de données en lecture et écriture

18/03/2016

206


Les options nfs• Mapping utilisateurs :

� root_squash : mappe l’utilisateur vers un utilisateur anonyme (option par défaut)

� No_root_squash : n'effectue pas de mapping pour l'utilisateur root

� anonuid : indique au serveur NFS l'UID de l'utilisateur anonyme

� anongid : indique au serveur NFS le GID de l'utilisateur anonyme

• Autres options :

� subtree_check: vérifie l’existence des sous répertoires de l’export

� no_subtree_check: Ne vérifie pas l’existence des sous répertoires de l’export

18/03/2016

207


Accéder à un serveur NFS avec Proxmox

18/03/2016

208



• Introduction au NFS

•Mise en oeuvre simple d’un serveur NFS

•Accéder à un serveur NFS avec Proxmox

18/03/2016

209





Le SAN - iSCSI

18/03/2016

210


PlanPlan• Le protocole ISCSI – Internet Small Computer Interface

• Les Logicals Units Numbers - LUN

• Notion de cibles – Targets

• Notion d’initiateur – Initiator

• Introduction au service targetcli

• Installation du service

• Les “Backstore” fileio, blockio

• iSCSI Qualified Name

• Sauvegarde de la configuration

• Firewalld

• Connexion des cibles iscsi avec proxmox

18/03/2016

211


Le protocole ISCSI – Internet Small Computer Interface

• Dans les années 1990 IBM lance des recherches pour transporter des commandes SCSI par le réseau, sur Ethernet, IP et TCP/IP.

• Au début des années 2000, IBM et Cisco s’allient pour proposer une première version d’ISCSI sur TCP. Transport de commandes SCSI sur TCP/IP.

• IETF publie des RFC pour ISCSI

� RFC 3720 - Internet Small Computer Systems Interface (iSCSI), avril 2004.

� RFC 3721 - Internet Small Computer Systems Interface (iSCSI) Naming and Discovery, avril 2004.

� RFC 3722 - String Profile for Internet Small Computer Systems Interface (iSCSI) Names, avril 2004.

18/03/2016

212


Les Logicals Units Numbers - LUN

Raid

/dev/sda

LVM

Une unité logique ou LUN est un domaine de stockage

LUN 0

LUN 1

LUN 2

Les LUNs identifient des unités de stockage SAN

18/03/2016

213


Notion de cibles – TargetsOn mappe les LUN sur des “targets” iscsi

Iqn.2015-04-02.com.alphorm.home• ACL• Identification

Iqn.2015-04-02.com.alphorm.rhel7• ACL• Identification

Iqn.2015-04-02.com.alphorm.var• ACL• Identification

Raid

/dev/sda

LUN 0

LUN 1

LUN 2LVM

18/03/2016

214


Notion de d’initiateur – initiatorPortal : 192.168.1.10

Raid

/dev/sda

LVM

LUN 0

LUN 1

LUN 2

Iqn.2015-04-02.com.alphorm.var

Iqn.2015-04-02.com.alphorm.home

Iqn.2015-04-02.com.alphorm.rhel7

initiateur ISCSI

Découverte du portailConnexion aux cibles

18/03/2016

215


Introduction• targetCLI est un outil d’administration pour

manipuler le serveur iSCSI en userspace

• targetCLI s’appuie sur LIO Linux-IO kernelspace

� Dans le noyau depuis la version 2.6.38

� Gère les entrées/sorties scsi

• Supporte l’iscsi, le FCoE, le fibre channel

• TargetCLI en Shell interactive ou en cli

18/03/2016

216


Installation du service

• Installation de targetcli

#yum install targetcli

• Activation du service target

#systemctl enable target.service#systemctl start target.service

• Supprimer la configuration

#targetcli clearconfig confirm=true

18/03/2016

217


• Deux types de backstore :

� Fileio utilise la RAM pour le cache, beaucoup de RAM pour de bonnes performances.

� Blockio, utlise le cache “matériel”, contrôleur et disques. Bonnes performances sur les gros fichiers, très peu de latence.

Les “Backstore” fileio, blockio

• Lancer targetcli en mode shell

#targetcli

• Création des backstore

#/> backstores/fileio/ create home /home_dir/home_user.img 1T#/> backstores/block/ create VM /dev/vgvm/lv_redhat7#/> backstores/block/ create DB /dev/vgvm/lv_mariadb

18/03/2016

218


iSCSI Qualified Name• Création de l’iqn et du portal

#/> iscsi/ create iqn.2015-09.com.alphorm:home#/> cd iscsi/iqn.2015-09.com.alphorm:home/tpg1#/> portal/ create

• Création des lun

#/> luns/ create backstores/fileio/home#/> lun/ create backstores/block/VM

• Mise en place des liste de contrôle d’acces ACLs et de l’authentification CHAP

#/>acl/ create iqn.2015-09.com.alphorm:client#/> cd acl/iqn.2015-09.com.alphorm:client#/> set auth userid=ludo#/> set auth password=Mon_password

18/03/2016

219


Sauvegarde de la configuration

• On sauvegarde et on quitte

#/> savingconfig#/> exit#cat /etc/target/saveconfig.json

18/03/2016

220


Firewalld

• On ouvre l’acces au port tcp iscsi : 3260

#firewall-cmd --permanent --add-port=3260/tcp#firewall-cmd --reload

18/03/2016

221


Connexion des cibles iscsi avec proxmox

18/03/2016

222


Ce qu’on a couvert• Le protocole ISCSI – Internet Small Computer Interface

• Les Logicals Units Numbers - LUN

• Notion de cibles – Targets

• Notion d’initiateur – Initiator

• Introduction

• Installation du service

• Les “Backstore” fileio, blockio

• iSCSI Qualified Name

• Sauvegarde de la configuration

• Firewalld

• Connexion des cibles iscsi avec proxmox

18/03/2016

223





Glusterfs(Les FS distribués)

18/03/2016

224


Plan

• Glusterfs en quelque mots ou presque

• Fonctionnalités de glusterfs

• Installation et configuration des serveurs glusterfs

• Glusterfs en distribué

• Glustersf en réplication

• Gluterfs en « stripping »

18/03/2016

225


Glusterfs en quelque mots ou presque

18/03/2016

226


Glusterfs en quelque mots ou presque• Glusterfs est un système de fichiers en cluster ou cloud

• Il permet d’agréger des volumes provenant de plusieurs types d’architecture NAS, SAN, …et propose au client un seul volume

• Il ne s’appuie pas sur des métadonnées, tous les nœuds du cluster sont de même nature, pas de maitre/esclave ou primaire/secondaire

• glusterfs utilise l’interface FUSE ce qui lui permet de travailler avec des systèmes de fichiers de type différents, un serveur en ext4, un xfs, un zfs,…

• C’est un système de fichiers qui résiste aux pannes

18/03/2016

227


Glusterfs en quelque mots ou presque

18/03/2016

228


Fonctionnalités de glusterfs• volume distribué : un volume est distribué sur plusieurs partitions qui sont

distribuées sur plusieurs machines… Les fichiers du volume sont physiquement enregistrés sur l’une des partitions.

• volume répliqué : un volume distribué est automatiquement répliqué ‘n’ fois sur le cluster, ‘n’ pouvant être 2 (raid 1), mais aussi 3 ou plus ! Ce type de volume est intéressant pour se protéger des pannes

• volume morcelé (stripe) : chaque fichier d’un volume distribué est découpé en morceaux qui sont répartis sur les nœuds de la grappe. Ce genre de volume est intéressant lorsqu’on cherche de la performance sur des gros fichiers.

• quatre opérations de base sont possibles à chaud sur tous les volumes : étendre, réduire, migrer et équilibrer

18/03/2016

229


Installation et configuration des serveurs glusterfs• Installation par paquet

• Créer un répertoire pour les volumes glusterfs

• Connecter les différents nœuds du cluster

• Créer du volume glusterfs

# apt-get install glusterfs-server#apt-get install glusterfs-client

#yum install –y glusterfs.x86_64

# mkdir /glusterfs/

# gluster peer probe node1 && gluster peer node2 && gluster peer node3

gluster volume create vol_distributed transport node1:/glusterfs/distributed \node2:/glusterfs/distributed node3:/glusterfs/distributed

18/03/2016

230


Glusterfs en distribués

18/03/2016

231


Glusterfs en distribués• Création des volumes distribuées gluster

#mkdir /glusterfs/distributed (sur les 2 ou 3, 4 serveurs)node02#gluster peer probe node01node01 #Gluster peer probe node02 …..#gluster peer status#gluster volume create vol_distributed distributed transport tcp \node01:/glusterfs/distributed \node02:/glusterfs/distributed

#gluster volume start vol_distributed#gluster volume info

#Mount -t glusterfs node1:/vol_distributed /point_de_montage

systemctl restart glusterfs

18/03/2016

232


Glustersf en réplication

18/03/2016

233


Glusterfs en réplication• Création des volumes repliqués gluster

#mkdir /glusterfs/replica (sur les 2 ou 3, 4 serveurs)#gluster peer probe node1#Gluster peer probe node2 …..#gluster peer status#gluster volume create vol_replica replica 2 transport tcp node1:/glusterfs/replica \node2:/glusterfs/replica

#gluster volume start vol_replica#gluster volume info

#Mount -t glusterfs node1:/ vol_replica /point_de_montage


18/03/2016

234


Glustersf en « stripping »

18/03/2016

235


Glusterfs en « stripping »• Création des volumes repliqués gluster

#mkdir /glusterfs/striped (sur les 2 ou 3, 4 serveurs)#gluster peer probe node1#Gluster peer probe node2 …..#gluster peer status#gluster volume create vol_striped stripe 2 transport tcp #node1:/glusterfs/striped \#node2:/glusterfs/striped

#gluster volume start vol_distributed#gluster volume info

#Mount -t glusterfs node1:/vol_striped /point_de_montage


18/03/2016

236


Ce qu’on a couvert• Glusterfs en quelque mots ou presque

• Fonctionnalités de glusterfs

• Installation et configuration des serveurs glusterfs

• Glusterfs en distribués

• Glustersf en réplication

• Gluterfs en « stripping »

18/03/2016

237





Ceph, les Filesystemdistribués

18/03/2016

238


Plan

• C’est quoi ceph ?

• Installation de Ceph

• Configuration et mise en œuvre de ceph

18/03/2016

239


C’est quoi Ceph• Ceph est une plate-forme de stockage open source qui est conçu pour

répondre aux besoins de stockage modernes.

• Ceph est évolutive au niveau de l’exabyte et conçu pour n’avoir aucun point de défaillance unique, ce qui le rend idéal pour les applications qui nécessitent un stockage hautement disponible

• Ceph est une plate-forme de stockage conçue pour présenter un objet, bloc, et du stockage de fichiers à partir d'un cluster distribué.

• Ceph fonctionne sur du matériel non spécialisé. Le système est conçu pour être auto-réparant et maximiser l'automatisation des tâches administratives afin de réduire les coûts d'exploitation.

18/03/2016

240


C’est quoi Ceph• Le système de stockage d'objets de Ceph permet aux utilisateurs de

monter Ceph comme un périphérique bloc en provisionnement dynamique. Ceph inclus le RADOS Block Device (RDB) : Lorsqu'une application écrit des données sur Ceph, les données sont ‘stripées’ et répliquées dans le cluster.

• RADOS Block Device (RBD) s'intègre également avec des machines virtuelles noyau (KVM).

18/03/2016

241


Installation de Ceph• Deux types d’installations :

1. Serveurs Ceph indépendant de proxmox

2. Gestion de ceph directement dans proxmox

• Installation dans proxmox

� Mettre à jour le système avec le repository pvetest

• /etc/apt/source.list

� Avec l’outil PVECEPH

18/03/2016

242


Installation de Ceph• Installation les package Ceph

• Création du fichier de configuration de Ceph /etc/pve/ceph.confconfiguration initiale de CEPH

• Création du moniteur Ceph

Node{01..03}# pveceph install --version hammer

Node01# pveceph init --network 192.168.10.0/24

Node{01..03}# pveceph createmon

18/03/2016

243


Installation de Ceph

18/03/2016

244


Creation des disques Ceph

• Le reste de la configuration s’effectue en GUI ☺

� Création des journaux OSD Ceph sur les disques

� Création du pool de stockage Ceph

18/03/2016

245



18/03/2016

246



18/03/2016

247



18/03/2016

248



18/03/2016

249



• C’est quoi Ceph ?

• Installation de Ceph

• Configuration et mise en œuvre de Ceph

18/03/2016

250




Un peu de théorie

Cluster Proxmox

18/03/2016

251


PlanPlan

•C’est quoi un cluster ?

•Vocabulaire pour bien comprendre

•Corosync et pvecluster

18/03/2016

252


C’est quoi un cluster ?• wikipédia : un cluster est un ensemble de serveurs regroupés

artificiellement ensemble pour permettre la gestion globale de ceux-ci, et éventuellement la mise en place d'un système de haute disponibilité.

� augmenter la disponibilité

� faciliter la montée en charge

� permettre une répartition de la charge

� faciliter la gestion des ressources (processeur, mémoire vive, disques dur, bande passante réseau).

• Node : un nœud est le nom donné à un serveur à l'intérieur d'un cluster. Un cluster est constitué de nœuds ou nodes

18/03/2016

253


Vocabulaire pour bien comprendre• Dans un cluster. On trouve des nœuds, un quorum, du fencing,…

� Un nœud est un serveur faisant partie d’un cluster

� Le quorum est le nombre minimal de personnes nécessaires pour prendre une décision dans un groupe. C'est un terme utilisé en droit habituellement, et un quorum représente en général la majorité, si tout le monde vote pour une voix. En informatique, le quorum est le nombre minimal de votes à atteindre pour prendre une décision automatiquement.

� Le rôle du fencing est d'autoriser le groupe du cluster ayant le quorum (ayant la majorité) à isoler artificiellement des nœuds défaillants. Pour ne pas se retrouver avec des services identiques qui tournent dans le cluster.

18/03/2016

254


Corosync• Proxmox utilise les services Corosync et pve-cluster, pour mettre en

place le cluster :

� Corosync : permet de mettre en cluster les nœuds, création du cluster, acceptation de nouveaux membres

� pve-cluster : Ce service est le cœur de toute installation Proxmox VE . Il fournit un système de fichier Proxmox_Cluster_file_system_ (pmxcfs), pour stocker les fichiers de configuration, répliqué en temps réel sur tous les nœuds en utilisant corosync. Les fichiers de configuration sont stockés dans le répertoire /etc/pve.

18/03/2016

255



•C’est quoi un cluster ?

•Vocabulaire pour bien comprendre

•Corosync et pvecluster

18/03/2016

256




Cluster Proxmox

Installation d'un cluster et ajout et suppression de nœuds

18/03/2016

257


PlanPlan

• Installation, mise en place d’un cluster

• Ajout de nœuds dans le cluster

• Suppression de nœuds dans le cluster

18/03/2016

258


Installation, mise en place d’un cluster

• Avec Proxmox, on réalise la plupart des opérations avec l’interface de gestion WEB, mais pas la création d’un cluster.

• Ouverture d’un shell avec la console ou en SSH

� Se loguer en root et exécuter la commande suivante :

• Création du cluster apartirr nœud node00

#pvecm creates Cluster_alphorm

#pvecm status

18/03/2016

259


Ajout de nœuds dans le cluster

• Après avoir installé votre serveur tout neuf ☺

� Ouvrir une console sur le premier serveur installé, se connecter en ssh sur le second, afin de valider les clés ssh

• Démonstration

• Ajouter du nœud node01 au cluster

#pvecm add node01#pvecm status

18/03/2016

260


Suppression de nœuds dans le cluster

• Afin de supprimer un ou des nœuds d’un cluster

� Se connecter sur le nœud à supprimer

� Et lancer la commande :

• Suppression du nœud node01 au cluster

#pvecm delnode node01#pvecm status

18/03/2016

261



• Installation, mise en place d’un cluster

• Ajout de nœuds dans le cluster

• Suppression de nœuds dans le cluster

18/03/2016

262




Cluster Proxmox

Migration des machines virtuelles

18/03/2016

263


PlanPlan

• Les différentes options pour déplacer des VMs sur les nœuds

• Migration de containers et de machines virtuelles kvm

18/03/2016

264


Les différentes options de migration

• On peut :

� Migrer à froid

� Migrer à chaud sans interruption

� Migrer sur différents disques à chaud !

18/03/2016

265


Migration de containers et VMs

18/03/2016

266


Migration de containers et VMs

18/03/2016

267



• Les différentes options pour déplacer des VMs sur les nœuds

• Migration de containers et de machines virtuelles kvm

18/03/2016

268




Haute disponibilité

Mise en place de la HA

18/03/2016

269


PlanPlan

•Configuration requise

•Configuration de la haute disponibilité

18/03/2016

270


Configuration requise

• Afin de mettre en oeuvre la HA

• Aucun point de défaillance ne doit être présent :

� Des disques redondants

� L’alimentation redondante

� L’UPS

� Les liaisons réseaux dédiés et redondantes

• Posséder des périphériques ou logiciels de “Fencing” afin d’isoler un noeud défaillant , ProxomoxVE 4, supporte la solution logicielleWatchdog qui permet de jouer le rôle du fencing

• Un cluster de 3 noeuds minimum

18/03/2016

271


Configuration requise

• Afin de mettre en oeuvre la HA

• Un cluster de 3 noeuds minimum – Max 32 nodes

• Du stockage partagé (SAN, NAS, ceph, DRBD9…)

• Du réseau redondants Channel bonding

• Des réseaux dédiés :

� au stockage,

� à la communication du cluster,

� Au traffic des VMs.

18/03/2016

272


Configuration de la haute disponibilité

18/03/2016

273



18/03/2016

274



18/03/2016

275



•Configuration requise

•Configuration de la haute disponibilité

18/03/2016

276




Gestion des utilisateurs

Privilèges, rôles et permissions

18/03/2016

277


Plan

• Utilisateurs

• Rôles

• Privilèges et permissions

• Modification des permissions

18/03/2016

278


Utilisateurs, groupes

• L’utilisateur doit être créé dans la base de compte Linux Pam ou PVE

• Un utilisateur doit faire partie d’un groupe

18/03/2016

279


rôles

• Il existe plusieurs types de rôles

� Les Administrateurs

• Ils possèdent tous les privilèges

� NoAccess

• Tout simplement aucun accès !

� Les PVEAdmin

• Peuvent effectuer la plupart des opérations, mais ne peuvent pas modifier le système, ni l’éteindre. Peuvent créer des vms, des stockages…

� Les PVEAuditor

• Lecture seulement !

18/03/2016

280


Privilèges et permissions

• Il existe des privilèges de type :

� Sur les machines virtuelles

• Créer/supprimer des VMS, Sauvegarder des VMs, Modifier les configs..

� Sur les stockages

• Créer/supprimer du stockage, uploader templates et iso, lire le contenu..

� Sur les nœuds

• Arrêter/redémarrer un nœud, accéder au shell via la console…

18/03/2016

281


Modifier les droits• Les pools de ressources ?

� Attribuer des permissions sur les objets

18/03/2016

282



• Utilisateurs

• Rôles

• Privilèges et permissions

• Modification des permissions

18/03/2016

283




Conclusion

18/03/2016

284


Le plan de formation• Vue d'ensemble de Proxmox VE

• Présentation de ProxmoxVE 4.1• Installation de ProxmoxVE• Découverte de l'interface d'administration

• Les technos de virtualisation • les machines virtuelles• Les containers• Kernelbased Virtual machine – KVM• LXC - Linux containers

• Les machines virtuelles sous Proxmox• Ma première machine virtuelle• Les templates lxc• Déploiement du container LXC

• Gérer les machines virtuelles• Booster la VM• Démarrer, arrêter, suspendre les Vms• Les snapshots• Clonage et modèles

• Le modèle réseau• Introduction au réseau Proxmox• Comprendre les pont réseau – Bridge• Comprendre l'agrégation de lien

• Le modèle de stockage • introduction au stockage avec Proxmox• Le LVM Logical Volume Manager• Le ZFS• Le NAS – NFS• Le SAN – ISCSI• Les FS distribues - Glusterfs• Les FS distribues – ceph

• Cluster Proxmox• Un peu de théorie• Installation d'un cluster et ajout et suppression de

nœuds• Migration des machines virtuelles

• Haute disponibilité• Mise en place de la HA

• Gestion des utilisateurs• Privilèges, rôles et permissions

18/03/2016

285


Avez-vous des Questions /Remarques /Commentaires ?

18/03/2016

286


A bientôt ☺

Pour une nouvelle formation sur Linux Red Hat.

Red Hat Administration Virtualization, HA, Openstack

Technology

Alphorm.com Support de la Formation PromoxVE 4.x