Migration d’un Cluster Fiber Channel+SAN+Lames sous …2010.rmll.info/IMG/pdf/presentation_clusterv4_v1.pdf · Fournisseur d'Accès et de Services Internet (accès, hébergement,

Copyright © CITIC74 GNU Free Documentation Licence

Migration d’un Cluster Fiber Migration d’un Cluster Fiber Channel+SAN+Lames sous Channel+SAN+Lames sous

Xen Xen vers Ethernet vers Ethernet

+iSCSI+Serveurs sous KVM+iSCSI+Serveurs sous KVM

L'équipe du CITIC74 : info[at]citic74[dot]frL'équipe du CITIC74 : info[at]citic74[dot]fr

2Copyright © CITIC74 GNU Free Documentation Licence

Sommaire

Contexte Architecture existante Architecture future Conclusion


Contexte

Contexte

‒ A propos du CITIC 74

‒ Quelques chiffres

Architecture existante Architecture future Conclusion

SommaireSommaire


Contexte

Établissement Public Local

‒ Tutelle Conseil Général 74

Conseil d'Administration : élus CG74

Financement CG74

Mission : développement des usages liés aux TIC auprès des organismes publics haut-savoyards‒ Métiers :

Fournisseur d'Accès et de Services Internet (accès, hébergement, mail)

● (Framasoft, Geckozone, Scideralle, Ofset, Adullact, Sesamath, EOF, AGU3L)

Infogérance de parcs informatiques

A propos du CITIC 74A propos du CITIC 74


Contexte

2.2 M de mails traités par jours 1150 sites web (dont certains > 2M de hits/jour) ~ 60 000 utilisateurs ~ 500 serveurs à gérer

‒ Dont 150 sur le site central (physiques et virtuels)

11 M de fichiers (hors OS)

‒ Dont 350 PingOOs à distance

GSIS‒ 3600 postes de travail en Haute-Savoie

‒ 100 serveurs

‒ 30000 utilisateurs

‒ Catalogue de 800 logiciels

Quelques chiffresQuelques chiffres


Architecture existante

Contexte Architecture existante Architecture future Conclusion

SommaireSommaire


Architecture existanteArchitecture globaleArchitecture globale

Bâtiment 1Bâtiment 1

HypervisorHypervisor

SANSAN

LANLAN VirtualVirtualServerServer

VirtualVirtualServerServer


Switch FCSwitch FC

BladeBladeCenterCenter

LameLameLameLame

LameLame

Bâtiment 2Bâtiment 2

HypervisorHypervisor

SANSAN

LANLAN VirtualVirtualServerServer



Switch FCSwitch FC

BladeBladeCenterCenter

LameLameLameLame

LameLame


Architecture existanteÉquipements et technologies utiliséesÉquipements et technologies utilisées

Équipements par site (2 sites en tout)

‒ SAN

14 disques FC de 160 GB

14 disques FATA de 500 GB

~ 9 TB (dont 4.5 TB utiles => réplication)

‒ Blades Center + Lames

Opteron bi-pro monocore 2.4 GHz, 8 GB X 12

Opteron bi-pro dualcore 2.4 GHz, 16 GB X 4

‒ Switch Fiber Channel

Techno

‒ Boot on SAN

‒ Swap sur le SAN

‒ XEN

‒ LVM


Architecture existanteProblèmes rencontrésProblèmes rencontrés

Techniques et financiers ManApp => sous windows Upgrade firmware

‒ Matériel

Blade + Chassis

SAN (Contrôleur/SwitchFC/Disque)

‒ Implication

Indisponibilité de services pendant l'upgrade

Plus de support si :

● pas à jour !● MAJ par une personne NON agréée par le constructeur !

Évolution stockage et traitement Réplication => Licence coûteuse SAN Licence stockage / TB


Architecture existantePoints positifsPoints positifs

Architecture globale très satisfaisante en terme de :

‒ Gestion

‒ Performance (à l'époque de l'installation)

‒ Câblage

‒ Système de réplication

‒ Haute-disponibilité

Inspiration pour la future architecture ...


Architecture future

Contexte Architecture existante Architecture future

‒ Fonctionnalités attendues

‒ Architecture

‒ Choix du système

‒ Outils de gestion

‒ Câblage

‒ Plan de migration

‒ Plan de continuité d'activité

Conclusion

SommaireSommaire


Architecture futureFonctionnalités attenduesFonctionnalités attendues

Haute-disponibilité sur le stockage

‒ Réplication

‒ Maintenance sans coupure

Virtualisation‒ Stockage

‒ Traitement

Outils de gestion en CLI Contraintes

‒ Matériels non propriétaires

‒ Protocoles ouverts

‒ Pas de kernel « homebrew »


Architecture futureArchitecture globaleArchitecture globale

Batiment 1Batiment 1 Batiment 2Batiment 2

Serveurs Serveurs physiquesphysiquesstandardsstandards

VMVM VMVM VMVM VMVM

ServicesServicesServicesServicesServicesServicesServicesServices

VMVM

ServicesServices

Serveurs Serveurs physiquesphysiquesstandardsstandards

VMVM VMVM VMVM VMVM

ServicesServicesServicesServicesServicesServicesServicesServices

Migration d'un Migration d'un site à un autresite à un autre

Serveur de Serveur de stockagestockage

Réplication des disquesRéplication des disquesentre les deux sitesentre les deux sites11 22 33 332211

Accès aux disques via Accès aux disques via iSCSI sur réseau ethernetiSCSI sur réseau ethernet

VMVM : Machines virtualisées: Machines virtualisées

Serveur de Serveur de stockagestockage


Architecture futureÉquipementsÉquipements

Équipements par site (2 sites en tout)

‒ Storage

4 serveurs (bi-pro quad-core Xeon à 2.4 Ghz)

8 GB de RAM

● 10 disques de 1 TB en RAID5 ~ 32 TB (dont 16 TB utiles => réplication)

‒ Traitement

12 serveurs (bi-pro quad-core Xeon à 2.4 Ghz)

64 GB de RAM

‒ Switch Fiber Channel


Architecture futureStockage : Solutions COTSStockage : Solutions COTS

Étude de différentes solutions

‒ FreeNAS (FreeBSD)

‒ OpenFiler (CentOS)

=> pas convaincantes => pas forcément de CLI => OS différents de ceux utilisés


Architecture futureStockage : architecture détailléeStockage : architecture détaillée

StorageStorageServerServer

ProductionProductionData volume - VGData volume - VG

ReplicationReplicationData volume - VGData volume - VG

HypervisorHypervisorServerServer


VdiskVdiskLVLV

VdiskVdiskLVLV

VdiskVdiskLVLV

VdiskVdiskLVLV

VdiskVdiskLVLV

VdiskVdiskLVLV


ProductionProductionData volume - VGData volume - VG

ReplicationReplicationData volume - VGData volume - VG

VdiskVdiskLVLV

VdiskVdiskLVLV

VdiskVdiskLVLV

VdiskVdiskLVLV

VdiskVdiskLVLV

VdiskVdiskLVLV


Architecture futureStockage : iSCSIStockage : iSCSI

Choix de iSCSI

‒ Implémentation

IET (kernel space)

TGT (kernel & user space)

STGT (kernel | user space)

‒ Sécurité

login/password

Réduire le nombre de connexions/disque

Réseau spécifique

VLAN


Architecture futureStockage : Haute-disponibilitéStockage : Haute-disponibilité

Stack switch + répartition câblage sur les 2 switches) Multipath (cf client)

‒ Redondance

‒ Amélioration des performances avec le bonding

Réplication‒ DRBD synchrone

Bonding : 2 X 1 Gb/s

/!\ problème DRBD avec 4 X 1 Gb/s

● Carte 10 Gb/s mais perte de la redondance


Architecture futureStockage : réplication et multipathStockage : réplication et multipath

IPIP

IPIP IPIP

RAID5RAID5

VG_bat11VG_bat11

lv_srv1_1_bat11lv_srv1_1_bat11

VG_bat21VG_bat21

lv_srv1_1_bat21lv_srv1_1_bat21

drbd_srv1_1drbd_srv1_1

vg_srv1vg_srv1

dom0dom0IP SANIP SAN

Bat 1Bat 1 Bat 2Bat 2

lv_srv1_rootlv_srv1_root lv_srv1_varlv_srv1_var

HardwareHardware

LVMLVM

LVMLVM

DRBDDRBD

lv_srv1_...lv_srv1_...

iSCSIiSCSI iSCSIiSCSI

drbda_srv1_1drbda_srv1_1

drb

ds_srv1_1

drb

ds_srv1_1

RAID5RAID5

drbd_srv1_1drbd_srv1_1

drb

ds_srv1_1

drb

ds_srv1_1

drbda_srv1_1drbda_srv1_1

domu1-1domu1-1MultipathMultipath


Architecture futureStockage : réseauStockage : réseau

Switch ethernet Agrégation de port 2x10 GB inter-site VLAN monitoring / management Jumbo Frame (MTU 8500)


Architecture futureStockage : réseauStockage : réseau


Storage ServerStorage Server

SwitchSwitch

SwitchSwitch

StorageStorage replicationreplication

BondingBonding BondingBonding BondingBonding BondingBonding

BondingBonding

StackStack


Storage ServerStorage Server

SwitchSwitch

SwitchSwitch

StorageStorage replicationreplication

BondingBonding BondingBonding BondingBonding BondingBonding

BondingBonding

StackStack

2 X 10 Gb/s2 X 10 Gb/s


Architecture futureStockage : côté serveur de traitementStockage : côté serveur de traitement

accès iSCSI

‒ iSCSI côté initiateur serveur traitement

OpeniSCSI




DATADATA+OS+OS

DATADATA+OS+OS

IP-SAN disksIP-SAN disks

iSCSIiSCSIDiskDisk


Architecture futureStockage : BenchStockage : Bench

11 M fichiers utilisateurs Tailles comprises entre 1 KiB et

4 KiB => Identification des goulets

d'étranglement

‒ iSCSI, DRBD, KVM, Réseau, etc.

Bench hors FS en écriture séquentielle‒ Bench : dd bs=4096

‒ Bench : dd bs=24MiB

‒ 1 à 1à disques en parallèle

Serveur de Serveur de traitementtraitement

Disques physiquesDisques physiques

Virtualisation stockageVirtualisation stockage

RéplicationRéplication

Transport des donnéesTransport des données

Serveur de traitement physiqueServeur de traitement physique

Serveurs virtuelsServeurs virtuels

Services (Web, mail, etc. ). Services (Web, mail, etc. ).

IP-SANIP-SAN

RéseauRéseau


Architecture futureStockage : Bench – répartitions des fichiers en tailleStockage : Bench – répartitions des fichiers en taille



1 2 5 10

0

50

100

150

200

250

Débits constatés avec un blocs de 4096 octets

débit brut débit avec iSCSI débit avec iscsi, drbd

débit avec iscsi, drbd et réplica-tion

débit avec drbd débit avec drbd et réplication

Nombre de disks

Déb

its c

onst

atés

1 2 5 10

0

10

20

30

40

50

60

70

80

90

Débits constatés avec un blocs de 4096 octets

débit avec iSCSI débit avec iscsi, drbd


débit avec drbd et réplication

Nombre de disks

Déb

its c

onst

atés



1 2 5 10

0

100

200

300

400

500

600

700

Débits constatés avec un block de 24 MiB

débit brut débit avec iSCSI

débit avec iscsi, drbd

débit avec iscsi, drbd et réplication


Nombre de disks

Déb

its c

onst

atés

en

Mo/

s

1 2 5 10

0

50

100

150

200

250

300

Débits constatés avec un block de 24 MiB

débit avec iSCSI débit avec iscsi, drbd



Nombre de disks

Déb

its c

onst

atés

en

Mo/

s


Architecture futureTraitement : Architecture généraleTraitement : Architecture générale



SWAPSWAP

DATADATA+OS+OS


DATADATA+OS+OS

Physical disksPhysical disks

DATADATA+OS+OS

SWAPSWAP


iSCSIiSCSIDiskDisk

SWAPSWAP

iSCSIiSCSIDiskDisk


SWAPSWAP

DATADATA+OS+OSDATADATA

+OS+OS


Architecture futureTraitement : Virtualisation & accès au stockageTraitement : Virtualisation & accès au stockage

Virtualisation

‒ Plus de support officiel Xen et OpenVZ

KVM + LXC

● LXC pour avenir● KVM en remplacement des XEN

– Processeurs adaptés pour KVM Accès au stockage

‒ OpeniSCSI


Architecture futureTraitement : Gestion de la swapTraitement : Gestion de la swap




SWAPSWAP

DATADATA+OS+OS

DATADATA+OS+OS


DATADATA+OS+OS

SWAPSWAP

iSCSI disksiSCSI disks

iSCSIiSCSIDiskDisk



SWAPSWAP2GB2GB

Physical diskPhysical disk

SWAPSWAPSLICE 1GBSLICE 1GB



SWAPSWAP1GB1GB



..

..

..V

irtu

al

Sw

ap

Dis

ks

:V

irtu

al

Sw

ap

Dis

ks

:N

X 1

GB

N X

1G

B


Architecture futureTraitement : Haute-disponibilité du stockageTraitement : Haute-disponibilité du stockage

Multipath

‒ Chemin principal :

Poids = 0

‒ Chemin secondaire :

Poids = 400

‒ Amélioration du load-balancing

Bonding + 2 liens iSCSI de même poids




SWAPSWAP

DATADATA+OS+OS

DATADATA+OS+OS


DATADATA+OS+OS

SWAPSWAP


iSCSIiSCSIDiskDisk


DATADATA+OS+OS

MultipathMultipath

Rép

lica tion

Rép

lica tion

Poids = 0Poids = 0

Poids = 400Poids = 400


Architecture futureChoix du système d'exploitationChoix du système d'exploitation

Debian depuis 13 ans Support hardware (kernel) Intégration virtualisation dans le kernel Version stable 1er semestre 2010 => Choix Ubuntu Lucid (10.04)

‒ LTS

‒ Kernel récent

‒ Stable (VS Squeeze)


Architecture futureOutils de gestion : besoinsOutils de gestion : besoins

Important nombre de ressources à gérer

‒ Serveurs virtuels

‒ Serveurs physiques

‒ Disques

‒ Réplication

Besoin d'une gestion‒ Centralisée

‒ Unifiée

‒ Compatible avec les technologies choisies


Architecture futureOutils de gestion : solutions étudiéesOutils de gestion : solutions étudiées

NomType de gestion

CLI*Intégration /

compatibilité avec les technologies utilisées

Interface de programmation

Solution retenue

OpenFiler Stockage Non Partielle Non Non

FreeNAS Stockage Non Partielle Non Non

libvirtMachine virtuelle

Oui ComplèteOui

(python)Oui

* CLI = interface en ligne de commande* CLI = interface en ligne de commande

Obligation de développer notre propre solutionObligation de développer notre propre solution


Architecture futureOutils de gestion : solution en développementOutils de gestion : solution en développement

Centralisation

‒ Serveur de management

‒ Actions à distance

‒ Récupération d'informations

Phase 1‒ Analyse des méta-données

‒ Génération de la configuration pour l'équipement

Phase 2‒ Envoi de la configuration sur

l'équipement

Phase 3

‒ Récupération de l'état de l'équipement / technologie

Serveur demanagement

Serveurs detraitement

VM VM VM

Serveurs destockage



Centralisation







l'équipement

Phase 3




VM VM VM

Serveurs destockage

Configurationdes équipements



Centralisation







l'équipement

Phase 3


Récupérationd'informations



VM VM VM

Serveurs destockage



Architecture interne

‒ Moteur

‒ Librairies standards

‒ Extensions

‒ Interface pour l'accès aux données

Intégrité référentielle des données

‒ Cohérence

‒ Validité

Modèle de données

MoteurMoteur

ExtensionExtensionconfiguration configuration

switchsswitchs

ExtensionExtensionconfigurationconfiguration

serveurserveur

......

Accès aux donnéesAccès aux données

DonnéesDonnées

LibrairiesLibrairiesstandardsstandards

ExtensionExtensionconfiguration configuration réseau serveurréseau serveur

ExtensionExtensioninstallationinstallation

serveur virtuelserveur virtuel


Architecture futureOutils de gestion : Architecture interneOutils de gestion : Architecture interne

Exemple :

‒ Informations sur le DNS

‒ Configurer deux serveurs

Windows, Debian

DNS : 1.2.3.4DNS : 1.2.3.4

DonnéesDonnées



Exemple :



Windows, Debian

DNS : 1.2.3.4DNS : 1.2.3.4

DonnéesDonnées

MoteurMoteur



Exemple :



Windows, Debian

DNS : 1.2.3.4DNS : 1.2.3.4

DonnéesDonnées

MoteurMoteur

ExtensionExtensionconfiguration configuration DNS DebianDNS Debian

ExtensionExtensionconfiguration configuration DNS WindowsDNS Windows



Exemple :



Windows, Debian

DNS : 1.2.3.4DNS : 1.2.3.4

DonnéesDonnées

MoteurMoteur

ExtensionExtensionconfiguration configuration DNS DebianDNS Debian

ExtensionExtensionconfiguration configuration DNS WindowsDNS Windows

resolv.confresolv.conf

script.regscript.reg


Architecture futureCâblageCâblage

Beaucoup plus de câbles

‒ RJ45

‒ FO

Gestion contraignante‒ Couleur câblage

‒ Étiquetage


Architecture futureCâblageCâblage

Switch Service X450a-48Switch Service X450a-48

FirewallFirewallSwitch Stockage x450a-24Switch Stockage x450a-24

10 000 Base LR 10 000 Base LR

1 000 BaseT1 000 BaseT

Stack X GbitStack X Gbit

Panneau de BrassagePanneau de Brassage

30x 1 000 BaseT30x 1 000 BaseT

ExistantExistant

Bat 1Bat 1 Bat 2Bat 2

Baie1Baie1 Baie1Baie1 Baie2Baie2

Switchs de Switchs de stockagestockage

Switchs de Switchs de serviceservice

FWFW FWFW

Boucle deBoucle deMigration Migration de vdiskde vdisk

Baie2Baie2

Boucle deBoucle deMigration Migration de vdiskde vdisk


Architecture futureCâblage - PhotoCâblage - Photo


Architecture futureMigration : AnalyseMigration : Analyse

Objectif : basculer la production sur la nouvelle infrastructure Contraintes

‒ Compatibilité des anciens serveurs virtuels

Distribution

Services

‒ Continuité de service

‒ Capacités électriques

‒ Capacités de refroidissement


Architecture future

Procédures de migration à préparer

‒ Scripts de migration

‒ Automatisation

Récupérer les informations liées aux serveurs à migrer

‒ Alimenter l'outil de gestion

‒ Prise en charge des nouveaux serveurs

AnalyseAnalyseMigration : AnalyseMigration : Analyse

Ancien serveur de traitement

VMVM VM VM VM VM

Phase 1 : Installation et configuration d'un serveur de stockage

Nouveau serveur de traitement

VM VM VM

Nouveau serveur de stockage

Ancien SAN


Architecture future



‒ Automatisation






VMVM VM VM VM VM

Phase 1 : Installation et configuration d'un serveur de stockage


VM VM VM


Ancien SAN


Architecture future



‒ Automatisation






VMVM VM VM VM VM

Phase 2 : Installation et configuration d'un serveur de traitement


VM VM VM


Ancien SAN


Architecture future



‒ Automatisation






VMVM VM VM VM VM

Phase 3 : Installation et configuration des serveurs virtuels à migrer sur lanouvelle infrastructure


VM VM VM


Ancien SAN


Architecture future



‒ Automatisation






VMVM VM VM VM VM

Phase 4 : 1ère synchronisation des données


VM VM VM

Nouveau serveur de stockageAncien SAN


Architecture future



‒ Automatisation






VMVM VM VM VM VM

Phase 5 : Arrêt des serveurs virtuels + synchronisation finale


VM VM VM



Architecture future



‒ Automatisation






VMVM VM VM VM VM

Phase 6 : Redémarrage des serveurs virtuels sur la nouvelle architecture


VM VM VM



Architecture future



‒ Automatisation





Phase 7 : Arrêt de l'ancien serveur de traitement


VMVM VM VM VM VM


VM VM VM


Ancien SAN


Architecture future



‒ Automatisation





Phase 8 : Arrêt de l'ancien SAN (si aucun serveur de traitement n'est à migrer)


VMVM VM VM VM VM


VM VM VM


Ancien SAN


Architecture futureMigration : problématique de l'alimentationMigration : problématique de l'alimentation

Ancien serveur de stockageAncien serveur de stockage

Ancien serveur de traitementAncien serveur de traitement Nouveau serveur de traitementNouveau serveur de traitement

Nouveau serveur de stockageNouveau serveur de stockage

Étapes

Consommationélectrique

1 2 3 54

MAX

76 8


Architecture future

Contraintes :

‒ Rôle d'hébergeur de services internet

24h/24, 7J/7

Continuité de service

Minimisation de l'indisponibilité lors des maintenances et des pannes

Plan de Continuité d'Activités (PCA)Plan de Continuité d'Activités (PCA)


Architecture future

Plan de continuité d'activité

‒ Identifier les risques

‒ Identifier les cas de maintenance

Rédaction‒ Procédures de continuité d'activité en mode dégradé

‒ Procédures de reprise d'activité

‒ Procédures de retour « à la normale »

PCA : ObjectifsPCA : Objectifs


Architecture future

Les risques

‒ Niveau du risque

‒ Quantification de l'impact

Équipements touchés

Services touchés

Quantification de l'indisponibilité Maintenance

‒ Panne contrôlée

PCA : Évaluation des risquesPCA : Évaluation des risques


Architecture futurePCA : ExemplePCA : Exemple

IncendieIncendied'un bâtimentd'un bâtiment

Arrêt de laArrêt de laproductionproduction

Procédure de Procédure de continuité continuité d'activitéd'activité

AUCUNEAUCUNE

Procédure Procédure de reprisede reprise

Basculement de Basculement de l'activité sur l'activité sur

l'autre bâtimentl'autre bâtiment

Procédure Procédure de retour à de retour à la normalela normale

Assurance, Assurance, appel d'offres, appel d'offres,

......

Fonctionnement Fonctionnement dégradédégradé

Temps Temps d'indisponibilité de d'indisponibilité de

plusieurs moisplusieurs mois


Architecture future

Les procédures

‒ Basculement de la production

Manuel

Automatique

‒ Retour à la normale

Les solutions

‒ Migration automatique

‒ Multipath

PCA : Les procéduresPCA : Les procédures


Conclusion

TODO

‒ Bencher avec KVM

‒ Finir le développement des outils de gestions

‒ Finir les tests du PCA

Premier tests en production début septembre Migration prévues pour octobre


Questions ?

Documents

Migration d’un Cluster Fiber Channel+SAN+Lames sous …2010.rmll.info/IMG/pdf/presentation_clusterv4_v1.pdf · Fournisseur d'Accès et de Services Internet (accès, hébergement,