Haute disponibilité, protection des données et intégrité ... · performances et apporter des fonctions avancées pour ... 12 Modules d’E/S ... maximisant ainsi le taux d’utilisation

Livre blanc

Résumé

L’une des principales fonctions d’un système de stockage est d’héberger des données de façon sûre et fiable. Le système de stockage doit fournir un accès permanent et sans interruption aux données, respecter les exigences les plus strictes en matière de performances et apporter des fonctions avancées pour rationaliser les opérations et simplifier la gestion des données. Ce livre blanc définit la haute disponibilité, la protection des données et l’intégrité des données, puis examine comment la conception matérielle et logicielle exclusive de XtremIO a réussi à dépasser le taux de 99,999 % sur le temps d’activité et la résilience aux pannes. Ce document détaille également la surveillance, les niveaux de redondance, les contrôles d’intégrité et l’extrême souplesse de l’architecture afin de préserver les performances système et la disponibilité des données en s’ajustant aux pannes. Avril 2015

HAUTE DISPONIBILITÉ, PROTECTION DES DONNÉES ET INTÉGRITÉ DES DONNÉES DANS L’ARCHITECTURE XtremIO

2 Haute disponibilité, protection des données et intégrité

des données dans l’architecture XtremIO

Copyright © 2015 EMC Corporation. Tous droits réservés. EMC estime que les informations figurant dans ce document sont exactes à la date de publication. Ces informations sont modifiables sans préavis. Les informations contenues dans cette publication sont fournies « en l’état ». EMC Corporation ne fournit aucune déclaration ou garantie d’aucune sorte concernant les informations contenues dans cette publication et rejette plus spécialement toute garantie implicite de qualité commerciale ou d’adéquation à une utilisation particulière. L’utilisation, la copie et la distribution de tout logiciel EMC décrit dans cette publication exigent une licence logicielle en cours de validité. Pour obtenir la liste actualisée des noms de produits, consultez la rubrique des marques EMC via le lien Législation, sur france.emc.com. EMC2, EMC, le logo EMC et le logo RSA sont des marques déposées ou des marques commerciales d’EMC Corporation aux États-Unis et dans d’autres pays. VMware est une marque déposée de VMware, Inc. aux États-Unis et/ou dans d’autres juridictions. Toutes les autres marques citées dans le présent document sont la propriété de leurs détenteurs respectifs. © Copyright 2014 EMC Corporation. Tous droits réservés. Publié en France. Référence H13693-01 (rév. 02)



Table des matières

Résumé analytique .................................................................................................. 4

Introduction ............................................................................................................ 5 Audience ............................................................................................................................ 5

Haute disponibilité .................................................................................................. 6

Intégrité des données .............................................................................................. 7

Architecture XtremIO ............................................................................................... 8 Architecture matérielle ....................................................................................................... 8

Architecture logicielle ............................................................................................ 11 Modules d’infrastructure .................................................................................................. 11

Module SYM (System-Wide Management) .................................................................... 11 Module du gestionnaire de plate-forme ........................................................................ 12

Modules d’E/S.................................................................................................................. 13 Module de routage ....................................................................................................... 13 Module de contrôle ...................................................................................................... 13 Module de données ..................................................................................................... 14

Redémarrage des modules ............................................................................................... 14 Flux d’E/S ......................................................................................................................... 15

Consignation distribuée et sécurisée ..................................................................... 16

Indépendance des modules logiciels et matériels .................................................. 18

Redondance de la connectivité .............................................................................. 19

Vérification de bout en bout .................................................................................. 21 Vérification du matériel .................................................................................................... 21 Trace de données cryptographique ................................................................................... 22 Chemins de messages séparés ........................................................................................ 22

Prévention, détection et contention des pannes ..................................................... 23 Architecture orientée services .......................................................................................... 23 Détection des pannes ....................................................................................................... 23 Réparation avancée .......................................................................................................... 24

Mise à niveau sans perturbation ............................................................................ 25 Mise à niveau de XtremIO OS (XIOS) ................................................................................. 25 Mise à niveau du microcode des composants et du noyau Linux ...................................... 25 Extension de cluster en ligne ............................................................................................ 25

Capacité de restauration du système ..................................................................... 27 Perte de communication du XMS ...................................................................................... 27 Perte de communication entre les contrôleurs de stockage .............................................. 28

Conclusion ............................................................................................................ 29

Pour en savoir plus ................................................................................................ 29



Résumé analytique L’une des fonctions majeures de tout système de stockage d’entreprise est d’héberger des données de façon sûre et fiable. Le système de stockage doit fournir un accès permanent et sans interruption aux données, respecter les exigences les plus strictes en matière de performances et apporter des fonctions avancées pour rationaliser les opérations et simplifier la gestion des données.

Un système de stockage d’entreprise doit offrir la meilleure résilience et ne contenir aucun point unique de défaillance, tout en protégeant les données quelle que soit la panne rencontrée. Il doit également offrir de hauts niveaux de service en cas de défaillance d’un composant.

Même les systèmes de stockage spécialisés reposent sur des logiciels et des composants informatiques courants qui peuvent tous rencontrer des pannes. Certaines défaillances peuvent être immédiatement visibles, par exemple un disque dur ou SSD défectueux. D’autres seront plus subtiles, comme des ressources mémoire insuffisantes qui créent des problèmes de performances. Pour garantir la haute disponibilité et l’intégrité des données face à de telles défaillances, les meilleurs systèmes de stockage disposent d’une architecture qui maintient le flux d’E/S tant que la protection des données n’est pas en danger, et prévoit divers contrôles d’intégrité des données, généralement optimisés pour offrir de bonnes performances système.

Ce livre blanc définit la haute disponibilité, la protection des données et l’intégrité des données, puis examine comment la conception matérielle et logicielle exclusive de XtremIO dépasse le taux de 99,999 % sur le temps d’activité et la résilience aux pannes.

Ce document détaille également la surveillance, les niveaux de redondance, les contrôles d’intégrité et l’extrême souplesse de l’architecture afin de préserver les performances système et la disponibilité des données en s’ajustant aux pannes.



Introduction L’architecture système de XtremIO a été intégralement conçue pour fournir une disponibilité continue. La baie ne présente aucun point unique de défaillance et bénéficie d’une protection d’entreprise qui permet aux données de survivre à presque tous les sinistres.

L’association d’une conception scale-out et d’une architecture logicielle modulaire et orientée services permet à XtremIO de fonctionner comme un système unifié avec la possibilité d’adapter des modules indépendants en cas de pannes matérielles inattendues.

Avec plus de 1 000 clients traitant des charges applicatives d’entreprise parmi les plus exigeantes, XtremIO a démontré ses capacités à offrir une fiabilité à 99,999 %, qui atteint 99,9999 % en combinaison avec EMC VPLEX. L’association d’une conception scale-out et d’une architecture logicielle modulaire et orientée services permet à plusieurs modules X-Brick XtremIO de fonctionner comme un système unique avec la possibilité d’adapter des modules indépendants en cas de pannes matérielles inattendues.

Audience

Ce livre blanc s’adresse aux clients d’EMC, aux consultants techniques, aux partenaires et aux membres de la communauté de services professionnels d’EMC et de ses partenaires qui souhaitent en savoir plus sur l’architecture XtremIO pour bénéficier de la haute disponibilité, de l’intégrité des données et de la protection des données.



Haute disponibilité La haute disponibilité est une approche de la conception système qui garantit que le service est fourni en continu et avec le niveau de performances attendues. Les utilisateurs souhaitent disposer de leurs applications en permanence. Pour parvenir à cet objectif, le système de stockage doit être hautement disponible. Une conception favorable à la haute disponibilité est une conception qui offre suffisamment de redondance pour empêcher tout point unique de défaillance d’entraîner l’indisponibilité des données. Elle doit également fournir une redondance suffisante pour éviter que plusieurs pannes ne se produisent en même temps. Les systèmes de stockage d’entreprise doivent également empêcher que des défaillances, même improbables, n’entraînent la perte ou la détérioration physiques des données. Ces systèmes doivent donc disposer de mécanismes de détection des pannes de haut niveau. Ils doivent également être capables de restaurer un composant défaillant de façon rapide et automatique ou rétablir un état redondant et équilibré en modifiant l’allocation des ressources. Par exemple, si deux contrôleurs de baie servent des données et que l’un deux tombe en panne, le système doit être en mesure de rediriger les E/S par le biais du contrôleur restant aussi vite que possible.

Il existe deux types de redondance : la redondance passive et la redondance active. La redondance passive provisionne des composants d’accès qui sont inactifs et ne deviennent opérationnels que si un composant primaire tombe en panne. À titre d’exemple, la redondance passive dans un système de stockage d’entreprise peut être assurée par des contrôleurs passifs/actifs (un contrôleur sert les E/S et l’autre ne le fait que si le contrôleur primaire tombe en panne) ou par des disques remplaçables en fonctionnement, qui sont désignés comme disques de secours (au sein du système) et mobilisés lorsqu’un autre disque est défaillant. En général, la conception passive gaspille les ressources et accroît les coûts en prévoyant du matériel supplémentaire qui est rarement utilisé, mais qui fait partie intégrante du système. La redondance active maintient en activité tous les composants système et, dans l’idéal, les mobilise de façon équilibrée, maximisant ainsi le taux d’utilisation des ressources et minimisant l’impact d’une panne de l’un des composants. Il est donc largement préférable d’opter pour un système à redondance active.

Si un système de stockage doit toujours préserver la disponibilité en cas de défaillance unique, les meilleures conceptions empêchent toute perte de données même si deux pannes se produisent en même temps.



Intégrité des données La principale fonction d’un système de stockage d’entreprise est de stocker les données utilisateur de façon fiable. Lorsqu’un hôte lit les données, le système de stockage doit lui fournir les données correctes stockées à l’emplacement demandé. L’exactitude des données doit être validée dès la réception des données par le système de stockage et tout au long de leur cheminement dans le système, jusqu’à ce qu’elles soient écrites sur le support de stockage back-end (vérification de bout en bout).

Afin de vérifier que les données sont correctes au moment de la lecture, le système doit créer une trace, basée sur les données stockées, et vérifier régulièrement cette trace pendant que les données sont lues. La trace permet de s’assurer que les données n’ont pas changé, que ce soit au repos ou en cours d’utilisation. Dans l’idéal, le système de stockage doit utiliser des emplacements indépendants pour les données et la trace correspondante. Cette méthode réduit la probabilité qu’un composant unique affecte les données et la trace de la même manière, ce qui conduirait le système à indiquer que les données sont saines alors qu’elles ne le sont pas. Le pire que puisse faire un système de stockage, c’est de fournir des données corrompues à l’hôte tout en indiquant qu’elles sont correctes.



Architecture XtremIO

Architecture matérielle

Le membre principal de la baie XtremIO est le module X-Brick, un composant actif/actif hautement disponible doté de deux contrôleurs de stockage (nœuds) indépendants et tolérants aux pannes.

Les modules X-Brick peuvent être groupés en cluster afin de créer un vaste système scale-out dont la capacité, les performances de bande passante et les IOPS croissent de façon linéaire à mesure que l’on ajoute des modules X-Brick. Comme un X-Brick ne présente aucun point unique de défaillance, il est possible d’en utiliser un seul pour commencer à créer un cluster XtremIO.

Chaque X-Brick contient deux contrôleurs de stockage indépendants et un boîtier de 25 disques SSD. Ce boîtier possède également deux contrôleurs SAS (Serial Attached SCSI) avec une double connexion à chaque contrôleur de stockage.

Chaque cluster XtremIO contient au minimum deux blocs-batteries de secours pour faciliter la mise en chambre forte des données non écrites sur un stockage permanent en cas de coupure d’alimentation.

La baie XtremIO est intégralement conçue avec des composants standard (par exemple, des serveurs X86, des disques SSD normalisés et des cartes d’interface disponibles commercialement) et ne compte absolument aucun matériel propriétaire. Grâce à cette combinaison de composants, XtremIO peut s’appuyer sur les meilleurs fournisseurs et bénéficier des progrès généraux réaliser par les fabricants de composants.

Figure 1. Composition matérielle d’un cluster XtremIO à un seul X-Brick



Chaque contrôleur de stockage et chaque boîtier DAE de la baie XtremIO est équipé de deux alimentations, chacune raccordée à deux circuits électriques distincts (conformément aux bonnes pratiques d’installation de XtremIO).

Figure 2. Schéma du bloc logique matériel XtremIO à un seul X-Brick

Un cluster de plus d’un X-Brick est équipé de deux switches InfiniBand. Indispensables pour la redondance, ces switches sont connectés à deux circuits électriques distincts. Chaque contrôleur de stockage est connecté à deux switches InfiniBand. Les switches InfiniBand sont également connectés entre eux afin de renforcer la bande passante et la redondance.

Figure 3. Matériel XtremIO à deux modules X-Brick



Figure 4. Schéma du bloc logique matériel XtremIO à deux modules X-Brick



Architecture logicielle L’architecture logicielle de XtremIO permet d’exécuter n’importe quel composant logiciel sur n’importe quel contrôleur de stockage du cluster. Cette capacité assure un fonctionnement en continu, même en cas de défaillance matérielle. Les composants logiciels de la baie XtremIO s’appellent des modules, et tous les modules XtremIO s’exécutent dans l’espace utilisateur. Linux fournit le noyau sous-jacent. L’environnement d’exploitation propriétaire, nommé XtremIO OS (XIOS), fournit les fonctions de planification et de messagerie et des utilitaires spéciaux pour les modules XtremIO.

Il existe six types de modules principaux dans le système et des instances multiples de chacun d’eux peuvent s’exécuter dans le système de façon indépendante. Trois types de modules sont des modules d’infrastructure, chargés de la gestion système, de la disponibilité et des services destinés aux autres modules. Les trois autres types de modules sont des modules d’E/S, chargés des services de données avec la baie et de la communication avec l’hôte.

Modules d’infrastructure

Module SYM (System-Wide Management)

Le module SYM offre une vue complète des composants matériels et logiciels. Il est chargé de la disponibilité du système et initie toutes les modifications de configuration système afin d’atteindre une disponibilité et une redondance maximales.

Le module SYM décide quels modules doivent s’exécuter sur quel contrôleur de stockage, initie le basculement sur incident de la propriété des données d’un contrôleur à l’autre, ainsi que la reconstruction des disques SSD en cas de défaillance.

Un seul module SYM constitue l’entité de gestion active et cette entité est la seule à prendre des décisions concernant le système dans son ensemble à tout point dans le temps. Si le composant exécutant le module SYM actif tombe en panne, un autre module SYM s’active rapidement et prend le relais.

Un programme logiciel supplémentaire s’exécute sur chaque contrôleur de stockage. Ce logiciel est chargé de vérifier qu’un module SYM, et un seul, est actif dans le système ; un processus simple qui élimine la possibilité de ne pas avoir de module SYM actif.



Figure 5. Schéma du bloc logiciel du contrôleur de stockage XtremIO

Module du gestionnaire de plate-forme

Chaque contrôleur de stockage exécute un seul module gestionnaire de plate-forme. Le module gestionnaire de plate-forme traite toutes les activités du contrôleur de stockage. Il surveille l’état de santé du contrôleur et le transmet au module SYM. Le module gestionnaire de plate-forme se charge de vérifier que tous les processus s’exécutent correctement au sein du contrôleur de stockage.

L’arrêt et le redémarrage des modules sont exécutés par le module gestionnaire de plate-forme pour le compte du module SYM. Le module gestionnaire de plate-forme communique les défaillances matérielles au module SYM. Il facilite également la réplication des structures de données importantes (consignation) entre les contrôleurs de stockage. Il réplique les mémoires de journaux entre les contrôleurs de stockage grâce au procédé RDMA (Remote Direct Memory Access) sur le fabric InfiniBand du système. L’activité de consignation est critique pour la redondance des données utilisateur et des métadonnées système.

Le module gestionnaire de plate-forme déclenche un arrêt du contrôleur de stockage si une coupure d’alimentation est découverte et/ou si la communication avec les autres contrôleurs de stockage est totalement rompue.



Modules d’E/S

Les modules d’E/S se chargent de stocker les données provenant des hôtes et de récupérer les données à la demande. Un module d’E/S s’exécute sur chaque contrôleur de stockage. Le module SYM détermine quel module s’exécute sur quel contrôleur de stockage. Chaque E/S passe par les trois types de modules d’E/S (routage, contrôle et données).

Module de routage

Le module de routage est la seule entité du système à communiquer avec l’hôte. Il accepte les commandes SCSI émises par l’hôte et les analyse.

Le module de routage est sans état et se contente de convertir les demandes en volumes et en LBA (Logical Block Address). Le module transmet ensuite la demande au module de contrôle (et au contrôleur de stockage) gérant les LBA.

Le module de routage équilibre la charge de façon inhérente sur l’ensemble du système de clusters XtremIO, en exécutant une fonction d’attribution de trace basée sur le contenu qui permet de répartir uniformément les données sur tous les modules X-Brick du système. Pour une description plus détaillée de ce processus, consultez le livre blanc Présentation de la baie de stockage EMC XtremIO

Module de contrôle

Le module de contrôle est chargé de convertir l’adresse de l’utilisateur hôte (LBA) en un mappage interne à XtremIO. Il joue le rôle de couche de virtualisation entre la LBA ou le volume SCSI de l’hôte et l’emplacement de déduplication en back-end de XtremIO. Cette couche de virtualisation permet de mettre efficacement en œuvre toute une gamme de services de données enrichis.

Les données stockées dans XtremIO sont adressables par contenu. L’emplacement des données dans la baie est déterminé par son contenu, et non par son adresse, comme c’est le cas dans d’autres systèmes de stockage. Les LBA de chaque volume d’une baie XtremIO sont répartis entre plusieurs modules de contrôle.



Module de données

Le module de données est chargé de stocker les données sur les disques SSD. Il fonctionne comme un service pour le module de contrôle : le module de contrôle fournit une trace de contenu et le module de données écrit ou lit les données en fonction de cette trace.

Le module de données exécute trois opérations de base seulement : la lecture, l’écriture et l’effacement de blocs. L’objectif est de préserver au maximum la simplicité du module afin de maintenir une conception système robuste et fiable. Le module de contrôle n’a pas à s’occuper de l’allocation XDP (XtremIO Data Protection). La centralisation du processus XDP dans le module de données apporte flexibilité et efficacité à l’ensemble du système.

Le module de données mappe de façon régulière une trace de contenu à un emplacement physique sur un disque SSD de la même manière que le module de contrôle mappe une adresse hôte à une trace de contenu. Ce processus garantit que les données sont équilibrées, pas seulement sur l’ensemble des contrôleurs de stockage, mais également sur l’ensemble des disques SSD de la baie. Cette couche supplémentaire de conversion permet aussi au module de données d’optimiser le placement des données sur les disques SSD. Même dans des situations difficiles, par exemple des composants en panne, un espace libre minimal et des opérations fréquentes d’écrasement des données, XDP peut trouver des emplacements optimaux pour stocker les données dans le système. Pour en savoir plus sur la manière dont XDP assure la redondance et le positionnement des données optimisé pour le Flash, consultez le livre blanc EMC XtremIO Data Protection.

Redémarrage des modules

Comme tous les modules XtremIO s’exécutent dans l’espace utilisateur, XIOS peut rapidement les redémarrer en fonction des besoins. Toute panne logicielle ou tout comportement suspect du module entraîne un redémarrage automatisé. Les redémarrages se font sans interruption et sont généralement indétectables au niveau utilisateur. Cette fonction sert également de base à la mise à niveau sans perturbation.



Flux d’E/S

L’E/S de l’hôte est initialement reçue par le module de routage (R) qui analyse les commandes SCSI. Le module calcule ensuite une trace pour les données et transmet l’E/S au module de contrôle (C) pertinent. Le module de contrôle ne doit pas obligatoirement se trouver dans le même contrôleur de stockage que le module de routage. Le module de contrôle convertit la demande de l’hôte dans le processus de gestion des données interne à XtremIO et transmet les données au module de données (D) approprié. Le module de données vérifie la trace, puis stocke les données sur les disques SSD en utilisant le processus de protection XDP de XtremIO, qui est optimisé pour le Flash et hautement redondant. Le chemin d’E/S suit toujours ces mêmes étapes, indépendamment de la taille du cluster XtremIO. Ainsi, la latence reste constante quelle que soit l’échelle du système.

Figure 6. Exemple de flux d’E/S d’écriture provenant de l’hôte



Consignation distribuée et sécurisée Comme dans toute conception de système de stockage d’entreprise, la baie n’est pas uniquement chargée de protéger les données, elle utilise aussi ses propres métadonnées pour fonctionner. Il est primordial de protéger les métadonnées et de maintenir leur cohérence. XtremIO a développé un mécanisme exclusif de consignation distribuée qui est conçu pour protéger les métadonnées importantes de tout le système, ainsi que ses Datasets internes.

Une copie des métadonnées de la baie est stockée dans la mémoire du contrôleur de stockage. Les métadonnées mises à jour sont répliquées de manière synchrone et distribuée sur un ou plusieurs contrôleurs de stockage physiques via RDMA sur InfiniBand. Par conséquent, chaque changement en temps réel est protégé sur de multiples emplacements.

Dans un cluster comptant plusieurs X-Brick, les données de consignation sur chaque contrôleur de stockage sont protégées par tous les autres contrôleurs de stockage via un processus de réplication distribué. Le module SYM gère les relations de réplication du journal entre les contrôleurs de stockage au sein du cluster.

Pour des raisons de résilience, un contrôleur de stockage non doté d’une alimentation de secours sur batterie ne peut être la cible des données de consignation répliquées. Si pour une quelconque raison, le contrôleur de stockage ne peut pas écrire les données de consignation sur un contrôleur de stockage distinct, il les écrit, en dernier recours, sur ses disques SSD locaux. Si un contrôleur de stockage tombe en panne, le journal répliqué est utilisé pour reconstruire les contenus perdus sur ce contrôleur.

Tous les contenus de journaux sont périodiquement déchargés du cache (« destage ») sur un stockage SSD non volatile. En cas de coupure de courant, les blocs-batteries de secours du système permettent d’effectuer cette opération et d’arrêter normalement le cluster. Lorsque les métadonnées sont déchargées sur les disques SSD, elles sont protégées par XDP, ainsi que d’autres techniques conçues pour contrer les défaillances de disques SSD.



La consignation distribuée et sécurisée confère au système une capacité de restauration même dans l’éventualité d’une catastrophe qui couperait toute communication entre les contrôleurs de stockage. Chaque contrôleur de stockage devient un protecteur de métadonnées autonome et peut être reconnecté au système une fois la communication rétablie.

En raison de l’importance de la consignation, le code de ce mécanisme est complètement séparé de tous les autres modules logiciels. Il s’agit d’un module logiciel autonome simple, conçu pour offrir une haute résilience.

Figure 7. Relations de réplication entre les contrôleurs de stockage du cluster



Indépendance des modules logiciels et matériels L’architecture flexible de XtremIO permet d’exécuter tout composant logiciel sur n’importe quel contrôleur de stockage du système. Cette flexibilité apporte un maximum de disponibilité et de résilience tout en maintenant des performances optimales.

Tout changement apporté à la configuration matérielle entraîne la modification dynamique du nombre de modules logiciels actifs. Cette approche dynamique du changement garantit que toutes les ressources disponibles sont utilisées de façon optimale par le système. Par exemple, un cluster composé de quatre contrôleurs de stockage dispose de deux fois plus de débit et d’IOPS qu’un cluster à deux contrôleurs de stockage. Citons également en exemple le module SYM qui s’exécute sur un seul contrôleur de stockage. En cas de panne d’un composant matériel, le module SYM s’active et s’exécute sur un autre contrôleur de stockage sans aucune intervention utilisateur. Une fois le composant matériel défectueux remplacé, le cluster revient automatiquement et rapidement à un niveau optimal de disponibilité et de performances.

Un autre facteur permet à XtremIO de jouer sur les ressources : tous les modules logiciels sont couplés de façon souple. Il n’y a pas d’affinité entre le logiciel et un serveur matériel donné, ni entre les différentes instances logicielles. Un module de données peut recevoir des demandes de tout module de contrôle et ainsi y répondre sous forme de transaction. Il n’a pas besoin de se souvenir de cette transaction et la transaction suivante en est totalement distincte. Cette architecture est semblable à l’architecture orientée services.



Redondance de la connectivité La connectivité de XtremIO préserve la redondance des communications vers chaque composant du système (reportez-vous au Tableau 1 et au Tableau 2).

Non seulement chaque composant dispose d’au moins deux chemins fournis pour les communications, mais la communication de gestion s’effectue aussi sur un réseau distinct de celui du flux de données. Les E/S de l’hôte sont transmises via les ports Fibre Channel ou iSCSI, tandis que la gestion du cluster s’effectue via des ports de gestion Ethernet dédiés sur chaque contrôleur de stockage.

Une telle conception permet de séparer le contrôle du chemin d’E/S. Assurer la surveillance sur un réseau différent donne la possibilité de corréler les événements et le niveau de santé du système indépendamment de la charge ou du comportement des E/S.

Tableau 1 : Redondance de la connectivité de XtremIO

Redondance Commentaire/Bonnes pratiques

Chaque contrôleur de stockage compte deux ports Fibre Channel.

Connectez chaque port à un switch SAN distinct.

Chaque contrôleur de stockage compte deux ports iSCSI.

Connectez chaque port à un switch SAN distinct.

Chaque contrôleur de stockage compte deux ports InfiniBand.

Chaque port est connecté à un fabric InfiniBand distinct pour garantir la tolérance aux pannes dues à des composants InfiniBand.

Il y a deux switches InfiniBand (quand le système comporte plusieurs modules X-Brick).

Chaque switch est connecté à chaque contrôleur de stockage pour protéger le système contre les pannes de switches InfiniBand.

Il y a deux câbles d’interconnexion InfiniBand (quand le système comporte un seul X-Brick).

Des chemins InfiniBand redondants relient les deux contrôleurs de stockage.

Chaque boîtier DAE a deux modules contrôleurs SAS.

La défaillance d’un module contrôleur SAS n’entraîne aucune perte de connectivité entre le boîtier DAE et les contrôleurs de stockage.

Chaque contrôleur SAS de boîtier DAE utilise deux câbles SAS.

Les chemins SAS redondants garantissent qu’aucune perte de service ne se produit en cas de défaillance d’un port SAS ou d’un câble SAS.



Tableau 2 : Impact sur le service d’une défaillance dans XtremIO

Échec Action Impact sur le service

Port Fibre Channel ou iSCSI Le logiciel de multipathing de l’hôte utilise les ports restants.

Sans effet

Port InfiniBand Le système utilise le port InfiniBand restant pour les transferts de données depuis et vers les contrôleurs de stockage.

Sans effet

Switch InfiniBand Le système utilise le switch InfiniBand restant pour les transferts de données internes.

Sans effet

Contrôleur de stockage Le binôme du contrôleur de stockage dans le même X-Brick prend la responsabilité de toutes les données dans le boîtier DAE.

Aucune perte de service. Une perte de performances se produit, car la capacité globale de traitement des E/S est moindre.

Ethernet Le XMS ne peut pas communiquer avec le contrôleur de stockage.

Sans effet sur les E/S ni sur les performances. Les communications de chemin de données du système restent actives via InfiniBand. La baie ne peut pas être configurée ni surveillée jusqu’à ce que la connectivité soit restaurée.

Blocs d’alimentation du contrôleur de stockage, du boîtier DAE et du switch InfiniBand

Le système signale la ou les pannes à l’administrateur. Un bloc d’alimentation de remplacement peut être installé sans impact sur le service.

Sans effet. La double alimentation permet de maintenir les composants en ligne.

Coupure d’alimentation sur un circuit

Le système signale la panne à l’administrateur. Le système reste opérationnel sur le circuit secondaire redondant.

Sans effet

Coupure d’alimentation sur les deux circuits

Le système décharge (« destage ») la mémoire vive sur un stockage non volatile et procède à un arrêt normal.

Aucun service jusqu’au rétablissement de l’alimentation.

Disque SSD Le système avertit l’administrateur. La reconstruction automatisée du disque SSD a lieu (pour un maximum de deux défaillances simultanées de disques SSD).

Une perte de performances se produit jusqu’à ce que la reconstruction soit achevée, selon le niveau de remplissage et le taux d’utilisation de la baie. Sur les baies moins remplies et moins sollicitées, l’impact sur les performances est moindre et la reconstruction plus rapide.



Vérification de bout en bout

Vérification du matériel

La réception des vérifications est un aspect important de tout système de stockage : s’effectue à chaque étape du chemin des données. Le tableau 3 décrit les différents mécanismes de vérification de la protection des données.

Pendant les transferts de données entre composants, le composant matériel émetteur génère un contrôle de redondance cyclique (CRC), qui est ensuite vérifié par le récepteur. Pour toutes les données inactives (en mémoire ou sur un disque SSD), un code de correction d’erreur (CCE) et un CRC sont générés lors d’une opération d’écriture en mémoire, puis vérifiés lors de la lecture.

Tableau 3 : Mécanismes de vérification de la protection matérielle des données dans XtremIO

Composant matériel Type de vérifications

Transfert de données : Fibre Channel, Ethernet, InfiniBand, PCIe, SAS

CRC sur le matériel

Données inactives en mémoire CCE sur la DRAM

Données inactives sur disque SSD CCE sur disque SSD, CRC sur disque SSD, XDP dans XtremIO

XtremIO utilise des serveurs x86, des cartes d’interface, des composants InfiniBand et des disques SSD eMLC standard. Chacun de ces composants comprend des étapes de vérification matérielle très abouties et d’une grande robustesse.

EMC XtremIO évite de placer dans la baie des modules matériels personnalisés, qui nécessitent beaucoup de travail technique pour atteindre les niveaux de résilience déjà présents dans les composants standard adaptés à l’entreprise.



Trace de données cryptographique

Outre le fait que chaque composant XtremIO du chemin de données dispose de son propre mécanisme de vérification des données, XtremIO effectue un contrôle des données indépendant qu’aucun autre système de stockage ne peut proposer. À réception d’une E/S de l’hôte, le module de routage de XtremIO (module R) calcule une trace de données cryptographique unique à partir des contenus reçus de l’hôte.

La trace cryptographique est unique et peut uniquement être corrélée à un bloc spécifique du modèle de données. Cette trace cryptographique est exploitée par les algorithmes de la baie chargés du positionnement des données en fonction des contenus, ainsi que par le processus de déduplication en ligne.

L’intégralité de la librairie de traces est conservée dans la mémoire du contrôleur de stockage. La trace cryptographique des données est recalculée à partir des données sortantes et comparée à la trace d’origine à chaque fois que les données sont lues par un hôte. Ce procédé garantit que les informations d’origine reçues de l’hôte sont stockées en toute sécurité sur les disques SSD, qu’elles ne subissent aucune modification accidentelle et sont correctement transmises à l’hôte lorsqu’il les demande.

Chemins de messages séparés

Les informations calculées pour la trace cheminent jusqu’au module de données dans un message distinct et sur un chemin différent que ceux des données elles-mêmes. Cette séparation garantit qu’aucun composant ne peut corrompre les données et la trace de la même façon pendant le transit, évitant ainsi toute corruption non détectée des données. En résumé, une trace est calculée à l’arrivée des données dans le système, puis recalculée et comparée à chaque lecture du disque SSD et pendant le transfert des données à l’hôte. La trace spécifique se déplace au sein du système XtremIO séparément des données elles-mêmes, fournissant ainsi une méthode efficace de vérification indépendante.



Prévention, détection et contention des pannes

Architecture orientée services

XtremIO évite les situations de défaillances en cascade, comme il peut s’en produire dans les systèmes à mémoire partagée. XtremIO repose sur différents services qui peuvent communiquer entre eux. Chaque service à son propre jeu de structures de données. Si une défaillance se produit dans un service ou dans des données, elle y reste contenue.

Les systèmes de stockage dotés de mémoires partagées et de structures de données de grande ampleur sont intrinsèquement plus vulnérables aux erreurs logicielles. Par conséquent, ils doivent développer davantage de ressources pour essayer de prévenir les défaillances en cascade. XtremIO a dès le départ exploité une architecture orientée services afin de construire un système évolutif qui soit plus robuste que les grandes architectures monolithiques utilisées pour les systèmes de stockage hautes performances.

Détection des pannes

Le module SYM surveille et détecte en continu les pannes matérielles et logicielles au sein du système. Il surveille en permanence les contrôleurs de stockage, les boîtiers DAE, les adapteurs HBA Fibre Channel, les cartes réseau Ethernet, les adapteurs HCA InfiniBand, les switches InfiniBand et les blocs-batteries de secours. Le module SYM surveille également en continu le pilote SCSI, les pilotes de contrôleurs HBA, le noyau Linux et les composants logiciels de communication sur batterie.

Chaque composant et chaque chemin de données utilisé dans le système XtremIO possède sa propre méthode de détection d’erreur (comme indiqué à la section Vérification de bout en bout à la page 21). Par exemple, les disques eMLC de la baie XtremIO ont un CRC 32 bits avec LBA incorporée qui sert à la détection des CCE incorrects et à leur correction à la volée. Les disques SSD sont également équipés de la correction 22 bits pour chaque secteur de 512 octets et de la protection RAID-5 sur le matériel, au sein même du disque SSD, pour contrer les défaillances de modules Flash internes. Ces dispositifs se distinguent de la technologie XDP de XtremIO et la complètent pour offrir une résilience bien supérieure à celle des disques SSD MLC grand public (cMLC).



Réparation avancée

Le module SYM redémarre automatiquement les composants logiciels défaillants (comme indiqué à la section Module de gestion de plate-forme à la page 12) et, en cas de panne matérielle, il peut également réallouer le logiciel à d’autres contrôleurs de stockage. Par exemple, si le module SYM reconnaît que le module devant accepter les E/S des hôtes (le module R) est à l’arrêt, il redémarre automatiquement le service. Cette fonction assure la meilleure disponibilité et optimise les niveaux de service à chaque instant.

La baie XtremIO identifie les différences de données inattendues résultant de la vérification de la trace, qui s’effectue à la lecture des données sur le disque SSD. XtremIO reconstruit automatiquement les données manquantes à partir de toutes les sources possibles dès qu’une telle incohérence est détectée. Il peut suffire de relire les données sur le disque SSD, si le problème est transitoire. Si le système ne peut pas lire les données (ou si la relecture produit également des résultats incorrects), la baie reconstruit les données à partir des autres disques SSD du groupe de redondance XDP.

La consignation et les métadonnées du système sont critiques pour assurer la restauration en cas de catastrophes. Compte tenu de l’importance de tels Datasets, les journaux sont protégés par CRC pour chaque bloc écrit.



Mise à niveau sans perturbation XtremIO est pensé et conçu pour assurer une disponibilité continue. Une nouvelle version du microcode est occasionnellement fournie pour ajouter des fonctions, améliorer les fonctions existantes et/ou les performances, et/ou corriger des problèmes connus.

Il existe deux types de mise à niveau :

• Mise à niveau de XtremIO OS (XIOS)

• Mise à niveau du microcode des composants et du noyau Linux

Dans les deux cas, la mise à niveau s’effectue lorsque le système est en ligne avec l’hôte et sans période d’interruption.

Mise à niveau de XtremIO OS (XIOS)

Les mises à niveau du système XtremIO se limitent généralement à XIOS et servent uniquement à modifier le code exécutable qui fonctionne dans l’espace utilisateur. Le code XIOS est mis à niveau en chargeant le nouveau code dans une mémoire résidente sur les différents contrôleurs de stockage. L’opération convertit instantanément tous les contrôleurs de stockage afin qu’ils exécutent le nouveau code. Elle n’a aucun impact sur l’application hôte et le système est totalement disponible pendant son déroulement.

Mise à niveau du microcode des composants et du noyau Linux

Les différents composants matériels peuvent être mis à niveau un à un. Par exemple, la mise à niveau d’un adaptateur HBA Fibre Channel peut être effectuée ainsi : déconnexion de l’hôte, mise à niveau du microcode, puis remise en ligne avec l’hôte. Une fois que cet adaptateur HBA Fibre Channel est en ligne, le système peut mettre à niveau l’adaptateur HBA Fibre Channel suivant. En tirant parti du multipathing sur l’hôte conformément aux bonnes pratiques XtremIO, l’hôte ne connaît aucune période d’interruption ni indisponibilité. Cela est également vrai pour les autres mises à niveau de microcode, qu’il s’agisse du contrôleur SAS, d’un switch InfiniBand, d’un disque SSD ou autres composants à microcode.

Dans certains cas, le noyau Linux des contrôleurs de stockage peut nécessiter une mise à niveau. L’opération s’effectue de la même manière que pour le microcode. Les contrôleurs de stockage sont mis à niveau individuellement, à tour de rôle, sans aucun impact sur la disponibilité.

Extension de cluster en ligne

Lorsque les performances ou la capacité doivent être augmentées, le système de stockage XtremIO peut ainsi être étoffé en ajoutant des modules X-Brick. Plusieurs modules X-Brick sont reliés les uns aux autres par le biais d’un réseau InfiniBand redondant, de haute disponibilité avec une latence extrêmement faible.

Lorsque le système s’agrandit, l’équilibre des ressources est maintenu et les données présentes dans la baie sont distribuées sur l’ensemble des modules X-Brick afin de préserver l’homogénéité des performances et un niveau d’usure équivalent sur tous les médias Flash.



L’extension du système s’effectue sans qu’il ne soit nécessaire de reconfigurer ou de déplacer manuellement les volumes. XtremIO s’appuie sur un algorithme d’empreintes cohérent, qui minimise le renouvellement des mappages. Le nouveau module X-Brick s’ajoute au système interne d’équilibrage de la charge et seules les données existantes concernées sont transférées vers le nouveau boîtier DAE.



Capacité de restauration du système Les processus d’arrêt et de démarrage de XtremIO sont sans risque en raison de la simplicité de la conception du système.

L’arrêt est un processus normal qui se déclenche en cas de coupure d’alimentation externe ou à la demande de l’utilisateur. Les blocs-batteries de secours offrent l’autonomie suffisante pour effectuer deux arrêts normaux complets. Lorsque le système est relancé, il vérifie que les batteries sont suffisamment chargées pour procéder à un autre arrêt normal complet en cas de coupure d’alimentation.

Chaque contrôleur de stockage est en mesure de s’arrêter lui-même tout en restant en permanence capable de préserver la cohérence des données en cas de catastrophe, par exemple si les communications du cluster devenaient inadaptées (par une quelconque raison), jusqu’au rétablissement de l’alimentation.

Chaque contrôleur de stockage dispose de deux disques chambres fortes locaux. En cas de coupure d’alimentation ou de communication, le contrôleur de stockage enregistre des copies de toutes les données utilisateur et métadonnées système. La mémoire locale et le journal sont placés sur les disques chambres fortes. Lorsque l’alimentation ou la communication est rétablie, le contrôleur de stockage restaure les informations consignées et le reste du système.

Perte de communication du XMS

Le XMS (XtremIO Management System) est l’application utilisée pour gérer le système XtremIO. Le XMS fournit les interfaces graphiques, de ligne de commande et de programmation nécessaires à la configuration, au provisionnement et à la surveillance du système.

Le système est géré via des ports de gestion Ethernet dédiés. Toutefois, le système reste fonctionnel même si la communication avec le XMS est coupée. Le module SYM interne fait partie de la baie et s’exécute sur les contrôleurs de stockage. Les E/S sont servies en continu, le matériel reste sous surveillance et toute défaillance de disque SSD initie une reconstruction pour rétablir une redondance complète. Les seules activités suspendues sont les actions et la surveillance à l’initiative de l’utilisateur (par exemple la création de volumes), mais les E/S hôtes et les applications du client ne subissent aucun impact.



Perte de communication entre les contrôleurs de stockage

Les contrôleurs de stockage XtremIO fonctionnent dans une architecture de couplage souple. Chaque contrôleur de stockage fonctionne comme un service pour les autres contrôleurs de stockage, sous la direction du module SYM. Chaque contrôleur de stockage est toutefois une entité indépendante capable de protéger les données qu’elle stocke et de préserver leur cohérence lorsque la communication avec les autres contrôleurs de stockage est coupée.

En cas de coupure de communication avec tous les autres contrôleurs de stockage, le contrôleur de stockage concerné écrit toutes les métadonnées et les informations de consignation sur l’un des disques chambres fortes redondants locaux, puis arrête ses services. Cette procédure est semblable à un arrêt d’urgence. Lorsque la communication est rétablie et que le contrôleur de stockage fait à nouveau partie du système, le contrôleur de stockage restaure les données de consignation et redevient une ressource système. Le module SYM le réintègre alors dans le système et l’utilise comme une ressource d’E/S, de cache et de données. Dans le cas d’un système à un seul X-Brick, le contrôleur de stockage restant continue de servir les E/S.



Conclusion La conception matérielle et logicielle du système XtremIO représente un bond en avant pour la technologie des baies de stockage, offrant de nouvelles capacités pour la consolidation de la plupart des charges applicatives critiques, telles que les bases de données, l’analytique et les applications métiers. L’orchestration de multiples niveaux permet d’assurer la haute disponibilité, l’intégrité des données et la protection des données sur l’ensemble des composants du système. Le matériel fournit la redondance pour toutes les connexions hôte et tous les chemins vers les données inactives. L’environnement d’exploitation XIOS offre une protection robuste sur l’ensemble de la pile logicielle de la baie, grâce à la génération d’une trace dès l’arrivée des données, à la séparation des chemins empruntés par les données et les métadonnées et à la conception logicielle modulaire intégrée à une architecture orientée services. Les différents modules logiciels s’exécutent de façon indépendante, mais fonctionnent comme un système unifié. La gestion globale du système est cohérente, redondante et capable d’instancier des modules logiciels sur différents composants matériels.

XtremIO dépasse le taux de 99,999 % sur la haute disponibilité, l’intégrité des données et la protection des données grâce aux fonctions suivantes :

• Redondance matérielle de chaque composant

• Génération d’une trace de contenu unique lors de l’écriture des données

• Transit des données utilisateur et de la trace correspondante sur des chemins distincts, de l’entrée dans le système jusqu’aux disques SSD

• Consignation sécurisée pour se protéger contre les arrêts système inattendus, les défaillances de composants ou les pannes de liaisons de communication.

• Couplage souple des modules logiciels fonctionnant ensemble au sein d’une architecture orientée services

• Gestion centralisée redondante

• Redondance contre un maximum de deux défaillances simultanées de disques SSD

• Mise à niveau logicielle du système sans interruption

Pour en savoir plus Pour une présentation détaillée des capacités de la baie de stockage XtremIO et de ses atouts pour améliorer les performances, l’efficacité opérationnelle, la facilité d’utilisation et le coût total de possession, veuillez contacter XtremIO à l’adresse [email protected]. Nous organiserons une rencontre en personne ou une réunion sur le Web. XtremIO offre des avantages dans de nombreux environnements et pour la consolidation des charges applicatives mixtes, notamment les serveurs virtuels, le Cloud, les bureaux virtuels, les bases de données, l’analytique et les applications métiers.

mailto:[email protected]

Documents

Haute disponibilité, protection des données et intégrité ... · performances et apporter des fonctions avancées pour ... 12 Modules d’E/S ... maximisant ainsi le taux d’utilisation