Osiris 2 : objectif 99,9% - JRES 20052005.jres.org/slides/131.pdf · 21 tests spécifiés dans le cahier des charges réalisés par 5 ingénieurs pendant 6 semaines ... Architecture

Osiris 2 : objectif 99,9%Osiris 2 : objectif 99,9%

Pascal GRIS / Pierre DAVID

Centre Réseau CommunicationUniversité Louis Pasteur de Strasbourg

JRES 2005 - Marseille Centre Réseau Communication - Strasbourg 2

PlanPlan

1- Introduction2- Infrastructure optique3- Renouvellement des équipements réseau4- Architecture des services réseau5- Renouvellement des serveurs6- Sécurisation environnementale7- Taux de disponibilité8- Conclusion


Le contexte OsirisLe contexte Osiris

►Osiris■ le réseau pour l'enseignement supérieur et la

recherche à Strasbourg■ 17 établissements partenaires

▪ 110 bâtiments à 1 Gb/s sur le cœur de réseau▪ 25 000 ordinateurs▪ 50 000 utilisateurs

■ opérateur : CRC►Un réseau conçu, créé et géré par des

établissements qui sont propriétaires de l'infrastructure réseau


Le projet Osiris 2Le projet Osiris 2

►Objectif fixé par les instances politiques■ 99,9% de disponibilité ≈ 8h45 d'indisponibilité / an

►De 2002 à 2004, un grand projet décliné en 5 points :

■ redondance de l’infrastructure optique■ nouveaux équipements réseau■ nouvelle architecture pour les services■ renouvellement des serveurs■ sécurisation environnementale : électricité et

climatisation


PlanPlan



Infrastructure / RedondanceInfrastructure / Redondance

►Renforcement de l'infrastructure optique■ d'importants travaux de génie civil ont été réalisés■ en partenariat avec avec différents acteurs

institutionnels (CUS, hôpitaux, etc.)►Infrastructure optique Osiris actuelle

■ 61 kilomètres de génie civil■ 2 800 kilomètres de fibre optique posée


Infrastructure / RedondanceInfrastructure / Redondance

Infrastructure optique existante

Infrastructure optique déployéedans le cadre du projet Osiris 2

Esplanade

Historique

Médecine

Illkirch

Cronnenbourg

9,8 km

Meinau

Boussingault


Supervision des fibresSupervision des fibres

►Dispositif de supervision du réseau de fibres optiques

■ détecter une rupture de fibre ou une dégradation du signal optique

■ remonter des alarmes vers le CRC et la société d'astreinte sur l'infrastructure optique

►Contrat d'astreinte pour l'infrastructure optique■ GTR (Garantie de Temps de Réparation) : 48h



►Sytème de supervision qui réalise en continu des mesures de réflectométrie sur des liens optiques

►Composantes du sytème

réflectomètresuperviseur


►Mise en œuvre ■ une fibre par câble

optique à superviser■ possibilité de

superviser une fibre active ou inactive


réflectomètre

départ des liensoptiques à superviser

source laser



►Constitution de la base de données à partir de mesures initiales

►Enrichissement avec des informations géographiques

courbes étalons avec annotationdes évènements optiques

superviseur

base de données



superviseur réflectomètre

mesures de réfléctométrie

comparaison des mesuresavec les courbes étalons

envoi des alarmes par messagerie vers le CRC et la société d'astreinte sur

l'infrastructure optique

accès Ethernet


PlanPlan



Renouvellement desRenouvellement deséquipements réseauéquipements réseau

►But■ déployer un réseau fiable et performant

►Moyen■ de nouveaux d’équipements actifs

►Objectifs■ augmenter la disponibilité du réseau■ accroître le débit des liens■ renforcer le niveau de sécurité■ proposer de nouveaux services réseaux


PlanningPlanning

Janvier2003

Janvier2003

début de la procédure d’appel d’offres

notification du marché

Octobre2003

Octobre2003

raccordement des premiers sites tests

Décembre2003

Décembre2003

début du déploiement

Mars20042004

fin du déploiement

Octobre2004

Octobre2004

fin d

études

début2002début2002

Juillet àSeptembre

2003

Juillet àSeptembre

2003

tests des équipements


Appel d'offresAppel d'offres

►Point déterminant de l'appel d'offres■ 21 tests spécifiés dans le cahier des charges

réalisés par 5 ingénieurs pendant 6 semaines ■ intégrés dans la procédure d'appel d'offres restreint


ÉÉquipements réseauquipements réseau

commutateursCisco 4506

routeursJuniper M20

►Fiabilité▪ architecture interne redondante▪ plan de contrôle et de donnés séparés

►Fonctionnalités accrues▪ grande capacité de filtrage avancé▪ support d'IPv6 « wire speed »

►Performance▪ non bloquant

►Évolutivité▪ multi gigabit


Supervision « hors bande »Supervision « hors bande »

►Réseau de supervision « hors bande »■ accès à distance aux équipements

▪ en cas d'attaque▪ perturbation grave

►Infrastructure dédiée en parallèle■ fibres optiques dédiées■ commutateurs dédiés■ boîtiers disposant de ports série■ raccordée sur les ports console des équipements


Architecture / PrincipesArchitecture / Principes

►Mutualisation du routage■ routage de 200 VLANs (25000 machines)


Architecture / PrincipesArchitecture / Principes

routeur de coeur

commutateur de concentration

commutateur d'entrée de bâtiment

lien gigabit Ethernet

tagging

bâtiment (110)

point de concentration (5)

tagging802.1q

limite de responsabilité « Osiris »un port Ethernet 10/100/1000 par VLAN


Architecture / ChoixArchitecture / Choix

tagging

►Séparation des fonctions de routage et de commutation dans des équipements dédiés

►Choix motivé par :■ constat de déficience des commutateurs/routeurs

▪ moins de fonctionnalités de niveau 3▪ noyau monotâche

■ confirmation lors des tests de l'appel d'offres▪ limites rapidement atteintes avec une montée en charge et

support simultané de fonctionnalités avancées ■ meilleur diagnostic en cas de dysfonctionnement■ équipements dédiés plus adaptés et évolutifs


Architecture / ChoixArchitecture / Choix

tagging

2 5 15 110

routeurs très haut de gammenécessite de grandes capacitésplus vulnérable

nombre depoints de routage

routeurs médiocrespas de redondancedifficultés d'exploitation

1

irréalistepas de redondance

nouvelle architecturerouteurs haut de gammecoût d'exploitation réduitdistribue la vulnérabilitécohérent avec la géographie des campusstandardise la configuration d'un noeud de coeur

ancienne architecturerouteurs médiocrescoût d'exploitation important


Routage / RedondanceRoutage / Redondance

VRRPcampus 2

campus 1

Virtual Router Redundancy Protocol

la redondance de routage IPv4 pour tous les VLANs Osirisest assurée par VRRP


Routage / RedondanceRoutage / Redondance

VRRP

campus 1

Virtual Router Redundancy Protocol

campus 2

la redondance de routage IPv4 pour tous les VLANs Osirisest assurée par VRRP


Architecture / RoutageArchitecture / Routage

RENATER

Médecine

Historique

Esplanade

Cronenbourg

Illkirch


Architecture / VLANArchitecture / VLAN

RENATER

Médecine

Esplanade

HistoriqueCronenbourg

Illkirch

le transport des VLANs estassuré par une agrégation deliens giga Ethernet entre lescommutateurs de concentration


PlanPlan



Architecture des servicesArchitecture des services

►Redondance des services critiques :■ duplication des serveurs sur des campus différents■ redondance IPv4 et IPv6 avec CARP (Common

Address Redundancy Protocol)►Utilisé pour :

■ résolution DNS■ annuaire d'authentification LDAP■ serveur RADIUS■ gardes barrières


Service de résolution de nomsService de résolution de noms

campusHistorique

campusEsplanade lien gigabit

Ethernet

lien gigabitEthernet

principalactif

secoursveille

une seule adresse IPv4 et IPv6 pourle serveur DNS sur le réseau Osiris serveur de noms

serveur de noms

CARP

Common Address Redundancy Protocol


Relayage de messagesRelayage de messages

campusHistorique

campusEsplanade

4 relayeurs de mail

liens gigabitEthernet

mailhost.u-strasbg.fr

liens gigabitEthernet

4 relayeurs de mail

le mécanisme de round robin DNS permet d'avoir16 adresses (IPv4 et IPv6) pour le nom mailhost.u-strasbg.fr


PlanPlan



Renouvellement des serveursRenouvellement des serveurs

►Services réseau hébergés sur de nouveaux serveurs pour améliorer les performances et la fiabilité

■ machines performantes, basées sur des architectures matérielles redondantes

▪ disque en RAID, double alimentation électrique, etc.■ contrat de maintenance

▪ GTR (Garantie de Temps de Réparation) de 6h


PlanPlan



Secours électriqueSecours électrique

►Sécurisation électrique de tous les équipements réseau de cœur ainsi que les serveurs

■ dans chacun des 5 nœuds de concentration▪ onduleur : autonomie de 4h▪ alimentation électrique par des générateurs mobiles au delà

des 4h d'autonomie (contrat d'intervention 7j/7 et 24h/24 avec une société externe)

■ dans chacun des 105 autres bâtiments ▪ onduleur : autonomie de 30 mn

►Supervision de tous les onduleurs via le réseau■ remontée des alarmes, surveillance de l'autonomie,

etc.


ClimatisationClimatisation

►Climatisation systématique des locaux réseau de la dorsale

►Supervision de la température via les capteurs intégrés aux équipements


PlanPlan



Projet d'indicateur de qualitéProjet d'indicateur de qualité

►Tout est en place pour atteindre 99,9% ■ il faut vérifier si l'objectif est atteint■ projet en cours

►Définition de l'indicateur de qualité■ indicateur de qualité brut

▪ durée d'indisponibilité divisée par le temps total■ indicateur de qualité net

▪ durée d'indisponibilité défalquée des causes non imputables au CRC

■ indicateur de qualité global Osiris▪ moyenne arithmétique des indicateurs de qualité nets des

différents sous réseaux


Projet de mesure automatiqueProjet de mesure automatique

campusHistorique

campusEsplanade

serveur de qualimétrie

bâtiment Osiris

sonde

depuis la sonde, faire des tests de connectivité versplusieurs machines situées à différents endroits sur Osiris


PlanPlan



ConclusionConclusion

►Projet Osiris 2 : approche globale à tous les niveaux

►L' objectif politique de 99,9 % de disponibilité semble aujourd'hui atteint

■ il reste à le prouver►Confirmation de la pertinence des choix

effectués►Réalisation possible grâce à :

■ l'implication de toute l'équipe du CRC■ un soutien politique et financier dans la durée

Osiris 2, objectif 99,9%Osiris 2, objectif 99,9%

Questions ?

Documents

Osiris 2 : objectif 99,9% - JRES 20052005.jres.org/slides/131.pdf · 21 tests spécifiés dans le cahier des charges réalisés par 5 ingénieurs pendant 6 semaines ... Architecture