Meetup Paris Monitoring #9 : Un système de gestion et de visualisation des alertes...

Système de notifications "agnostique"

Sponsorisé par :

Valérian Beaudoin

Ingénieur Technique Systèmes & Réseaux

« Oxalidien » depuis 3 ans

7 ans d’expérience dans l’IT

valouille.fr

github.com/valouille

linkedin.com/in/valouille/

/

Carte de visite

Sommaire

Notifications

Notre dernier Meetup

Présentation de la société Oxalide

Dashboard

Présentation de la société

OxalideConseiller, concevoir et opérer votre plateforme web

Infrastructure

Application

Architecture logicielle

Business

Le développement

Le métier

DEVOPS

Conseil

Infogérance

Hébergement

OxalideEn chiffres

100 collaborateurs 250 clients

1 7

20% du chiffre d’affaires investit dans les formations et la R&D

9 M€12 M€

14M€

2014 2015 2016

14M€ de CA en 2016Société 100% indépendante

OxalideNos clients

ECOMMERCE& pureplayers

MEDIASTV, Radio, presse

EDITEUR& services

GRANDS COMPTES& Institutionnels

Nos valeurs

Établies par les collaborateurs

Notre dernier Meetup

Notre dernier MeetupJanvier 2016 - Présenté par Jérémy Smadja

Contexte particulier :• 200 000 services• Beaucoup de clients

Monitoring automatique • Chef + CLAPI

Monitoring externe

Outils imposés

Notre monde idéal(à l’époque)

Notifications

L’existant(au moment de la réflexion)

• L’astreinte est notifiée par SMS

• Deux boitiers SMS

• Centreon notifie directement sur les boitiers SMS

• Escalade SMS au bout de 5 notifications

Cahier des chargesExpression des besoins

• Les notifications doivent être fiables

• Prévoir un système d'escalade

• Le service de notifications doit être utilisable via une API

• Le service de notifications doit pouvoir utiliser les boitiers SMS

• Les téléphones utilisés doivent pouvoir être un téléphone personnel

ComparatifAvantages & inconvénients d’une solution SaaS vs On-Premise

Avantages Inconvénients

Il s'agit d'un solution clé en main Il est impossible d'y brancher nos boîtiers SMS

Une assurance est disponible en cas d'indisponibilité de l'outil

Nous ne pouvons pas modifier le fonctionnement/ajouter des fonctionnalités

Intégration native avec beaucoup d’outils Les données clients (courriels, noms ...) sont hébergées hors d'Europe

Le coût du service est élevé

Solution On-Premise

NotificationsSolution retenue

• OpenDuty

• OpenSource : Licence MIT (anciennement WTFPL)

• https://github.com/ustream/openduty

• Python (Django + Celery)

• API REST

NotificationsSchéma

Dashboard & NotificationsUne API REST

Name Type Required Description

service_key String Yes A service API key created in OpenDuty

event_type String Yes Can be "trigger", "acknowledge", or "resolve"

incident_key String Yes Identifies the incident to resolve

description String No A more precise text description of what's happening

details String No Can be anything you like

Dashboard & NotificationsExemple d’ajout d’une alerte dans OpenDuty

Dashboard & NotificationsFonctionnement d’OpenDuty

Dashboard & NotificationsLe problème de fiabilité des SMS

Dashboard & NotificationsLe WiFi plus fiable que le GSM

Dashboard & NotificationsLe problème de fiabilité des mails

Dashboard & NotificationsNos notifications préférées

Dashboard & NotificationsInterface d’OpenDuty

Dashboard & NotificationsVisualisation d’une alerte

Dashboard & NotificationsNotre service « Centreon »

Dashboard & NotificationsConfiguration d’un utilisateur

Dashboard & NotificationsPush reçus sur les téléphones

Dashboard

DashboardNotre interface de visualisation

• Compatibilité avec tous les outils de monitoring• Visualiser les nouvelles alertes• Visualiser les alertes en cours de traitement• Filtrer par criticité d’alerte (en fonction du host & du service)• Pouvoir créer des tickets dans JIRA• Pouvoir ACK les alertes dans les outils de monitoring

DashboardSchéma

DashboardPourquoi RELK ?

• Outils industrialisés chez nous

• Faciles à maintenir dans le temps

• Stack robuste et scalable

• RabbitMQ en cluster ajoute de la disponibilité

• Logstash est un très bon outil de gestion de messages

• ElasticSearch est tout à fait adapté à notre besoin

• Kibana gère nativement ElasticSearch

DashboardFonctionnement de Mondash

DashboardLes nouvelles alertes dans Mondash

DashboardLes alertes en cours de traitement dans Mondash

DashboardDétails d’une alerte

Dashboard & NotificationsSchéma de l’architecture de gestion des alertes

1) Génération des alertes

2) Réception des alertes

3) Traitement des alertes

4) Stockage des alertes

5) Visualisation des alertes

6) Envoi des alertes

1 2 3 4 5

6

Dashboard & NotificationsLe retro planning

Dashboard & NotificationsLes outils de monitoring utilisés chez Oxalide

Dashboard & NotificationsUtilisé tous les jours & toutes les nuits

Questions ?

Sponsorisé par :

OxalideRejoignez-nous !

On recrute !https://www.oxalide.com/carrieres/