Système de rapports d’incidents conforme aux normes ITIL pour … · 2017-03-27 · Système de rapports d’incidents conforme aux normes ITIL pour le réseau A.S.T.R.I.D Mémoire

Système de rapports d’incidents

conforme aux normes ITIL pour le

réseau A.S.T.R.I.D

Mémoire présenté en vue de l’obtention du diplôme de

Ingénieur civil Informaticien

Ahmed ABDEEN

Directeur

Professeur Esteban ZIMANYI

Promoteur

Olivier FIRKET

Service

Web & Information Technologies

Année académique

2011-2012

Remerciements

Je souhaite adresser mes remerciements les plus sinceres aux personnes qui m’ontapporte leur aide et qui ont contribue a l’elaboration de ce memoire.

Je tiens a remercier mon promoteur Olivier Firket qui s’est toujours montre a l’ecouteet tres disponible tout au long de la realisation de ce memoire, ainsi pour l’inspiration,l’aide et le temps qu’il a bien voulu me consacrer.

Mes remerciements s’adressent egalement au Professeur Esteban Zimanyi, le directeurde memoire, pour ses conseils, relectures et retours.

Je remercie egalement tous les membres de ma famille pour m’avoir supporte pendantces longues annees d’etudes. Merci beaucoup Mama, Papa et Ali.

i

Table des matieres

Remerciements i

1 Introduction 11.1 Contexte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Apercu d’ITIL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.3 Objectifs de ce memoire . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 ITIL 42.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.1.1 Historique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.1.2 ITIL et l’approche orientee service . . . . . . . . . . . . . . . . . . 42.1.3 Pourquoi ITIL ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.2 Conception des services (Service Design) . . . . . . . . . . . . . . . . . . 62.2.1 Gestion des niveaux de service . . . . . . . . . . . . . . . . . . . . 7

2.3 L’exploitation des services (Service Operation) . . . . . . . . . . . . . . . 72.3.1 Gestion des evenements (Event Management) . . . . . . . . . . . 72.3.2 Cas pratique I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82.3.3 Gestion des incidents . . . . . . . . . . . . . . . . . . . . . . . . . 92.3.4 Gestion des problemes (Problem Management) . . . . . . . . . . . 11

2.4 La CMDB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3 Qualite, nettoyage et validation de donnees 133.1 Qualite de donnees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133.1.2 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133.1.3 Les dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3.2 Nettoyage et validation de donnees . . . . . . . . . . . . . . . . . . . . . 173.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173.2.2 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173.2.3 Les methodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

3.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

4 Analyse du probleme et solution proposee 234.1 Fonctionnalites a implementer . . . . . . . . . . . . . . . . . . . . . . . . 234.2 Etat de l’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244.3 Fonctionnement general du programme . . . . . . . . . . . . . . . . . . . 26

ii

TABLE DES MATIERES iii

4.3.1 Optique de developpement . . . . . . . . . . . . . . . . . . . . . . 264.3.2 Les interventions . . . . . . . . . . . . . . . . . . . . . . . . . . . 264.3.3 Choix des infrastructures . . . . . . . . . . . . . . . . . . . . . . . 274.3.4 Structure de la base de donnees . . . . . . . . . . . . . . . . . . . 274.3.5 Choix des dimensions pour la qualite de donnees . . . . . . . . . . 284.3.6 Nettoyage et validation de donnees . . . . . . . . . . . . . . . . . 314.3.7 Analyse temporelle . . . . . . . . . . . . . . . . . . . . . . . . . . 34

4.4 Patrons de conception . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344.4.1 Singleton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

4.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

5 Resultats 365.1 Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365.2 Guide d’utilisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

6 Conclusions 41

A Guide d’installation 44

B Exemple de rapport genere 48

Table des figures

1.1 Architecture du reseau A.S.T.R.I.D. extrait de [2]. . . . . . . . . . . . . . 2

2.1 Les composants d’ITIL - schema des publications tire de [9]. . . . . . . . 62.2 Exemple de KPI’s sur les interventions. . . . . . . . . . . . . . . . . . . . 92.3 Les donnees relatives aux incidents constituent la matiere premiere du

systeme. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102.4 Le processus de la gestion des incidents, extrait de [8]. . . . . . . . . . . 10

3.1 La relation LigueDesChampions. . . . . . . . . . . . . . . . . . . . . . 153.2 Le module de nettoyage des donnees. . . . . . . . . . . . . . . . . . . . . 183.3 Classification des erreurs dans les sources de donnees - inspire de [21]. . . 213.4 La methode Sorting Neighborhood. . . . . . . . . . . . . . . . . . . . . . 223.5 La methode Sorting Neighborhood - Le calcul des clefs de tri - inspire de

[12]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

4.1 Format du rapport a generer. . . . . . . . . . . . . . . . . . . . . . . . . 244.2 Quelques outils de reporting. . . . . . . . . . . . . . . . . . . . . . . . . . 254.3 Exemple de ticket. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264.4 Le deroulement d’une intervention. . . . . . . . . . . . . . . . . . . . . . 274.5 La base de donnees existante. . . . . . . . . . . . . . . . . . . . . . . . . 284.6 Les colonnes ajoutee a la table Intervention. . . . . . . . . . . . . . . . . 294.7 Exemple illustrant les deux significations de la valeur NULL. . . . . . . . 294.8 Exemple illustrant une incoherence. . . . . . . . . . . . . . . . . . . . . . 304.9 Exemple de valeurs inexactes. . . . . . . . . . . . . . . . . . . . . . . . . 30

5.1 La fenetre principale du programme. . . . . . . . . . . . . . . . . . . . . 375.2 L’adresse de la base de donnees. . . . . . . . . . . . . . . . . . . . . . . . 375.3 Le module qualite des donnees. . . . . . . . . . . . . . . . . . . . . . . . 385.4 Les incidents debordants. . . . . . . . . . . . . . . . . . . . . . . . . . . . 395.5 Le rapport mensuel. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395.6 Le rapport hebdomadaire. . . . . . . . . . . . . . . . . . . . . . . . . . . 405.7 Le rapport annuel. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

A.1 Installation - 1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44A.2 Installation - 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45A.3 Installation - 3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45A.4 Installation - 4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46A.5 Installation - 5. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

iv

TABLE DES FIGURES v

A.6 Installation - 6. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

B.1 SLA’s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48B.2 MTD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48B.3 WTD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49B.4 YTD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49B.5 Les donnees - 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50B.6 Les donnees - 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

Listings

4.1 La stabilite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304.2 La completude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304.3 La coherence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304.4 L’exactitude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314.5 Stockage des dates indesirables dans un fichier XML . . . . . . . . . . . . 314.6 Declencheur de reinitialisation . . . . . . . . . . . . . . . . . . . . . . . . 324.7 Nettoyage de donnees 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324.8 Nettoyage de donnees 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324.9 Nettoyage de donnees 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334.10 Nettoyage de donnees 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334.11 Nettoyage de donnees 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334.12 Nettoyage de donnees 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334.13 Validation de donnees . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344.14 Le gestionnaire de la base de donnees (DataManager) . . . . . . . . . . . 34

vi

Chapitre 1

Introduction

Dans ce chapitre, nous allons introduire ce memoire en decrivant le contexte danslequel il s’inscrit. Ensuite, nous ferons une breve introduction d’ITIL. Finalement, nousterminerons ce chapitre en enoncant les objectifs de ce memoire.

1.1 Contexte

Le reseau A.S.T.R.I.D (pour All around Semi-cellular Trunked Radio and IntegratedDispatching) est un reseau dedie aux radiocommunications des services de secours et desecurite en Belgique employant un systeme radio digital TETRA 1. Ce reseau est gere parla societe de meme nom A.S.T.R.I.D SA qui fut creee en 1998 par l’Etat belge dans lebut de coordonner les differents services de secours.

En effet, l’Etat belge a constate un manque de coordination entre ces services suite adeux faits precurseurs qui sont les drames de Heysel 2 et de Herald of Free enterprise 3.

Afin d’arriver a ses fins, A.S.T.R.I.D a conclu un contrat de maintenance du reseauradio avec Belgacom et Cassidian 4. Belgacom, quant a elle, sous-traite la partie logiciellea Intergraph. Ce memoire se deroule au sein de la compagnie Intergraph.

1. TETRA (pour TErrestrial Trunked RAdio) est une norme developpee en Europe pour les radio-communications digitales de voix et de donnees concue pour les besoins professionnels et en particulier,pour les services de secours et de securite. Les systemes A.S.T.R.I.D reposent sur cette norme TETRAet fonctionnent dans la bande de frequence 380 - 400 Mhz, specialement reservee aux services de secourset de securite en Europe [?].

2. Le drame du Heysel, survenu le 29 mai 1985 a Bruxelles en Belgique, est l’une des tragedies lesplus marquantes liees a une manifestation sportive, et due au hooliganisme. Il eut lieu a l’occasionde la finale de Coupe d’Europe des clubs champions 1984-1985 entre le Liverpool Football Club et laJuventus Football Club. Des grilles de separation et un muret s’effondrerent sous la pression et le poidsde supporters, faisant 39 morts et plus de 600 blesses [28].

3. Le Herald of Free Enterprise est un ferry de la compagnie Townsend Thoresen qui assurait la liaisontransmanche entre Douvres et Zeebruges. Il chavira le 6 mars 1987 au large du port de Zeebruges, faisant193 morts [30].

4. Cassidian est la division de defense et de securite d’EADS (pour European Aeronautic Defence andSpace Company).

1

Chapitre 1 : Introduction 2

Comme montre a la Figure 1.1, le reseau A.S.T.R.I.D est constitue de onze CIC’s(pour Centre d’Information et de Communication), un CIC par province plus un CICpour la region de Bruxelles-capitale [3].

Chaque CIC comporte tous les equipements necessaires au routage des communica-tions. Les CIC’s reunis constituent le cerveau du reseau A.S.T.R.I.D. Toutes les demandesd’appels et les appels eux-memes transitent par les CIC’s. Ils connaissent a chaque instantla position d’un poste allume se trouvant sous la couverture du reseau. Ils sont egalementconnectes a des systemes externes comme les reseaux telephoniques fixes ou mobiles [4].

Figure 1.1 – Architecture du reseau A.S.T.R.I.D. extrait de [2].

Comme cite plus haut, la partie logicielle qui permet aux operateurs d’effectuer leurtravail est assuree par Intergraph. Afin de bien gerer l’infrastructure informatique, Inter-graph s’appuie sur ITIL, une bibliotheque regroupant les bonnes pratiques concernant lafourniture et la gestion de services informatiques.

Ce memoire prend corps sous la direction d’Intergraph et a pour but de fournir unlogiciel de reporting. Cet outil a pour mission de faciliter la tache de support des logiciels.

1.2 Apercu d’ITIL

ITIL (pour Information Technology Infrastructure Library) est un ensemble de bonnespratiques pour les infrastructures informatiques. Cet ensemble de bonnes pratiques per-met de surmonter les difficultes liees a la croissance des systemes informatiques. Uneetude plus approfondie d’ITIL est realisee dans le chapitre suivant.

Chapitre 1 : Introduction 3

1.3 Objectifs de ce memoire

En connaissant le contexte, et en ayant eu un bref apercu d’ITIL, nous pouvons main-tenant enoncer les objectifs de ce memoire. Il s’agit de deployer un logiciel de reportingcorrespondant a differentes attentes et contraintes.

Le logiciel se compose de trois modules. Le premier module est l’outil de reporting debase. Celui-ci a pour but principal de generer des rapports qui respectent un format biendetermine.

Le deuxieme module sera principalement un outil de comparaison entre les differentssites CIC’s. Cet outil servira de support pour le premier outil dans le sens ou il pourraitaider a expliquer les resultats obtenus dans les rapports generes.

Apres avoir commence le travail, nous nous sommes rendu compte de la necessite del’implementation d’un troisieme module. Ce dernier module nous permettra de :

– Faire une estimation de la qualite des donnees– Nettoyer les donnees et dire lesquelles sont valides

Chapitre 2

ITIL

2.1 Introduction

2.1.1 Historique

Le concept d’ITIL trouve ses origines dans les annees 80. Dans ces annees la, le gou-vernement britannique s’etait rendu compte que le niveau de la qualite des services IT quileur sont fournis n’etait pas suffisant. Suite a la demande du gouvernement britannique,la CCTA (pour Central Computing and Telecommunications Agency), aujourd’hui connusous le nom de OGC (pour Office of Government Commerce), avait deja redige plusieurslivres sur la gestion des services informatiques dans les annees 90. L’objectif etait dedevelopper des methodes efficaces afin de garantir un certain niveau de qualite des ser-vices informatiques, en d’autres mots, avoir un recueil de bonnes pratiques. L’ensemblede ces ouvrages constituent ITIL.

2.1.2 ITIL et l’approche orientee service

De nos jours, que ce soit dans le domaine informatique ou dans beaucoup d’autresdomaines, les produits ne sont plus vendus comme ca se faisait dans le passe. En ef-fet, chaque produit pratiquement est vendu sous la forme d’un service. Que ca soit unegarantie sur le produit meme, un support apres vente, ..., etc.

Dans ITIL, un service est defini comme suit :

2.1 DefinitionUn service est un moyen de delivrer de la valeur aux clients en facilitant la production

des resultats dans leurs activites sans qu’ils aient a se preoccuper des couts et des risquesspecifiques au service qui leur est fourni [9].

Produit et service, tous deux, sont la pour satisfaire les besoins des utilisateurs.Neanmoins, la grande difference entre un produit et un service est que dans le cas d’un ser-vice les utilisateurs s’en servent sans devoir le posseder. Par exemple, si nous considerionsl’industrie automobile, dans le passe les voitures etaient vendues en tant que produits,

4

Chapitre 2 : ITIL 5

c’est-a-dire lors d’une panne c’est la responsabilite de l’utilisateur de faire la reparation.Aujourd’hui, ce produit est souvent vendu comme un service en etant associe a un ser-vice de garantie (la voiture et le service de garantie constitue le service final), si jamaispendant un certain nombre d’annees une panne a lieu alors c’est la responsabilite duconstructeur de reparer la panne.

2.1.3 Pourquoi ITIL ?

La premiere question que nous pourrions nous poser est, pour quelle(s) raison(s)utiliser ITIL ? Dans ce qui suit, nous allons essayer de repondre a cette question. Demaniere generale, les technologies d’information peuvent etre tres complexes. Afin degerer cette complexite, il est important de definir des processus claires, consistants et biendefinis (qui peuvent etre repetes). ITIL permet d’identifier, d’ameliorer et de documenterles processus mis en œuvre. Ce qui peut resulter en une amelioration de l’organisation del’entreprise.

2.2 DefinitionUn processus est un ensemble d’activites coordonnees mettant en œuvre des ressources

et des capacites en vue de produire un resultat aux clients [15].

Chacun des ouvrages de base qui constituent ITIL (au nombre de cinq) est destinea ameliorer un certain nombre de points bien precis dans une entreprise. En un premiertemps, nous allons parcourir ces points pour chaque ouvrage. Ensuite, nous allons detaillerles points qui sont directement lies au contexte de ce memoire.

Strategie des services (Service Strategy) [17] : Ce volume de haut niveau ex-plique comment faire l’alignement du systeme d’informations avec l’entreprise, end’autres mots, comment l’entreprise peut tirer profit de l’utilisation de l’IT. L’accentest aussi mis sur l’aspect financier.

Conception des services (Service Design) [15] : Dans cet ouvrage, chaque ser-vice est examine afin de determiner la facon de le concevoir pour qu’il puisse etreimplemente dans le systeme d’informations tout en etant efficace et competitif.

Transition des services (Service Transition) [18] : Cet ouvrage decrit les ob-jectifs de la phase de transition des services qui sont : la planification et la gestiondes ressources pour une transition (ajout ou modification d’un service) reussie, lareduction d’impacts non prevus sur les services en production, ..., etc.

Exploitation des services (Service Operation) [16] : Le but de l’exploitationdes services est de s’assurer de la bonne (au niveau convenu lors de la concep-tion des services) fourniture et gestion des services IT. L’exploitation des servicescomprend : la resolution des defaillances du service, la resolution des problemes, ...,etc.

Amelioration continue des services (Continual Service Improvement) [14] :Ce processus, comme son nom le laisse entendre, a pour objectif l’amelioration conti-nue de l’efficacite des services en se basant sur des methodes de gestion de qualite.

La Figure 2.1 illustre la maniere de fonctionnement (continu) des composants d’ITILles uns par rapport aux autres.

Chapitre 2 : ITIL 6

Figure 2.1 – Les composants d’ITIL - schema des publications tire de [9].

2.2 Conception des services (Service Design)

Cette partie d’ITIL a pour but d’assurer que les services sont concus de facon arepondre aux besoins d’affaires (Business). Dans la conception des services, plusieursprocessus sont definis comme : la gestion de la disponibilite, la gestion des niveaux deservice, la gestion de la capacite, ..., etc. Dans la suite, seuls les processus qui sont en liendirect avec le contexte de ce memoire seront presentes.

Lors de la conception de services, plusieurs aspects doivent etre pris en compte. Parmices aspects nous pouvons citer [9] :

L’alignement sur les besoins d’affaires : Les objectifs d’affaires doivent etre sa-tisfaits par la conception des services.

L’optimisation des delais et des couts : Il faut avoir a l’esprit qu’apres la phasede conception des services, ces derniers vont etre ameliores au fur et a mesure etdonc penser a minimiser les couts a long terme.

La gestion des risques : Avant que les services passent en production, il est necessairede connaıtre les risques pour pouvoir les eliminer ou les reduire (au moins).

La mesures des objectifs : Pour pouvoir ameliorer les services, il faut d’abordconnaıtre le niveau d’atteinte des objectifs. Pour cela, des methodes ainsi que desmetriques doivent etre concus.

Chapitre 2 : ITIL 7

2.2.1 Gestion des niveaux de service

La gestion des niveaux de service est un processus qui vise a trouver un accord surle niveau de service entre le fournisseur de service et le client pour ensuite concevoir leservice en tenant compte de ces accords. Ces accords sont les niveaux de service ou SLA(pour Service Level Agreement).

2.3 DefinitionUn accord sur les niveaux de service (Service Level Agreement ou SLA)

est un accord ecrit entre un fournisseur de services et un ou des clients. Il porte surun ou plusieurs services d’affaires et decrit les niveaux de services prevus avec la ou lesorganisations d’affaires (disponibilite, capacite, securite et continuite de service) [9].

Ces SLA’s constituent une facon formelle et donc mesurable pour definir les respon-sabilites de chaque partie (client et fournisseur). Afin de pouvoir quantifier ces SLA, desindicateurs cles de performance ou KPI’s (pour Key Performance Indicator ou KPI )sont fixes. Ensuite, ce sont les KPI’s qui seront mesures afin de savoir si les SLA’s ontete respectes ou pas.

2.4 DefinitionUn indicateur cle de performance (Key Performance Indicator ou KPI)

est un ensemble de metriques objectives et mesurables qui permettent d’evaluer si lesdifferents niveaux de services convenus (SLA) ont ete respectes.

ITIL propose egalement de definir d’une maniere claire et precise des penalites au casou des SLA’s n’ont pas ete respectes et ceci en selon le manquement observe.

2.3 L’exploitation des services (Service Operation)

C’est dans cette etape que le service est fourni a l’utilisateur. Une fois que le serviceest fourni, il faut le gerer. Pour cela, il est necessaire de collecter des donnees, de fairedes mesures, de verifier les performances, ..., etc. L’exploitation des services est donc uneetape tres importante puisque c’est a ce moment qu’on voit a quel niveau les besoins desutilisateurs ont ete satisfaits. Dans ce qui suit, nous allons decrire quelques processus del’exploitation des services.

2.3.1 Gestion des evenements (Event Management)

L’interet de la gestion des evenements est de s’assurer que les services fournis sontbien surveilles afin de pouvoir detecter les evenements qui se produisent. Dans ITIL, unevenement est defini comme suit :

2.5 DefinitionUn evenement est une occurrence detectable ou discernable ayant une signification sur

la gestion d’une infrastructure ou la fourniture d’un service et une evaluation de l’impactindiquant qu’une deviation pourrait apparaıtre sur les services [9].

Chapitre 2 : ITIL 8

Afin de pouvoir facilement decider de l’action (appropriee) a prendre, les evenementsseront classes selon des categories. Il est evident que chaque entreprise aura sa proprecategorisation mais ITIL propose d’utiliser au moins les trois categories suivantes :

Evenements informationnels Ces evenements signalent des operations reguliereset ne requierent aucune action a prendre. Il seront enregistres dans le systeme pourune certaine periode. Des exemples de tels evenements sont : une transaction estterminee avec succes, une imprimante est prete a etre utilisee, un appareil peut etreretire en toute securite, ..., etc.

Evenements d’alerte Ces evenements signalent des operations inhabituelles. Lors-qu’ils sont pris en compte, ils permettent d’eviter l’apparition d’une exception. Nouspouvons citer comme exemples : l’utilisation de la memoire approche un seuil cri-tique (au dela duquel, un SLA pourrait etre manque), une transaction est termineeavec succes mais avec 10% plus de temps que d’habitude, ..., etc.

Evenements signalant une exception Ces evenement signalent qu’un service fonc-tionne de facon anormale. Les exceptions resultent souvent en un manquement d’unSLA. Des exemples d’exception sont : l’utilisation de la memoire a depasse un seuilcritique, une transaction a echoue, ..., etc.

2.3.2 Cas pratique I

Comme suggere par ITIL, des SLA’s, des KPI’s et des penalites ont ete fixes au sujetde la maintenance preventive et reactive. De plus, chaque incident (ou probleme) se voitattribue une priorite en fonction de sa gravite.

La maintenance reactive

La maintenance reactive comprend la reparation les incidents qui apparaissent dansle systeme de facon a ce que les delais imposes par les SLA’s soient respectes. Il est doncprimordial de savoir, a tout moment, si les SLA’s sont respectes ou non. Or, Intergraph n’apas acces a la base de donnees des incidents (detenue par son client, Belgacom). Intergrapha donc developpe un outil afin d’avoir une trace sur les incidents. Concretement, cetoutil est utilise par les ingenieurs de site. L’outil developpe dans ce memoire se basesur les informations fournies par les ingenieurs de site et permettra de suivre l’evolutiondes SLA’s ainsi que de generer des rapports comparables a ceux produits par le client(Belgacom).

A titre indicatif, un exemple (nombres fictifs) de KPI’s est donne a la Figure 2.2.

La maintenance preventive

Un second memoire ayant pour titre ”Outils de monitoring conforme ITIL : Appli-cation au reseau A.S.T.R.I.D.” a ete realise dans le meme contexte de ce memoire parNicolas Vannieuwerburgh. A travers ce memoire, un outil de maintenance preventive aete realise.

Chapitre 2 : ITIL 9

Priorité Temps de réponse

1 4 heures

2 12 heures

3 Fin du jour ouvrablesuivant

4 ---

(a) Temps de reponse

Priorité Temps de résolution

1 4 heures pour 98% des incidents5 heures pour 100% des incidents

2 24 heures

3 Fin du jour ouvrablesuivant

4 5 jours ouvrables

(b) Temps de resolution

Figure 2.2 – Exemple de KPI’s sur les interventions.

2.3.3 Gestion des incidents

Quelque soit le niveau de qualite des systemes informatiques, des incidents se pro-duisent toujours. Si ces incidents ne sont pas resolus rapidement, ils peuvent avoir unimpact negatif sur la confiance des utilisateurs. C’est pourquoi il est tres important pourune entreprise d’implanter un processus de gestion des incidents.

2.6 DefinitionUn incident est un evenement entrainant une interruption ou une baisse de qualite

pour un service. Les evenements ayant un impact potentiel mais non encore observe sontegalement consideres comme des incidents.

La gestion des incidents est un point cle dans le cadre de ce memoire. En effet, nouspouvons voir l’outil de reporting comme un systeme avec une entree et une sortie. Al’entree de ce systeme, nous retrouvons les donnees relatives aux incidents, et a sa sortie,des rapports permettant de verifier l’etat des SLA’s (maintenance reactive). Voir figure2.3. Ci-dessous, une definition de la gestion des incidents est proposee :

2.7 DefinitionLa gestion des incidents est un processus responsable de la gestion du cycle de vie de

tous les incidents [9]. Ce processus doit garantir la restauration du fonctionnement normaldes services (dans les limites des SLA’s) , aussi vite que possible, tout en minimisantl’impact negatif sur les activites metiers.

Nous pouvons donc dire que le but de la gestion des incidents est le retablissementrapide du fonctionnement normal du service. Contrairement a la gestion des problemes, lagestion des incidents ne se preoccupe pas des causes des incidents, on resout les incidentspeu importe le moyen.

Pour mieux visualiser, voici quelques exemples d’incidents :

– Les requetes de la base de donnees prennent un temps plus long que ce qui est definipar le SLA

– Le nombre d’entree/sortie d’un disque dur est trop grand– Le serveur d’une base de donnees a echoue– ...

Chapitre 2 : ITIL 10

ProgrammeDonnéesrelativesaux incidents

Rapports (KPI)

Qualité desdonnées

Comparaisonpar site CIC

Figure 2.3 – Les donnees relatives aux incidents constituent la matiere premiere dusysteme.

Pourquoi un processus de gestion des incidents ?

La gestion des incidents permettra entre autres de :

– Empecher les incidents de devenir critiques et affecter la qualite de service– Avoir une trace de tous les incidents qui se produisent, de cette facon on evite de

refaire tout le travail pour resoudre ce meme type d’incidents.

Description du processus

La Figure 2.4 represente les cinq etapes du processus de la gestion des incidents. Toutd’abord la detection et l’enregistrement de l’incident : a cette etape on peut determiner sil’incident a deja eu lieu et si une solution rapide existe, la classification de l’incident : cetteetape permet d’attribuer une priorite a l’incident, la recherche et diagnostic, la resolutionet la restauration du service et pour terminer la cloture de l’incident avec la remise durapport (qui contient entre autres, le temps passe, details des actions effectuees, ..., etc.).

Début Fin

Enregistrementde l ’incident

Classificationde l ’incident

Recherche etdiagnostic

Résolution et restaurationdu service

Fermeturede l ’incident

Figure 2.4 – Le processus de la gestion des incidents, extrait de [8].


2.3.4 Gestion des problemes (Problem Management)

La gestion des problemes est un processus qui s’occupe de gerer le cycle de vie detous les problemes. Ce processus a pour but d’empecher que des incidents aient lieu et deminimiser leur impact sur le Business lorsqu’ils ne peuvent pas etre evites. ITIL definitles problemes comme suit :

2.8 DefinitionUn probleme est la cause d’un incident ou d’une serie d’incidents.

Citons quelques exemples de problemes :

Problemes– Defaillance systematique d’un programme lors de certaines manipulations– Defaillance d’un serveur provoquant plusieurs incidents sur les machines clientes– Defaillance reguliere d’un service sans pistes de solution– ...

2.4 La CMDB

La CMDB (pour Configuration Management DataBase) est une base de donnees degestion des configurations. L’objectif de la CMDB est de stocker les details des elementsde configuration CI (pour Configuration Item) ainsi que les relations entre eux pendanttout leur cycle de vie. ITIL definit un element de configuration comme suit :

2.9 DefinitionUn element de configuration est tout composant ou autre actif de service dont la

fourniture d’un service informatique requiert sa gestion [9].

Un element de configuration peut etre :

– un service informatique– un utilisateur– un SLA– le materiel– un incident– ...

En particulier, la CMDB est a la base de tous les processus de traitement des incidentset des problemes.


2.5 Conclusions

Dans ce chapitre, nous avons presente ITIL de facon generale en expliquant la raisond’etre de ces differents composants : la strategie des services, la conception des services, latransition des services, l’exploitation des services et l’amelioration continue des services.Ensuite, nous nous sommes focalises sur les processus qui sont en lien direct avec lecontexte de ce memoire.

Pour terminer, il est important de mettre l’accent sur le fait qu’ITIL n’a pas defrontieres strictes. C’est a dire que toute entreprise desirant implementer ITIL, peut lefaire selon ses besoins. Du coup, il est difficile de trouver deux entreprises ayant une memeimplementation d’ITIL.

Chapitre 3

Qualite, nettoyage et validation dedonnees

3.1 Qualite de donnees

3.1.1 Introduction

Les donnees sont considerees comme une ressource precieuse car elles constituent lamatiere premiere dans un systeme d’informations. Il est donc necessaire de s’assurer queces donnees sont completes, precises, correctes, ..., etc. Autrement dit, les donnees doiventavoir une certaine qualite.

Ce chapitre sert de base pour l’elaboration de l’outil de nettoyage de donnees (letroisieme module). En effet, nous allons expliquer, dans ce chapitre, les metriques quenous allons utiliser afin de pouvoir detecter les problemes lies aux donnees. De cette facon,nous pourrons donner un indice sur la qualite de nos donnees. Les sections suivantes serontconsacrees a la reparation des eventuels problemes detectes et a la validation des donnees.

3.1.2 Definition

Dans la litterature, nous retrouvons plusieurs definitions pour la qualite de donnees.Une de ces definitions est la suivante :

3.1 DefinitionUne donnee est de qualite si elle satisfait aux exigences de son utilisation dans un

contexte donne [19].

Dans cette definition, on considere une approche contextuelle. C’est cette approchela qui sera considere dans ce travail. En effet, la qualite des donnees depend tres fortdes donnees memes ainsi que du contexte dans lequel ces donnees sont utilisees. Ainsi,les memes donnees peuvent etre de grande qualite pour un usage et de mauvaise qualitepour un autre usage. De cette facon, dire que des donnees sont de qualite dans l’absolun’a pas de sens, il faudrait preciser les criteres que l’on considere ainsi que l’usage de

13

Chapitre 3 : Qualite, nettoyage et validation de donnees 14

ces donnees. Du coup, il n’existe pas de recette toute faite qui fonctionne dans tous lescas. Dans le contexte de ce memoire (qui sera detaille dans le chapitre suivant), quatrecriteres sont consideres afin de pouvoir faire une estimation de la qualite de nos donnees.Nous detaillerons ces aspects dans la section suivante.

3.1.3 Les dimensions

La qualite de donnees est une agregation de plusieurs criteres (ou dimensions) commela completude (completeness), l’exactitude (accuracy), ..., etc. Dans les ouvrages dereference, les dimensions de la qualite de donnees sont souvent definies differemment(nom et signification). Il est a noter que 179 dimensions on ete definies en 1996 [26] pourla qualite de donnees. Dans le contexte de ce memoire, il n’y a pas d’interets de faire uneetude de toutes ces dimensions. Dans ce qui suit, nous tenterons de definir et donner desexemples de quelques dimensions des plus repandues et ensuite (voir le prochain chapitre)nous ferons un choix parmi ces dimensions qui nous permettra de mieux repondre auxexigences de ce travail.

L’exactitude (accuracy)

Ci-dessous une definition de l’exactitude est proposee.

3.2 DefinitionL’exactitude est la proximite d’une valeur A a une autre valeur B consideree comme

la representation correcte d’une entite reelle que A tente de representer [5].

Deux types d’exactitude peuvent etre distingues ici, une exactitude syntaxique et uneexactitude semantique [5].

L’exactitude syntaxique est la proximite d’une valeur A par rapport aux elementsde l’ensemble de definition de A, disons D. Ainsi, la valeur A = Belgique est considereecomme une valeur correcte meme si B = Italie, si le domaine D est l’ensemble des paysde l’Europe.

Considerons la relation LigueDesChampions montree a la Figure 3.1. Cette relationrepresente des equipes de football ayant dispute ce tournoi europeen de football avec lenom, le pays d’origine, l’annee de fondation, le nombre de fois ou l’equipe a remporte letournoi ainsi que l’annee du dernier triomphe. La valeur A.C. Mlan pour le Nom del’equipe 3 n’est pas exacte syntaxiquement, puisque cette valeur ne correspond a aucuneequipe de football europeenne ayant participe a la Ligue des champions. Par contre, sinous comparions cette valeur a toutes les valeurs du domaine en question, nous trouverionsune distance de Levenstein 1 egale a 1 (comparaison avec la valeur A.C. Milan). En effet,l’exactitude syntaxique peut etre mesuree en utilisant une fonction de comparaison (icila distance de Levenstein).

1. La distance de Levenshtein mesure la similarite entre deux chaınes de caracteres. Elle est egaleau nombre minimal de caracteres qu’il faut supprimer, inserer ou remplacer pour passer d’une chaıne al’autre. Elle est aussi connue sous le nom de �distance d’edition� ou encore de �deformation dynamiquetemporelle� [27].


Id Nom Pays Fondé # de titres Dernier titre

1 Real Madrid C.F. Espagne 1902 9 1908

2 A.C. Mlan Italie 1899 7 2007

3 Liverpool F.C. Allemagne 1892 5 NULL

4 FC Bayern Munich Angleterre 1900 4 2001

5 FC Barcelona Espagne 1899 4 2011

6 RSC Anderlecht Belgique 1908 0 NULL

Figure 3.1 – La relation LigueDesChampions.

L’exactitude semantique est la proximite de la valeur A par rapport a la vraie valeurB. Ainsi si nous considerions l’exemple donne a la Figure 3.1, nous pouvons remarquerque les Pays des equipes 3 et 4 ont ete permutes. Du coup, les valeurs Allemagne etAngleterre ne sont pas exactes semantiquement malgre qu’elles le sont syntaxiquement.

La completude (completeness)

La completude peut etre definie en general comme suit :

3.3 DefinitionLa completude se refere au fait d’avoir toutes les parties requises d’un assemblage de

donnees presentes.

Dans [20], trois types de completude sont proposes. La completude au niveau duschema, la completude au niveau de la colonne et la completude au niveau de la popula-tion.

La completude au niveau du schema est definie comme le degre avec lequel toutes lesentites et les attributs sont representes. La completude au niveau de la colonne est unemesure des valeurs manquantes d’une colonne dans une table. La completude au niveaude la population, quant a elle, est une mesure des valeurs manquantes par rapport a uneautre population de reference.

Dans un modele relationnel, la presence de la valeur NULL (lorsque c’est permis)peut avoir plusieurs significations. Afin de pouvoir mesurer la completude (au niveau dela colonne), il est important de comprendre pourquoi une valeur manque. Dans l’exemplede la Figure 3.1, Liverpool F.C. et RSC Anderlecht ont toutes les deux une valeurNULL dans la derniere colonne. Le tuple de Liverpool F.C. est incomplet, puisqueLiverpool F.C. a deja remporte 5 titres, tandis que le tuple de RSC Anderlecht estcomplet car ce dernier n’a pas encore remporte de titres.


La coherence (consistency)

La coherence concerne tout ce qui se rattache a la violation des regles semantiques.Dans les modeles relationnels, la coherence concerne le non respect des contraintes d’integrites.

Dans l’exemple de la Figure 3.1, il y a un probleme de coherence pour le tuple de RealMadrid C.F. au niveau des trois dernieres colonnes. En effet, sachant que le tournoi dela ligue des champions est organise une fois par an, cette equipe ne peut pas avoir gagneneuf titres en sept ans. Par contre, il n’est pas possible de dire d’ou provient l’erreur(d’une seule colonne, de deux colonnes parmi les trois ou de toutes les trois colonnes).

La promptitude (timeliness)

Dans le monde de l’information, le mot anglais timeliness peut etre traduit en francaisde plusieurs manieres : opportunite, ponctualite, rapidite, ..., etc. Cette dimension tem-porelle designe le caractere a jour des donnees. Ci-dessous, une definition est proposee :

3.4 DefinitionLa promptitude est le degre d’actualite des donnees en tenant compte des taches dans

lesquelles elles sont utilisees [20].

La volatilite (volatility)

La volatilite est la duree pendant laquelle les donnees demeurent valides [20]. Parexemple, les dates de naissance sont des donnees stables qui ne varient jamais et parconsequent ont une volatilite egale a 0. Un exemple de donnees tres volatiles est celui descours boursiers.

Le tableau suivant donne plusieurs definitions pour les dimensions precedentes.

Dimension DefinitionL’exactitude Le niveau avec lequel les donnees sont correctes, fiables

et certifiees exempts d’erreurs [5].La completude Le degre de la presence de valeurs dans une collection

de donnees [22].La coherence Le degre avec lequel les donnees sont toujours

representees de la meme facon et sont compatibles avecles donnees precedentes [5].

La promptitude La mesure dans laquelle l’age des donnees est appropriepour la tache consideree [5].

La volatilite La frequence avec la quelle les donnees varient dans letemps [7].


3.2 Nettoyage et validation de donnees

3.2.1 Introduction

Le nettoyage de donnees (data cleansing, data cleaning ou encore data scrubbing enanglais) est une etape importante dans le processus de gestion de l’information [1]. Eneffet, il est pratiquement impossible d’avoir des donnees sans erreurs (surtout quand ils’agit de donnees volumineuses).

Ces erreurs peuvent avoir deux causes : elles sont creees pendant le traitement desdonnees (mauvaise modelisation de l’architecture du systeme) ou alors elles parviennentdepuis la source de donnees (qui constitue le facteur majeur). Meme en ameliorant leprocessus d’acquisition et d’entree de donnees, des erreurs peuvent toujours apparaıtredans le systeme. Il est donc necessaire de parcourir les donnees afin de detecter les erreurset de les corriger, ce qui est tres couteux pour des donnees volumineuses.

3.2.2 Definition

Le nettoyage de donnees peut etre defini differemment selon le domaine dans lequel ilest applique. Les principaux domaines dans lesquels le nettoyage de donnees a ete etudiesont : les entrepots de donnees, l’exploration de donnees 2 et la gestion de la qualite dedonnees [13]. Le tableau suivant donne quelques definitions pour le nettoyage de donneesen fonction du contexte.

Definition DomaineLe processus qui permet d’identifier et de corriger les informationsincompletes et incorrectes dans les bases de donnees [24].

Base de donnees fi-nancieres.

Le processus de decouverte des formes de donnees inutiles, vides desens ou mal etiquetees [10].

L’apprentissage au-tomatique (machinelearning en anglais).

Le nettoyage de donnees s’occupe de detecter et enlever les erreurset les inconsistances dans les donnees dans le but d’ameliorer leurqualite [21].

Entrepot de donnees

Nous pouvons donc voir le nettoyage de donnees comme un processus qui, a sonentree, recoit des donnees brutes qui pourraient contenir un certain nombre d’erreurs etqui genere a sa sortie un sous-ensemble de ces donnees exempt de ces erreurs. La Figure3.2 resume la situation.

Donc, pour implementer un outil de nettoyage de donnees, la premiere etape a faireest de definir les problemes que nous voudrions eviter dans nos donnees (comme definisdans la section precedente). Ensuite, il faut ecrire les regles qui permettent de detecterces problemes. Finalement, il faut remedier les problemes detectes lorsque c’est possible.

2. L’exploration de donnees (data mining en anglais) a pour objet l’extraction d’un savoir ou d’uneconnaissance a partir de grandes quantites de donnees, par des methodes automatiques ou semi-automatiques [29].


Nettoyagede données

Donnéesbrutes

Donnéespropres

Validationde données

Donnéesvalides

Définitiondes

problèmes

Eventuellementde mauvaise

qualité

De meilleurequalité

Qu ’est ce qu ’unedonnée de

bonne qualité ??

Figure 3.2 – Le module de nettoyage des donnees.

Les problemes dans les donnees peuvent etre classifiees en deux categories, selon queles donnees sont collectees a partir d’une seule source ou de plusieurs sources, voir Figure3.3(a). Nous pouvons aussi distinguer entre les problemes au niveau tuples (c’est ce typede problemes que le nettoyage de donnees tente de resoudre) et ceux au niveau du schema(dont la resolution necessite une transformation des donnees). Dans la suite, nous nousrestreignons au problemes au niveau tuples.

Une vue d’ensemble est proposee a la Figure 3.3(b). En effet, il est evident que lesproblemes issus de plusieurs sources englobent ceux dans le cas d’une seule source.

Les erreurs dans les donnees peuvent se produire a l’acquisition ou pendant le traite-ment dans la chaıne de la gestion de l’information. Un exemple de traitement interessantqui pourrait generer des erreurs est l’integration des donnees. En effet, lors de l’integrationde differentes bases de donnees des doublons (plusieurs representation d’une meme entitereelle) peuvent apparaıtre. En effet, nous pouvons distinguer deux cas de figures lors del’agregation de differentes tables :

– Les attributs des tables peuvent etre structures differemment. Par exemple, dansune base de donnees, le nom d’un client peut etre enregistre dans une seule colonne(nom) tandis que dans une autre base de donnees, ce meme nom de client peut etreenregistre a l’aide de plusieurs colonnes (civilite, prenom, nom).

– Meme lorsque les attributs des tables sont identiques, un meme objet reel peut etrerepresente differemment. Par exemple, les adresses bvd Emile Jacqmain, BoulevardE. Jacqmain et bvd E. Jacqmain sont la representation d’une meme adresse.


Ce type de probleme est appele le probleme de ”merge-purge” (dans le domaine desentrepots de donnees). Dans la litterature, d’autres appellations existent pour ce memetype de probleme comme : ”record linkage”, ”semantic integration”, ”instance identifica-tion” ou encore ”object identity” [12].

3.2.3 Les methodes

Les methodes appliquees dans le processus de nettoyage de donnees sont multiples.Celles-ci peuvent etre reparties en deux categories : les methodes dependantes de domaineet celles independantes de domaine. La majorite des methodes que nous retrouvons dansla litterature tentent de resoudre des problemes specifiques. Cela peut etre explique parle fait qu’il est tres complique de developper des methodes efficaces qui peuvent etreappliquees partout. De plus, comme nous allons le voir dans les sections qui suivent, laconnaissance du contexte permet d’ameliorer la performance des methodes.

Les methodes les plus repandues tentent de resoudre les problemes des doublons etles problemes dans les noms propres et les adresses postales.

Elimination de doublons

Beaucoup de travaux, comme dans [6], [11],[31] et [23], ont ete realises afin de detecterles doublons et les doublons similaires 3. Dans la plupart de ces travaux, les methodespresentees se reposent sur des fonctions de tri ainsi que des fonctions de comparaison desimilarite. Naturellement, l’efficacite de ce type de methodes depend tres fort de la facondont on compare les differentes entrees. Ainsi pour une base de donnees avec N entrees,le nombre de comparaison a effectuer est de (N−1)·N

2ce qui peut etre tres lent pour un N

eleve.

[11] presente une methode (Sorted Neighborhood Method) afin de limiter le nombrede comparaisons et du coup accelerer le calcul. La modification apportee dans cettemethode est que le tri est effectue de facon a regrouper les entrees similaires. Ensuite, lacomparaison est effectuee seulement pour un nombre fixe d’entrees (la fenetre, w) ce quidemande N · w comparaisons. Encore une fois, l’efficacite de cette methode depend debon choix de la clef utilisee pour effectuer le tri (specifique au domaine). La Figure 3.4illustre le fonctionnement de cette methode.

Les clefs peuvent etre obtenues en concatenant plusieurs attributs ou plusieurs sous-ensembles de ces attributs. La Figure 3.5 donne un exemple de construction de clefs. Danscet exemple, la clef a ete construite de la facon suivante : les trois premiers chiffres dunumero d’identification a la securite sociale sont concatenes avec les trois premieres lettresdu prenom, suivis par les trois premieres consonnes du nom. Ensuite, on ajoute le numerode l’adresse ainsi que toutes les consonnes du nom de la rue. Nous pouvons remarquerque les deux premieres entrees sont identiques, la troisieme entree est probablement lameme personne mais avec une erreur dans le nom. La quatrieme entree est probablement

3. Les doublons similaires sont des entites identiques mais qui ont subi une modification par erreur.


une personne differente mais ayant la meme clef que les trois premieres entrees. Finale-ment, nous pouvons clairement voir qu’un mauvais choix d’attributs donnera de mauvaisresultats.

D’autres difficultes liees au probleme de detection des doublons persistent. Par exemple,la detection des doublons proches 4. Ou encore, le probleme d’abreviation 5.

[25] propose de resoudre ce dernier en comparant l’entree la plus courte avec les xpremieres lettres de l’entree la plus longue (x etant la longueur de la plus petite chaıne).Cette methode pose probleme pour certains cas, par exemple considerons les deux chaınesde caracteres ”John” et ”Johnathan”, ils seront consideres comme doublons selon cettemethode.

[23] propose d’ameliorer cette methode en prenant x = la moyenne des longueurs desdeux chaınes de caracteres. Malgre que cette modification permet de reconnaıtre plus dedoublons que la methode precedente, il exist d’autres cas de figures ou celle-ci donneraitde mauvais resultats. Par exemple, les mots VW et Volkswagen ne pourront jamais etrereconnus comme doublons. Encore une fois, c’est la connaissance du contexte etudie quipermettra d’avoir de meilleurs resultats.

3.3 Conclusions

Nous pouvons conclure en disant que le l’elimination des problemes de qualite dedonnees est une tache assez complexe. Neanmoins, cette complexite peut etre reduitegrace aux contraintes imposees par la connaissance de contexte. C’est pourquoi la grandemajorite des outils qui existent dans le marche se focalisent en la resolution de problemesbien precis (Adresses postales, numeros de telephones, ..., etc.). Dans le chapitre sui-vant, nous expliquerons la methode utilisee (specifique au contexte de ce memoire) poureffectuer le nettoyage de donnees.

4. Les doublons proches sont des entites identiques par leur signification mais pas par leur apparence.Par exemple les mots Professeur et Enseignant peuvent etre identiques dans certain contexte

5. C’est le probleme d’associer les abrevations aux entites qu’elles representent.


Problèmes liés à la qualité de données

Problèmes issusd ’une seule source

Problèmes issusde plusieurs sources

Niveau schéma(Manque decontraintes d ’intégrités, schémamal conçu)

Niveau tuple(erreurs pendantla saisie desdonnées)

Niveau schéma(modèlesde donnéeshétérogènes)

Niveau tuple(donnéesincosistentes,contradictoires)

(a)

Problèmes liés à la qualité de données

issus d ’une seule source

issus de plusieurs sources

(b)

Figure 3.3 – Classification des erreurs dans les sources de donnees - inspire de [21].


w

w

Fenêtrecourante Prochaine

fenêtre

Figure 3.4 – La methode Sorting Neighborhood.

ID Prénom Nom Adresse Clef

123456 Jon Miller 68 First Street 123JONMLL68FRST

123467 Jon Miller 68 First Street 123JONMLL68FRST

123558 Jon Millar 68 First Street 123JONMLL68FRST

123597 Jonas Muller 68 Forest Street 123JONMLL68FRST

Figure 3.5 – La methode Sorting Neighborhood - Le calcul des clefs de tri - inspire de[12].

Chapitre 4

Analyse du probleme et solutionproposee

4.1 Fonctionnalites a implementer

L’outil de reporting attendu doit satisfaire plusieurs contraintes. Tout d’abord, l’executiondu logiciel de reporting doit influencer le moins possible l’activite des bases de donnees.Cet outil sera utilise dans des environnements Windows avec une base de donnees SQLServer. Le produit abouti devra en outre satisfaire les contraintes suivantes :

Collecte des donnees : Le programme devra etre capable de recolter des donneespertinentes de maniere fiable a partir de la base de donnees SQL Server, voir Figure4.5. Les donnees relatives aux incidents sont mises a jour au fur et a mesure.

Visualisation des donnees : Le programme doit proposer un outil flexible de vi-sualisation des donnees. Celui-ci permettra d’avoir un œil sur les KPI’s. Il seraegalement possible de selectionner une periode de temps pour l’affichage.

Generation de rapports : Le programme permettra de generer des rapports (dansle logiciel et dans le format Excel). Ceux-ci devront etre sous un format biendetermine. Voir Figure 4.1.

Transparence des rapports : Les rapports dans le format Excel doivent incluretoutes les donnees qui ont ete utilisees afin de pouvoir aisement verifier la credibilitedes resultats au cas ou il y aurait un doute. Autrement dit, tous les calculs doiventetre refaits dans le fichier Excel genere.

Travail supplementaire : Dans la mesure du possible, le programme doit fournirun outil de support dont les resultats ne seront pas generes dans les rapports.Concretement, il s’agit de comparer les differents sites CIC en terme d’incidentsapparus. De cette facon, l’analyse des resultats pourra etre poussee un peu plus loinafin detecter les incidents dont l’origine n’est pas la partie logicielle (responsabilited’Intergraph). Par exemple, un tres grand nombre d’incidents apparaissant dansun site CIC relativement petit pourrait laisser penser que c’est un probleme lie aureseau.

Travail supplementaire : Le programme devra etre capable de detecter et de cor-riger les problemes lies a la qualite de donnees.

23

Chapitre 4 : Analyse du probleme et solution proposee 24

(a) Par mois (b) Par semaine

(c) Par an

Figure 4.1 – Format du rapport a generer.

4.2 Etat de l’art

Il existe un grand nombre de systemes de reporting. Cette section se propose depasser en revue certaines des solutions les plus repandues disponibles sur le marche. Noustenterons aussi de mettre en evidence les aspects attractifs et repulsifs propres a chacunde ces produits.

Microsoft SQL Server Reporting Services (MSSRS) Le premier systeme de re-porting est une solution fournie par Microsoft. Ce systeme de reporting est dispo-nible gratuitement si l’on possede une licence de MS SQL Server. Neanmoins, cesysteme de reporting est uniquement destine a etre utilise depuis une interface web.

BIRT BIRT est un systeme de reporting open source destine a etre utilise avec lelangage de programmation Java, de coup il est ”cross-platform” (Linux, Mac et Win-dows). Ce systeme de reporting beneficie d’un concepteur de rapports utilisant uneapproche web (il n’est pas possible d’avoir un controle total sur le positionnementdes elements de rapport). Il beneficie egalement d’une tres bonne documentation.L’installation est rendue un petit peu laborieuse puisque BIRT ne vient avec au-cun support pour les serveurs de bases de donnees, c’est a l’utilisateur d’installerchercher le bon pilote.


JasperReports Cet outil est, comme BIRT, destine pour les applications developpesen Java. JasperReports, contrairement aux autres produits presentes ici, beneficied’un emplacement au pixel pres des elements de rapport, c’est donc un bon choix siles rapports generes doivent etre imprimes. Contrairement a BIRT, JasperReportss’installe avec un support pour les quelques serveurs de bases de donnees assezrepandus comme MS SQL Server, Oracle, MySQL, ..., etc.

Crystal Reports Cet outil de reporting est l’un des plus connus qui a longtemps eteassocie avec Microsoft et Visual Studio. Il est egalement ”cross-platform” puisqu’ilpeut etre utilise avec les plateformes COM, .NET, Delphi et Java. De plus, cetoutil permet, outre la generation des rapports, la conception des tableaux de bord.Contrairement a MSSRS, Crystal Reports n’est pas une solution uniquement base-Web, en effet les rapports qu’il genere peuvent aussi etre utilise dans des applicationsstandalone. Cependant, ce outil est payant, ce qui ne convient pas.

Comme nous allons voir dans les sections suivantes, aucun de ces produits ne convientdans notre contexte. Nous avons donc decide de creer les rapports manuellement.

(a) BIRT (b) JasperReports

(c) Crystal Reports (d) MSSRS

Figure 4.2 – Quelques outils de reporting.


4.3 Fonctionnement general du programme

4.3.1 Optique de developpement

L’optique de developpement de ce programme est bien sur de fournir un logiciel finiayant un certain nombre de fonctionnalites. Les points suivants montrent les criteresauxquels il a ete porte une attention toute particuliere lors du developpement.

Transparence : Afin de rendre les resultats facilement verifiables pour l’utilisateur,il est necessaire de toujours montrer les donnees qui ont ete utilisees et qui sont ala base de ces resultats.

Convivialite : Il va de soi que le logiciel doit pouvoir etre employe sans trop dedifficultes par une personne n’ayant pas participe au developpement. Dans cettephilosophie, il a semble interessant d’offrir une interface graphique simple, efficace,robuste et sans surenchere technologique.

Legerete : Le logiciel doit etre le plus leger possible, notamment au point de vue dela connexion a la base de donnees. Ainsi, une seule connexion a la base de donneesest suffisante pour generer tous les resultats attendus.

Parametrabilite : L’outil de reporting doit etre parametrable le plus possible (rienne doit etre codee en dur). En effet, a chaque fois qu’il nous manque une informationpour satisfaire une certaine tache la meilleure solution est de creer un parametrepour la tache en question.

4.3.2 Les interventions

Lorsqu’un incident apparaıt dans le systeme chez A.S.T.R.I.D, celui-ci cree un ticket(un ticket est un email qui contient des donnees concernant l’incident apparu commele numero d’incident, sa date de creation, une description etc. La Figure 4.3 montre unexemple de ticket.) et l’envoie a Intergraph. Des la reception du ticket par Intergraph,un compteur est lance marquant le debut d’une intervention. La figure 4.4 montre lederoulement d’une intervention. Notons que des indicateurs cles de performance (KPI’s)sont poses sur le temps de reponse (ResponseTime) et le temps de resolution de l’incident(ResolutionTime).

Clarify number: WO number: Priority: Date/Time Opened: Title: Status: Description:

1136512373327

P228/09/2011 16:01:34

CIC-LIM: listener packetten PZ_BERTHA komen niet doo= op CAD LIM. FIREWALL LIM:Open

Note Log created on Wednesday, September 28, 2011 4:01:36 PM was perfo=med by user XMLBridgeUserand ....

Figure 4.3 – Exemple de ticket.


DateCreated(ASTRID)

DateReceived(Intergraph)

DateStarted

DateOnSite

DateFixed

DateClosed

DateReport

Temps

ResponseTime ( )KPI

ResolutionTime ( )KPI

RepairTime

Figure 4.4 – Le deroulement d’une intervention.

4.3.3 Choix des infrastructures

Concernant le choix du langage de programmation, nous avons opte pour C# (unlangage de programmation oriente objet) pour coder le projet. En effet, ce langage deprogrammation, profitant directement de la plate-forme Microsoft .NET, est bien adapteau contexte de ce travail :

– Environnement Windows– Generation de fichier Excel (sans devoir utiliser une API tierce)

Notons qu’il etait prevu, a la base, d’integrer cet outil de repotring a un autre outilde chez Intergraph et que ce dernier est implemente avec les technologies de Microsoft(Visual Studio, .NET, C#, SQL Server). Il etait donc tout a fait naturel de garder cechoix de technologies.

4.3.4 Structure de la base de donnees

N’ayant pas acces a la base de de donnees des incidents, la base de donnees de la Figure4.5 a ete construite afin de combler ce manque d’informations. En effet, tous les details desincidents (lieu, etat, ..., etc.) sont envoyees dans la base de donnees des incidents qui estdetenue par le client. Un outil a donc ete developpe afin d’avoir ces informations. Celui-cipermet aux gestionnaires des incidents d’entrer les details des incidents manuellement.Le programme se connecte donc a la base de donnees dont le diagramme entite-relationest montre a la Figure 4.5 1.

Au centre du diagramme se trouve la table Intervention qui reprend principalement,le numero du ticket recu (TTNr) ainsi que les temps caracteristiques d’une intervention.

Afin de pouvoir nettoyer/valider les donnees, nous avons rajoute des colonnes supplementaires(voir Figure 4.6) dans la table Intervention. Ces colonnes peuvent etre divisees en deuxcategories :

1. Notons que la base de donnee et les tables contiennent, respectivement, des tables et des colonnesqui ne sont pas montrees sur le diagramme pour une raison de clarte.


– Des colonnes qui remplacent celles de memes noms (en supprimant le suffixe Clea-ned) et qui contiennent les donnees nettoyees. Cette approche nous permet de nepas ecraser les donnees existantes. Notons que nous aurions pu creer une tablesupplementaire et y ajouter seulement les tuples qui ont ete validees. Mais cetteapproche, malgres le fait qu’elle permet d’utiliser un minimum d’espace, serait audetriment de la legerete du programme, car elle demanderait plus de travail a labase de donnees (Jointures entre la table Intervention et la nouvelle table).

– Un ensemble de colonnes necessaires pour faire une estimation de la qualite desdonnees (voir la section suivante).

Intervention

ID INT

TTNr NCHAR(20)

PriorityID INT

StatusID INT

SystemID INT

SoftwareID INT

SiteID INT

ResponseTime DATETIME

RepairTime DATETIME

DateCreated DATETIME

DateReceived DATETIME

DateStarted DATETIME

DateOnSite DATETIME

DateFixed DATETIME

DateClosed DATETIME

DateReport DATETIME

RespRemainingMinutes INT

RepRemainingMinutes INT

Indexes

Site

ID INT

Name NCHAR(3)

Indexes Software

ID INT

Name NCHAR(20)

Indexes

System

ID INT

Name NCHAR(20)

Indexes

Status

ID INT

Name NCHAR(50)

Indexes

Priority

ID INT

Name NCHAR(5)

Indexes

Figure 4.5 – La base de donnees existante.

4.3.5 Choix des dimensions pour la qualite de donnees

Dans cette section, nous allons faire une selection des dimensions qui ont ete etudieesdans le chapitre precedent. Comme montre dans la Figure 4.5, les donnees dont nousdesirons estimer la qualite sont de type DateTime 2.

Pour parvenir a faire un bon choix, une bonne idee est de d’abord expliquer quelssont les problemes qui peuvent apparaıtre dans nos donnees. Ci-dessous une liste de cesproblemes accompagnes d’explications est donnee :

Valeurs nulles Comme cite plus haut, la table Intervention fonctionne par mise ajour (elle est mise a jour au fur et a mesure que les interventions changent d’etats).Du coup, il a ete decide (par le concepteur de la base de donnees) de permettre

2. Le type DateTime permet de stocker une date et une heure dans la plupart des systemes de gestionde bases de donnees. 2012-08-20 12 :00 :00 est un exemple de DateTime dans SQL Server.


Figure 4.6 – Les colonnes ajoutee a la table Intervention.

d’avoir des valeurs NULL. Il en resulte que la valeur NULL peut avoir deux signi-fications, une valeur manquante (oubli de la part du gestionnaire de l’incident) ouune valeur qui n’as pas encore ete introduite. La Figure 4.7 illustre ce probleme.

Incoherence Un probleme d’incoherence peut apparaıtre lorsque les relations entreles differentes dates ne sont pas respectees. Ce type de probleme est illustre ala Figure 4.8. On remarque que la relation de precedence entre DateStarted etDateOnSite n’a pas ete respectee.

Valeurs non exactes Meme lorsque les valeurs d’un tuple sont coherentes, celles-ci peuvent etre inexactes. En effet des valeurs comme 2000-01-01 00 :01 :00 ouencore 2011-01-01 00 :01 :00 ont deja ete detectees dans le systeme. Ce problemeest illustre a la Figure 4.9.

ID DateCreated DateReceived DateStarted DateOnSite DateFixed StatusID

1 2012-08-20 12:03:15 2012-08-20 12:05:17 NULL 2012-08-20 13:21:13 NULL 1

Intervention

ID Name

1 On site

StatusValeur manquante Valeur pas encore entrée

Figure 4.7 – Exemple illustrant les deux significations de la valeur NULL.

Les dimensions que nous allons utiliser afin d’estimer la qualite des donnees sont donc :

La stabilite dans le temps (non-volatilite) L’idee est de ne pas tenir compte des


ID DateCreated DateReceived DateStarted DateOnSite DateFixed

1 2012-08-20 12:01:20 2012-08-20 12:05:00 2012-08-20 13:25:00 2012-08-20 13:20:00 2012-08-20 16:02:00

Intervention

Figure 4.8 – Exemple illustrant une incoherence.

ID DateCreated DateReceived DateStarted DateOnSite DateFixed

1 2000-01-01 00:01:00 2000-01-01 00:01:00 2000-01-01 00:01:00 2000-01-01 00:01:00 2000-01-01 00:01:00

Intervention

Figure 4.9 – Exemple de valeurs inexactes.

interventions qui sont en cours. Pour cela, nous considererons seulement les inci-dents resolus ou suspendus (un incident est mis en en suspension (horloge en pause)lorsque le client doit fournir des informations necessaires pour la resolution de l’in-cident).

1 UPDATE wsr . I n t e r v e n t i o n SET TimelyStable = 1 WHERE StatusID = 6 ORStatusID = 8 AND Processed = 0

Listing 4.1 – La stabilite

La completude Notons que nous nous interesserons ici au probleme des valeursmanquantes. En effet, les valeurs qui ne sont pas encore entrees ne constituent pasvraiment un probleme (il suffit de ne pas tenir compte des interventions qui sont encours d’execution, grace a la table Status). La metrique qui sera utilisee pour cettedimension est de type {1, 0}. Ainsi un tuple complet (aucune valeur NULL) auraune valeur 1 pour la colonne Complete, de meme un tuple non complet (au moinsune valeur NULL) aura une valeur 0 pour la colonne Complete. La completude seraglobalement estimee en divisant le nombre de tuples complets par le nombre totalde tuples.

1 // Completude pour l e s i n c d i e n t s s t a b l e s dans l e temps2 UPDATE wsr . I n t e r v e n t i o n SET Complete = 1 WHERE TimelyStable = 13 AND DateCreated IS NOT NULL AND DateReceived IS NOT NULL4 AND DateStarted IS NOT NULL AND DateOnSite IS NOT NULL5 AND DateFixed IS NOT NULL AND DateClosed IS NOT NULL

Listing 4.2 – La completude

La coherence La coherence est calculee de maniere directe en verifiant que tous lesetats d’une interventions se suivent dans l’ordre chronologique. De la meme faconque pour la completude, nous utilisons une metrique de type {1, 0} et la coherencetotale est donnee par le rapport du nombre des tuples coherents par le nombre totaldes tuples.

1 UPDATE wsr . I n t e r v e n t i o n2 SET Cons i s t ent = 1 WHERE Processed = 0


3 AND RepairTime >= ResponseTime AND Processed = 0 ANDTimelyStable = 1

4 AND DateReceivedCleaned < ResponseTime ;

Listing 4.3 – La coherence

L’exactitude Cette dimension est egalement estimee de la meme maniere. Notonsque des dates comme 2000-01-01 00 :01 :00 resultent d’une mauvaise traductionde ces valeurs depuis le ticket recu. Pour cela, nous avons decide de parametriserl’insertion/suppression des dates ”non desiree”. En effet, dans le futur, il pourraitexister d’autres valeurs inexactes ou bien le probleme a l’origine de ces valeurspourrait etre elimine.

1 UPDATE wsr . I n t e r v e n t i o n2 SET Accurate = 1 WHERE TimelyStable = 13 // c e c i e s t f a i t pour toute s l e s dates i n d e s i r a b l e s ( f l a g )4 AND DateStartedCleaned != f l a g AND DateOnSiteCleaned != f l a g5 AND DateFixedCleaned != f l a g AND DateClosedCleaned != f l a g6 AND DateReportCleaned != f l a g ;

Listing 4.4 – L’exactitude

Toujours dans la meme optique de solliciter le serveur de la base de donnees le moinspossible, les dates indesirables (flag) sont stocker dans un fichier XML dont la structureest donnee ci-dessous.

1 <s e t t i n g s>2 <f lagTimes>3 < f l a g>2000−01−01 00 : 0 1 : 0 0</ f l a g>4 < f l a g>2011−01−01 00 : 0 1 : 0 0</ f l a g>5 </ f lagTimes>6 </ s e t t i n g s>

Listing 4.5 – Stockage des dates indesirables dans un fichier XML

4.3.6 Nettoyage et validation de donnees

Pour nettoyer et valider les donnees, deux approches peuvent etre utilisees. La premiereapproche que nous pourrions adopter est de traiter les donnees au fur et a mesure deleur arrivee dans la base de donnees (en temps reel), autrement dit en utilisant desdeclencheurs 3 (triggers en Anglais). Une autre facon de faire, serait de traiter les donneeslors de l’execution du programme. C’est cette approche la qui sera adoptee car elle al’avantage de ne pas surcharger le serveur de la base de donnees.

Comme nous l’avons deja cite, la colonne Processed permet de marquer les donneesqui ont deja ete traitees afin d’eviter de retraiter ces donnees a chaque lancement duprogramme. Par contre, lors de la mise a jours d’une donnee qui a deja ete traitee, unretraitement devient necessaire au prochain lancement du programme. En effet, nous

3. Dans les bases de donnees, un declencheur permet de lancer automatiquement une procedurestockee lors de la mise a jour ou de la suppression d’une donnee, qui agit en parallele sur la memedonnee dans une table afferente. Cela permet d’automatiser certains traitements assurant la coherenceet l’integrite de la base de donnees.


devons assigner la valeur 0 a Processed pour la donnee en question, ce qui doit etre faiten utilisant un declencheur.

1 USE wsr2 ALTER TRIGGER wsr . i n i t i a l i z e D a t a C l e a n s i n g ON wsr . I n t e r v e n t i o n FOR UPDATE3 AS IF (UPDATE( DateStarted ) OR UPDATE( DateOnSite ) OR UPDATE( DateFixed ) OR

UPDATE( DateClosed ) OR UPDATE( DateReport ) )4 BEGIN5 UPDATE wsr . I n t e r v e n t i o n6 SET Processed = 0 , TimelyStable = 0 , Complete = 0 ,7 Cons i s t ent = 0 , Accurate = 0 , Val id = 0 , WasValid = 0 ,8 DateReceivedCleaned = NULL, DateStartedCleaned = NULL,9 DateOnSiteCleaned = NULL, DateFixedCleaned = NULL,

10 DateClosedCleaned = NULL, DateReportCleaned = NULL11 WHERE ID IN12 (13 SELECT ID FROM DELETED14 )15 END

Listing 4.6 – Declencheur de reinitialisation

Nous avons donc un outil de nettoyage/validation qui est implemente dans le pro-gramme de reporting ainsi qu’un declencher pour la base de donnees.

Dans ce qui suit, nous allons tenter d’expliquer le fonctionnement de cet outil.

Detections des problemes

La premiere chose que l’outil fait est detecter les trois types de problemes discutesprecedemment (les donnees incompletes, les donnees incoherentes et les donnees in-exactes).

Nettoyage

Notons que tous les problemes detectes ne peuvent pas etre corriges. En effet, unprobleme dans les colonnes DateCreated et DateReceived ne peut pas etre resolu. Pourles autres colonnes, DateStarted, DateOnSite, DateFixed, DateClosed et DateReport, laregle generale appliquee est celle d’eviter un manquement d’un SLA.

1 UPDATE wsr . I n t e r v e n t i o n SET DateReceivedCleaned =2 (CASE3 WHEN ( DateReceived < DateCreated OR ( DateReceived IS NULL AND

DateCreated IS NOT NULL) )4 THEN DateCreated5 ELSE DateReceived6 END)7 WHERE Processed = 0 AND TimelyStable = 1 ;

Listing 4.7 – Nettoyage de donnees 1

1 UPDATE wsr . I n t e r v e n t i o n SET DateStartedCleaned =2 (CASE


3 WHEN ( DateReceivedCleaned IS NOT NULL AND ( DateStarted <DateReceivedCleaned OR DateStarted IS NULL) )

4 THEN DateReceivedCleaned5 ELSE DateStarted6 END)7 WHERE Processed = 0 AND TimelyStable = 1 ;


1 UPDATE wsr . I n t e r v e n t i o n SET DateOnSiteCleaned =2 (CASE3 WHEN ( DateOnSite < DateStartedCleaned OR ( DateOnSite IS NULL AND

ResponseTime IS NOT NULL) )4 THEN ResponseTime5 ELSE DateOnSite6 END)7 WHERE Processed = 0 AND TimelyStable = 1 ;


1 UPDATE wsr . I n t e r v e n t i o n SET DateFixedCleaned =2 (CASE3 WHEN ( DateFixed < DateOnSiteCleaned OR ( DateFixed IS NULL AND

RepairTime IS NOT NULL) )4 THEN RepairTime5 ELSE DateFixed6 END)7 WHERE Processed = 0 AND TimelyStable = 1 ;


1 UPDATE wsr . I n t e r v e n t i o n SET DateClosedCleaned =2 (CASE3 WHEN ( DateClosed < DateFixedCleaned OR DateClosed IS NULL)4 THEN DateFixedCleaned5 ELSE DateClosed6 END)7 WHERE Processed = 0 AND TimelyStable = 1 ;


1 UPDATE wsr . I n t e r v e n t i o n SET DateReportCleaned =2 (CASE3 WHEN ( DateReport ] < DateClosedCleaned OR DateReport IS NULL)4 THEN DateClosedCleaned5 ELSE DateReport6 END)7 WHERE Processed = 0 AND TimelyStable = 1 ;



Validation

La validation des donnees se fait directement en parcourant toutes les donnees quiont ete nettoyees et en verifiant que celles-ci respectent toutes les dimensions de qualitede donnees definies plus haut. Donc, une entree dans la table Intervention est valide si etseulement si elle est complete, coherente, exacte et non volatile.

1 UPDATE wsr . I n t e r v e n t i o n SET Valid = 12 WHERE TimelyStable = 1 AND Complete = 13 AND Cons i s tent = 1 AND Accurate = 1 AND Processed = 0 ;

Listing 4.13 – Validation de donnees

4.3.7 Analyse temporelle

Le systeme de reporting sera donc un logiciel C# (framework .NET) concu lors dece memoire, se connectant a une base de donnees SQL Server. A chaque lancement duprogramme, les actions suivantes sont executees :

– Le programme analyse tous les tuples qui n’ont jamais ete traites (Processed = 0 )et procede a la validations de ces derniers.

– Ensuite, toutes les donnees necessaires sont collectees et la connexion avec la basede donnees est liberee.

– A cette etape, le programme est capable de generer le rapport (de base), faire uneestimation de la qualite de donnees, generer un rapport inter-sites ainsi que genererle rapport sous format Excel.

4.4 Patrons de conception

Les patrons de conception sont egalement un receuil de bonnes pratiques. Dans le cadrede ce memoire nous avons introduit un patron de conception. Ce dernier est presente danscette section.

4.4.1 Singleton

Ce patron de conception est utile lorsque l’on veut limiter le nombre d’instances d’uneclasse a une seule instance. Cela peut etre realise en empechant l’acces au constructeurdepuis l’exterieur (constructeur prive) et en creant une methode qui permet de renvoyerune nouvelle instance seulement lorsque il n’y a actuellement aucune instance. Sinon, lamethode renverra une nouvelle instance. Ainsi, ce patron de conception est utilise afinde garder une seule connexion a la base de donnees. Donc, le gestionnaire de la base dedonnees (DataManager) est un singleton.

1 pub l i c s t a t i c DataManager dataManager ;2 p r i v a t e DataManager ( )3 {4 // Le code de cons t ruc t eu r


5 }6

7 pub l i c s t a t i c DataManager ge t In s tance ( )8 {9 i f ( dataManager == n u l l )

10 {11 dataManager = new DataManager ( ) ;12 }13 re turn dataManager ;14 }

Listing 4.14 – Le gestionnaire de la base de donnees (DataManager)

4.5 Conclusions

Nous avons donc etabli les infrastructures employees ainsi que les justifications de cesdifferents choix. Ainsi, nous avons opte pour C# comme langage d’implementation dulogiciel. De plus, l’analyse temporelle, la selection des dimensions pour l’estimation de laqualite de donnees et la structure de la base de donnees ont ete presentees.

Chapitre 5

Resultats

5.1 Installation

Le logiciel peut etre facilement installe. Pour plus d’informations, un guide ’installa-tion detaille est fourni en annexe.

5.2 Guide d’utilisation

La Figure 5.1 montre l’interface principale du programme. Les trois premieres sous-fenetres constituent le module de reporting de base. Les deux autres modules sont representespar les deux sous-fenetres suivantes. Une fois le programme lance, l’utilisateur est amenea choisir une periode pour le rapport mensuel (MTD, pour month to date), une date pourle rapport hebdomadaire (WTD, pour week to date) et une date pour le rapport annuel(YTD, pour year to date). Ensuite, il suffit de cliquer sur le bouton OK pour generer lesrapports. A ce stade, il est possible d’exporter les donnees vers le format Microsoft Excel(bouton Export).

Dans la partie superieure de la fenetre principale, quelques parametres peuvent etreajustes :

Track by Ce parametre permet de categoriser les interventions selon soit leur datede reception (DateReceived) soit leur date de reparation (DateFixed). Dans d’autresmots, ce parametre permet de fixer le point de reference des interventions.

Dates to exclude Comme explique dans le chapitre precedent, des dates dues aune mauvaise traduction peuvent apparaıtre dans la base de donnees. Cette sectionpermet de gerer ces dates.

Set Db Permet d’entrer l’adresse de la base de donnees (MS SQL Server) a laquellel’utilisateur desire se connecter.

L’adresse de la base de donnees peut etre entree en cliquant sur le bouton setDb. VoirFigure 5.2.

36

Chapitre 5 : Resultats 37

Figure 5.1 – La fenetre principale du programme.

Figure 5.2 – L’adresse de la base de donnees.

La sous-fenetre qui constitue le module qualite de donnees (Figure 5.3) comporte troisregions :

– La region Overview montre les estimations des dimensions de la qualite de donneesdiscutees dans le chapitre precedent.

– La region Valid and invalid data montre les interventions qui ne sont pas validesainsi que les interventions qui sont devenues valides apres leur traitement.

– La region Cleaned data per month permet de visualiser ces donnees dans ungraphique dont l’axe des abscisse contient les mois de l’annee choisie.

Une fois que le point de reference des interventions a ete choisi, il est important demontrer a l’utilisateur les interventions qui ”debordent”, c’est-a-dire les interventions quidebutent dans une semaine (quand il s’agit d’un rapport hebdomadaire) et qui terminentdans une autre semaine ulterieure, de meme pour les rapports mensuels. En effet, aucuneregle a appliquer n’a ete definie pour ce type d’incidents. Lorsque de telles interventionsexistent, le bouton Overflowing incidents devient actif et permet de voir les detailsde ces interventions. La figure 5.4 montre un exemple d’interventions qui sont recus le 31Aout 2011 et qui sont resolus le premier Septembre 2011.


Figure 5.3 – Le module qualite des donnees.

Les figures 5.5, 5.6 et 5.7 montrent, respectivement, le rapport mensuel, le rapporthebdomadaire et le rapport annuel.

5.3 Conclusions

Apres ces descriptions, nous pouvons donc voir que le logiciel repond le logiciel estpleinement utilisable et permet de generer des rapports qui repondent bien a tous lescriteres et contraintes mais dispose egalement d’un outil de nettoyage de donnees. Cetoutil est donc un produit abouti et fonctionnel.


Figure 5.4 – Les incidents debordants.

Figure 5.5 – Le rapport mensuel.


Figure 5.6 – Le rapport hebdomadaire.

Figure 5.7 – Le rapport annuel.

Chapitre 6

Conclusions

N’ayant pas acces a la base de donnees des incidents, nous n’avions pas la possibi-lite d’etablir nos statistiques et donc de confirmer ou d’infirmer le rapport produit parles clients. En plus, rien ne pouvait etre fait concernant les eventuelles erreurs se trou-vant dans ces rapports et donc aucune contestation ne pouvait avoir lieu concernant lespenalites infligees.

Le developpement du logiciel a donc permis aux gestionnaires d’incident de pouvoirconstamment monitorer le niveau de leurs services. De plus, grace aux rapports generespar le logiciel, il devient possible de comparer les resultats obtenus avec ceux presentespar les clients. Du coup, les rapports constituent un moyen de protection.

Finalement, nous pouvons donc dire que le developpement du logiciel est un succes caril correspond a toutes les attentes et satisfait toutes les contraintes. De plus, l’estimationde la qualite de donnees permet d’avoir un regard critique sur les resultats.

Ce memoire m’a donc permis de comprendre l’interet d’utiliser ITIL ainsi que deconnaıtre ses bases, d’aborder des sujets sur la qualite de donnees qui est un domainevaste (des milliers de recherches ont ete effectuees) et complexe. Techniquement, j’ai eul’occasion a travers ce memoire de developper un logiciel se basant sur la plate-forme.NET.

41

Bibliographie

[1] Chapman A.D. Principlies of data quality, 2005.

[2] ASTRID. ASTRID - Architecture reseau. http://www.astrid.be/templates/

content.aspx?id=492&LangType=1036.

[3] ASTRID. ASTRID - Astrid en bref. http://www.astrid.be/templates/content.aspx?id=1224&LangType=1036.

[4] ASTRID. ASTRID - Le noeud provincial et le centre de dispatching (CIC). http:

//www.astrid.be/Templates/content.aspx?id=520.

[5] Carlo Batini and Monica Scannapieco. Data Quality : Concepts, Methodologies AndTechniques. Springer, 2006.

[6] D. Bitton and D.J. DeWitt. Duplicate record elimination in large data files. ACMTransactions on database systems (TODS), 8(2) :255–265, 1983.

[7] M. Bovee, R.P. Srivastava, and B. Mak. A conceptual framework and belief-functionapproach to assessing overall information quality. International journal of intelligentsystems, 18(1) :51–74, 2003.

[8] C. Dumont. ITIL pour un service informatique optimal : Mis a jour avec ITIL v3et la norme ISO 20000 ! Solutions d’entreprise. Eyrolles, 2011.

[9] ITIL France. http ://www.itilfrance.com/. http://www.itilfrance.com.

[10] I. Guyon, N. Matic, V. Vapnik, et al. Discovering informative patterns and datacleaning. Advances in knowledge discovery and data mining, 181 :203, 1996.

[11] M.A. Hernandez and S.J. Stolfo. The merge/purge problem for large databases. InACM SIGMOD Record, volume 24, pages 127–138. ACM, 1995.

[12] Mauricio A. Hernandez and Salvatore J. Stolfo. Real-world data is dirty : Datacleansing and the merge/purge problem. DATA MINING AND KNOWLEDGEDISCOVERY, 2 :9–37, 1998.

[13] Jonathan I. Maletic and Andrian Marcus. Data cleansing : Beyond integrity analysis,2000.

[14] Cabinet Office. ITIL Continual Service Improvement. TSO (The Stationery Office),2011.

[15] Cabinet Office. ITIL Service Design. TSO (The Stationery Office), 2011.

[16] Cabinet Office. ITIL Service Operation. TSO (The Stationery Office), 2011.

[17] Cabinet Office. ITIL Service Strategy. TSO (The Stationery Office), 2011.

[18] Cabinet Office. ITIL Service Transition. TSO (The Stationery Office), 2011.

42

http://www.astrid.be/templates/content.aspx?id=492&LangType=1036




http://www.astrid.be/Templates/content.aspx?id=520

http://www.astrid.be/Templates/content.aspx?id=520

http://www.itilfrance.com

BIBLIOGRAPHIE 43

[19] Jack E. Olson. Data Quality : The Accuracy Dimension. Morgan Kaufmann Publi-shers In, 2003.

[20] Leo L. Pipino, Yang W. Lee, and Richard Y. Wang. Data quality assessment. Com-munications of the ACM, 45(4) :211–218, 2002.

[21] E. Rahm and H.H. Do. Data cleaning : Problems and current approaches. IEEEData Engineering Bulletin, 23(4) :3–13, 2000.

[22] Thomas C. Redman. Data Quality for the Information Age. Artech House, 1996.

[23] K.S.N. Ripon, A. Rahman, and GM Rahaman. A domain-independent data cleaningalgorithm for detecting similar-duplicates. Journal of Computers, 5(12) :1800–1809,2010.

[24] E. Simoudis, B. Livezey, and R. Kerber. Using recon for data cleaning. In Pro-ceedings of KDD-95 : First International Conference on Knowledge Discovery andData Mining, pages 275–281, 1995.

[25] A. Udechukwu, C. Ezeife, and K. Barker. Independent de-duplication in data clea-ning. Journal of Information and Organizational Sciences, 29(2) :53–68, 2005.

[26] Richard Y. Wang and Diane M. Strong. Beyond accuracy : What data quality meansto data consumers, 1996.

[27] Wikipedia. Distance de levenshtein — wikipedia, l’encyclopedie libre. http://fr.

wikipedia.org/wiki/Distance_de_Levenshtein, 2012. [En ligne ; Page disponiblele 01-Aout-2012].

[28] Wikipedia. Drame du heysel — wikipedia, l’encyclopedie libre. http:

//fr.wikipedia.org/w/index.php?title=Drame_du_Heysel&oldid=77733285,2012. [En ligne ; Page disponible le 18-Juillet-2012].

[29] Wikipedia. Exploration de donnees — wikipedia, l’encyclopedie libre. http://

fr.wikipedia.org/wiki/Exploration_de_donn%C3%A9es, 2012. [En ligne ; Pagedisponible le 06-Aout-2012].

[30] Wikipedia. Herald of free enterprise — wikipedia, l’encyclopedie libre. http:

//fr.wikipedia.org/w/index.php?title=Herald_of_Free_Enterprise&oldid=

74462757, 2012. [En ligne ; Page disponible le 18-Juillet-2012].

[31] L. Zhao, S. Yuan, S. Peng, and L. Wang. A new efficient data cleansing method. InDatabase and Expert Systems Applications, pages 153–182. Springer, 2002.

http://fr.wikipedia.org/wiki/Distance_de_Levenshtein

http://fr.wikipedia.org/wiki/Distance_de_Levenshtein

http://fr.wikipedia.org/w/index.php?title=Drame_du_Heysel&oldid=77733285

http://fr.wikipedia.org/w/index.php?title=Drame_du_Heysel&oldid=77733285

http://fr.wikipedia.org/wiki/Exploration_de_donn%C3%A9es

http://fr.wikipedia.org/wiki/Exploration_de_donn%C3%A9es

http://fr.wikipedia.org/w/index.php?title=Herald_of_Free_Enterprise&oldid=74462757



Annexe A

Guide d’installation

Afin d’installer le logiciel, il suffit de lancer le fichier setup.exe et suivre les instruc-tions.

Figure A.1 – Installation - 1.

La Figure A.4 montre que le logiciel occupe une petite taille sur le disque dur (environ1 MB).

44

Chapitre A : Guide d’installation 45








Annexe B

Exemple de rapport genere

Figure B.1 – SLA’s

Figure B.2 – MTD

48

Chapitre B : Exemple de rapport genere 49

Figure B.3 – WTD

Figure B.4 – YTD


Figure B.5 – Les donnees - 1

Figure B.6 – Les donnees - 2


Documents

Système de rapports d’incidents conforme aux normes ITIL pour … · 2017-03-27 · Système de rapports d’incidents conforme aux normes ITIL pour le réseau A.S.T.R.I.D Mémoire