Upload
others
View
7
Download
0
Embed Size (px)
Citation preview
N° Ordre........../FHC/UMBB/2012
REPUBLIQUE ALGERIENNE DEMOCRATIQUE ET POPULAIRE
MINISTERE DE L’ENSEIGNEMENT SUPERIEUR ET DE LA RECHERCHE
SCIENTIFIQUE
UNIVERSITE M’HAMED BOUGARA-BOUMERDES
Faculté des Hydrocarbures et de la Chimie
Mémoire de Magister
Présenté par
MOULAY Azzeddine
Filière : Génie Electrique et Electrotechnique
Option : Mécatronique
Système d’aide à la décision pour la détection offline des cas
de fraudes sur le réseau Sonelgaz
Devant le jury :
Année Universitaire : 2011/2012
Hocine LABAR Professeur U- Annaba Président
Idir HABI MC/A FHC-UMBB Examinateur
Mohamed HAMADACHE MC/B FHC-UMBB Examinateur
Professeur FHC-UMBB Encadreur
Remerciement
Remerciements
Louange au Dieu le tout puissant qui m'a accordé la foi, le courage et la patience pour
mener ce travail.
Je tiens à exprimer mes infinis remerciements au Directeur de Laboratoire de Recherche
sur l’Electrification des Entreprises Industriels (LREEI), Mr Boukhemis CHETATE, professeur à
UMBB, pour m’avoir donné l’opportunité de travailler sur ce projet motivant au sein d’une
équipe dynamique.
J’ai été profondément honoré que Monsieur Hocine LABAR, Professeur à l’université de
Annaba, a accepté la présidence de mon jury de mémoire. Je tiens à le remercier vivement de la
confiance qu’il a placé dans mes travaux.
Je remercie également Mr HABI Idir, maitre de conférences à UMBB, pour sa patience
et ses conseils précieux qui m’ont été très utiles.
Je remercie les membres du jury qui m'ont honoré en acceptant de juger et d’enrichir ce
modeste travail.
Je remercie vivement et sincèrement Mr ZIADI Zaki, doctorant à l’université
d’Okinawa(Japon), qui n’a ménagé aucun effort pour m'apporter son aide.
J’adresse ensuite mes sincères remerciements à l'ensemble des responsables de la société
de Sonelgaz SDC Blida, et SDC de Ouargla pour m'avoir accueilli au sein de cette société, qui
ont contribué à me fournir les données.
Je remercie chaleureusement tous mes collègues de l’équipe de recherche pour leur
gentillesse et aide.
Je voudrais exprimer ma plus grande reconnaissance à toute ma famille pour leurs
encouragements et leurs soutiens.
En fin je désire remercier toutes les personnes qui ont contribué de près ou de loin à
l'élaboration de ce modeste travail.
Boumerdès 2012
Sommaire
Liste des figures………………………………………………………………… I
Liste des symboles……………………………………………………………… II
Introduction Générale…………………………………………………………. 01
Chapitre I : Analyse statistique sur les pertes non techniques
Introduction…………………………………………………………………….. 04
1. La courbe de charge…………………………………………………………... 04
1.1 Caractérisation des courbes de charge…………………………………… 07
1.2 Le profil de charge avec la technique des fouilles de données…………... 08
2. Pertes d’énergie dans les réseaux de distribution…………………………….. 09
2.1 Les Pertes Non Techniques PNT………………………………………... 10
2.1.1 Analyse des pertes non techniques PNT………………………….. 10
2.1.2 Les impacts des pertes non techniques PNT……………………… 11
2.1.3 Les solutions actuelles pour combattre Les PNT………………… 11
2.2 Vol de l’électricité………………………………………………………. 12
2.2.1 Le compteur d’énergie électrique………………………………… 12
2.2.2 Principes de mesure des compteurs monophasés………………… 13
2.2.3 Piratage de l’énergie électrique…………………………………… 14
3. Détection de la fraude de l’énergie électrique……..………………………... 17
4. Les différentes techniques de détection de fraude…………………………… 17
4.1 Les Méthodes Statistiques ………………………………………………. 18
4.2 Les méthodes à fonction de la distance…………………………………. 18
4.3 Les méthodes basées sur la densité……………………………………… 19
4.4 Les méthodes basées sur La classification………………………………. 19
4.5 Les méthodes à base de déviation……………………………………….. 19
5. Position du problème à résoudre……………………………………………… 20
6. Conclusion……………………………………………………………………. 21
Chapitre II : Les séparateurs à vaste marge SVM
Introduction……………………………………………………………………… 22
1. Principe du SVM……………………………………………………………… 23
1.1 Notions de base…………………………………………………………… 23
1.2 Pourquoi maximiser la marge ?…………………………………………... 25
2. Formulations mathématiques du SVM……………………………………….. 26
2.1 Cas des données linéairement séparables……………………………….. 26
Sommaire
Sommaire
2.2 Cas des données linéairement non séparables…………………………… 29
2.3 Mesure de la similarité…………………………………………………... 31
2.4 Condition de Mercer……………………………………………………... 31
3. Formulation de cas non linéairement séparables……………………………... 33
3.1 Unicité et globalité de la solution……………………………………….. 37
3.2 Optimisation quadratique………………………………………………… 37
3.2.1 Estimation basée sur un échantillon test…………………………... 37
3.2.2 Bornes obtenues par leave-one-out……………………………….. 38
4. Mise en œuvre d’un algorithme SVM……………………………………….. 39
4.1 Apprentissage……………………………………………………………. 39
4.2 Généralisation……………………………………………………………. 41
5. Conclusion…………………………………………………………………… 43
Chapitre III : Elaboration d’un système de détection de fraude
en utilisant la technique des séparateurs à vaste marge
Introduction……………………………………………………………………… 44
1. Le cadre proposé……………………………………………………………… 44
1.1 Méthodologie du projet…………………………………………………… 44
1.2 Méthodologie de la recherche……………………………………………. 45
2. Collecte de données………………………………………………………….. 46
2.1 Système de facturation…………………………………………………... 48
2.2 Prétraitement des données………………………………………………. 49
2.2.1 Sélection et filtrage des clients……………………………………. 51
2.2.2 Transformation des indexes de consommations………………….. 51
2.2.3 Sélection et extraction des caractéristiques………………………. 51
2.2.4 Normalisation des caractéristiques……………………………….. 54
2.2.5 Ajustement des caractéristiques………………………………….. 54
3. Le développement d’un moteur de classification (modèle)…………………. 55
3.1 Inspection des courbes de charge………………………………………… 57
3.2 L’apprentissage et le développement du Modèle SVC………………….. 59
3.2.1 L'ajustement des poids…………………………………………….. 59
3.2.2 La validation croisée (CV)………………………………………… 59
3.2.3 Optimisation des paramètres………………………………………. 60
3.2.4 Estimation des probabilités………………………………………… 60
Sommaire
3.2.5 L’entraînement de SVC……………………………………………. 61
3.2.6 Test et validation du modèle SVC…………………………………. 63
4. Traitement Final des Données……………………………………………….. 66
5. Conclusion…………………………………………………………………… 67
Chapitre IV : Validation du système intelligent de détection de
fraude offline
Introduction……………………………………………………………………… 68
1. L’interface graphique………………………………………………………… 68
1.1 L’écran Principal…………………………………………………………. 68
1.2 La sélection du fichier de données……………………………………….. 69
1.3 Le niveau de détection de fraude………………………………………… 71
1.4 L’exécution de la détection………………………………………………. 71
1.5 Le rapport de détection………………………………………………….... 73
2. Conclusion……………………………………………………………………. 74
Conclusion générale et perspectives………………………………………….. 75
Référence……………………………………………………………………... 77
Résumé…………………………………………………………………………. 84
Liste des figures
FHC Mécatronique I
Liste des figures :
Figure I.1 : Exemple d’une courbe de charge électrique d’un client domestique
Figure I.2 : Le compteur électromécanique monophasé
Figure I.3 : Diagramme simplifié d’un compteur électronique
Figure I.4 : Connexion normale de la charge avec le compteur d’énergie
Figure I.5 : Connexion mixte normale et avec une neutre artificielle
Figure I.6 : Inversement du sens de courant
Figure I.7 : Absence du neutre
Figure I.8 : Le by-pass du compteur d’énergie
Figure I.9 : La fraude avec une double alimentation
Figure II.1 : L’hyperplan séparateur
Figure II.2 : Les vecteurs de support
Figure II.3 : L’hyperplan optimal
Figure II.4 : La différence entre les hyperplans
Figure II.5 : L’hyperplan séparateur dans le cas de données linéairement séparables
Figure II.6 : Transformation de cas non linéaire en cas linéaire par changement de
l’espace
Figure II.6 : La distance séparant un outlier et l'hyperplan canonique
Figure II-7 : Architecture SVM.
Figure II. 8 : Structure générale du programme de généralisation SVM.
Figure III.1 : Organigramme de la Méthodologie du projet
Figure III.2 : Organigramme de la Méthodologie de recherche
Figure III.3 : Organigramme illustrant les étapes de prétraitement des données
Figure III.4-(a) : Une courbe de charge d’un client suspect
Figure III.4-(b) : Deuxième courbe de charge d’un client suspect
Figure III.5 : Deux courbes de charge des clients ont une consommation normale
Figure III.6 : Entrainement du SVC par le LIBSVM
Figure III.7 : Le fichier du modèle obtenu après l’apprentissage
Figure III.8 : La méthode à suivre pour le test et l’amélioration du modèle SVC
Figure III.9 : Le LIBSVM exécutable destiné pour le test du SVC
Figure III.10 : Le LIBSVM exécutable avec les paramètres du test du SVC
Figure III.11 : Le fichier de sortie après le test (résultat final)
Figure IV.1 : L’écran principal de l'interface graphique
Figure IV.2 : Sélection du fichier de données des clients.
Figure IV.3 : Explorateur des fichiers pour sélectionner le fichier de données des
clients.
Figure IV.4 : L’emplacement du fichier de données.
Figure IV.5 : Sélection du niveau de détection de fraude.
Figure IV.6 : Le logiciel commence la détection des clients suspects
Figure IV.7 : Résultats de la détection des clients suspects
Figure IV.9 : Le profil de charge de deux clients suspects
Liste des symboles
FHC Mécatronique II
Liste des symboles
Le vecteur de poids de l’hyperplan à marge maximale recherché
L’ensemble d'apprentissage ou de test
( ) La distance d’un point x au plan (w; b)
les multiplicateurs de Lagrange
Φ La transformation non linéaire de l'espace d'entrée
La distance entre les vecteurs supports sv et un ensemble
L’estimation de la probabilité
F L’espace des re-description
K La fonction noyau
Matrice de Gram
M Matrice
IR L’ensemble des nombres réels
Variable d'écart
Le paramètre d’erreur de pénalité
La marge réalisée sur un échantillon d’apprentissage de taille n
La probabilité i èmme classe
Matrice Hessienne,
Le taux des mauvaises classifications
( ) La règle de classification
La consommation moyenne journalière
CV Validation croisée
SVC Support vecteur classification
Nt Le nombre total des échantillons de test
Introduction Générale
Introduction générale
FHC Mécatronique
INTRODUCTION GENERALE
Les pertes d’énergie dans un réseau de distribution d’électricité sont de deux types: les
pertes techniques et les pertes non-techniques PNT. Les pertes non-techniques PNT proviennent
de consommation d’énergie non enregistrée. Ces pertes résultent de vols d’énergie ou d’erreurs
de comptage et/ou de profilage.
Dans les marchés d’électricité, la connaissance des consommateurs
d'électricité fournit une compréhension de leur comportement de consommation, qui est
récemment devenu important dans l'industrie électrique. Avec cette connaissance, les
fournisseurs d'électricité sont capables de développer une nouvelle stratégie commerciale et
d'offrir des services basés sur la demande des clients. Une des méthodes les plus couramment
utilisés dans l'acquisition de connaissances sur le comportement des clients est le profil de charge
1 , qui est défini comme l'habitude de consommation d'électricité d'un client ou d’un groupe
de clients sur une période donnée. Le profil de charge a été utilisé pendant de nombreuses
années par les compagnies d'électricité pour la formulation des tarifs, la planification du
système et l'élaboration des stratégies de commercialisation.
Les compagnies d'électricité enregistrent les historiques des données des clients, telles
que : les détails contractuels, les procédures de facturation et les indexes de consommation
dans différentes bases de données clients. Toutefois, les informations qui existent dans la
plateforme informatique sont souvent trop complexes pour permettre à l'esprit humain
de formuler des décisions stratégiques et efficaces ou tirer des conclusions efficaces. En outre,
ces informations sont souvent inaccessibles et prennent beaucoup de temps pour les extraire, en
raison des problèmes associés aux données archivées dans les systèmes de bases de données
complexes.
En raison du problème des PNT auquel sont confrontées les compagnies
d'électricité, différentes méthodes de gestion efficace des PNT et la protection des recettes dans
le secteur de la distribution d'électricité ont été proposé. La méthode la plus efficace
actuellement pour réduire les pertes commerciales et les PNT est d'utiliser des compteurs
électroniques intelligents, qui rendent les activités frauduleuses plus difficiles à
détecter. Cependant, l'installation des compteurs électroniques est bénéfique, mais leurs coûts
sont élevés nécessitent de nouvelles infrastructures pour la collecte des données.
Dans la présente étude, L’exploration de données est utilisée pour relever les défis ci-
dessus. En général, L’exploration de données, connue aussi sous l'expression de fouille de
Introduction générale
FHC Mécatronique
données, data mining (« forage de données »), ou encore extraction de connaissances à partir de
données, « ECD » en français, « KDD » en anglais, a pour objectif l’extraction d'un savoir ou
d'une connaissance à partir de grandes quantités de données, par des méthodes automatiques ou
semi-automatiques. Ces dernières années, plusieurs études d'exploration de données sur
l'identification et la détection de fraude dans le secteur de la distribution d'électricité ont été
étudiés, notamment: Rough sets 54 , les méthodes statistiques 55,56 , les arbres de décision
57,58 , réseaux de neurones artificiels (RNA) 59 , et l'extraction de caractéristiques avec les
ondelettes 63 . En plus de cela, les techniques de fouille de données ont également été
utilisés dans les autres types d'entreprises, y compris: les télécommunications, l'assurance, la
gestion des risques, et la transaction (carte de crédit). La plupart de ces études ont utilisées des
techniques de fouille de données comme moyen pour la détection et la prédiction des activités de
fraude.
Dans cette étude, nous allons utiliser une méthode récente de l’intelligence artificielle
qui s’appelle les séparateurs à vaste marge (SVM) pour la détection et l'identification des
activités de fraude. Les récents succès de SVM dans diverses applications réelles telles que:
l'identification du visage, la catégorisation de texte, et la bioinformatique donne une motivation
supplémentaire pour cette recherche. Il y a de nombreux documents de recherche et
littérature indiquant la précision de la classification des SVM et sa supériorité par rapport aux
autres méthodes de classification traditionnels, tels que RNA.
L'importance et les avantages principaux de cette étude de recherche sont définis comme
suit :
Le système de détection de fraudes à développer dans cette étude, fournira un
outil efficace pour la détection et la classification des clients selon leurs comportements
de consommation, autrement à l’identification des clients suspects.
La mise en œuvre du système proposé et les coûts opérationnels appliqués par
les services publics d'électricité, y compris le groupe Sonelgaz en Algérie en raison de
l’inspection et la détection des installations illégales seront considérablement réduits.
L’application de ce système permettra également de réduire le nombre des contrôles
effectués au hasard.
Enfin, par l'utilisation du système proposé, le temps nécessaire pour la détection des
clients suspects et l'identification des compteurs électriques défaillants sera réduit.
L'analyse effectuée dans cette étude se concentre sur les changements brusques dans les
habitudes de consommation des clients à travers leurs profils de charge. Plus précisément, les
http://fr.wikipedia.org/wiki/Connaissancehttp://fr.wikipedia.org/wiki/Savoirhttp://fr.wikipedia.org/wiki/Donn%C3%A9e
Introduction générale
FHC Mécatronique
clients sont représentés par leurs profils de charge ou en utilisant l'évolution temporelle de la
consommation de l’électricité au cours d'une période de temps.
Ces profils sont caractérisés par des modèles moyens qui représentent le comportement
général de la clientèle. Une fois les modèles sont ajustés, la mesure de similarité entre chaque
client et chaque modèle, et la mesure de similarité globale entre un client et les
modèles considérés sont évalués. La mesure de similarité globale identifie les clients qui ne
correspondent pas avec n'importe lequel des modèles, tandis que la mesure de
similarité de modèle identifie les clients similaires avec les modèles qui sont détectés comme des
clients suspects.
Ce mémoire est organisé de manière méthodique. Il est structuré en quatre
chapitres comme suit :
Le premier chapitre examinera le contexte et l’état de l’art sur le problème des pertes non
techniques et leurs impacts sur le plan économique du point de vue financier. Un examen
détaillé de l'analyse des profils de charge dans plusieurs pays sera présenté. Les techniques de
classification qui ont été mis en œuvre pour classer les clients en utilisant les profils de
charge des clients. En outre, certaines questions de fond concernant les techniques de détection
de fraude utilisées dans les entreprises d'électricité
Le deuxième chapitre, présentera une brève étude sur la méthode utilisé pour notre
système de détection de fraude, à savoir les séparateurs à vaste marge.
Le troisième chapitre présentera la méthodologie proposée pour le système de détection
des fraudes. Cette partie importante illustra le projet général et les méthodologies de
recherche. Les trois grandes étapes qui seront impliquées dans le développement du système
de détection des fraudes, notamment: le prétraitement des données, le développement du modèle
(moteur de classification). Le développement du moteur de classification montre l'entraînement
de SVM, l’optimisation des paramètres, les tests et la validation du modèle SVM. Enfin la
sélection des clients suspects à partir des résultats SVM.
Le quatrième chapitre présentera l'interface graphique développée pour le système de
détection des fraudes. L'interface graphique développé génère une liste des clients suspects avec
leurs indexes de consommation,
Enfin, une conclusion générale discutera sur les résultats obtenus et les
recommandations.
Chapitre I
Analyse des pertes non
techniques
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 4
Introduction
Sonelgaz compte en 2006 plus de 5 millions d’abonnés en électricité. A ce chiffre, il faut
aujourd’hui ajouter les personnes et les groupes qui sont raccordés clandestinement au réseau
basse tension ou qui fraudent en manipulant illégalement les compteurs. Le nombre de ces
clients d’un autre genre demeure incertain et difficile à cerner dans un tissu urbain et périurbain
caractérisé par l’anarchie et l’habitat spontané : lieu de prédilection des raccordements
électriques sauvages et clandestins. Les pertes et les dégâts importants qu’ils occasionnent sont
en revanche recensés et calculés systématiquement. Ils s’élèvent à plusieurs milliards de dinars
chaque année et représentent un véritable casse-tête technique et économique pour les directions
de distribution du Groupe.
Ce chapitre présente l’état de l’art sur les études qui ont été faites sur les profils de charge dans
divers pays pour l’extraction des caractéristiques et un résumé de ces études et leurs moyens de
mise en œuvre. Il est tenu compte les concepts de base et les théories relatives aux pertes de
puissance surtout les pertes non techniques, En outre, diverses méthodes de vol d'électricité, tels
que le by-pass de compteur d’énergie électrique etc. sont également présentés, en outre, certaines
questions de fond concernant les techniques de détection de fraude utilisées dans les entreprises
d'électricité ; et enfin la position de problème étudié.
. La courbe de charge
La courbe de charge (CdC) Figure (I.1) désigne une grandeur électrique qui décrit l’évolution de
la consommation en électricité d’un système sur une période donnée [1], où la période concernée
peut être quotidienne, hebdomadaire, mensuelle ou annuelle.
L’intérêt de la CdC est d’extraire un ensemble de descripteurs électriques d’un client donné. Il
peut s’agir de la détection de présence d’un usage électrique, de l’estimation de ses paramètres
caractéristiques (énergie, puissance nominale, etc.) On différencie le comportement de
consommation électrique pour chaque client ou encore la de la reconstruction des signaux
générés par chaque appareil.
Ces estimations contribuent à la définition d’une offre énergétique variée et personnalisée
(analyse détaillée de la consommation totale, détection de défaut, surveillance de systèmes
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 5
complexes, audit énergétique). Ces services permettent au client d’identifier les sources
potentielles d’optimisation de sa consommation.
Ce concept (courbe de charge) a longtemps été utilisé comme un outil efficace pour la
formulation tarifaire, la planification des systèmes, la gestion de la charge, et de concevoir des
stratégies de marketing.
Au cours de ces deux dernières décennies, un certain nombre d'études sur la courbe de charge ont
été réalisées pour classer les clients des services d'électricité en fonction de leur comportement
de consommation. Ces études ont été menées dans des pays comme Taiwan [2-3 , la Slovénie [4,
5], la Roumanie [6 , le Portugal [7-8 , Royaume-Uni [9-10 , la Malaisie [11,12 ], la Belgique
[13 , l'Espagne [14 et au Brésil [15 . L'objectif principal des études de courbe de charge en
général est d'extraire et d'enregistrer les informations relatives aux caractéristiques de la charge
des clients [16 . Les diverses raisons signalées pour la conduite de telles études sont indiqués
dans le tableau I-1.
0
500
1000
1500
2000
2500
3000
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
Series1
Heurs
Consommation
Figure I.1 Exemple d’une courbe de charge électrique d’un client domestique
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 6
Payes L’objective d’étudier la courbe de charge
Techniques
Malaysia
En Malaisie [11,12], des études de courbe de charge ont
été effectuées en utilisant des techniques d’intelligence
artificiel afin d'identifier les similitudes entre les clients ou
les répartir et les classer dans l'une des catégories
identifiées. Les études ont utilisé un ensemble de données
de charge de différents départs.
-Logique Floue
- réseau de neurone
artificiel
Slovénie
En Slovénie [4, 5], des courbes de charge ont été utilisées
comme un outil efficace pour la facturation des clients qui
ont dévié de leurs horaires contractuels. En vertu de la loi
sur l'énergie slovène, seuls les clients éligibles avec
puissance nominale supérieur 41kW sont autorisés à
changer leurs fournisseurs ou acheter de l'énergie sur le
marché individuel. Par conséquent, il est essentiel de
disposer de techniques appropriées pour répartir les clients
à par associations représentatives.
-Regroupement
hiérarchique
-partitionnement de
données
Portugal
Au Portugal [7,8], des études de courbe de charge ont été
effectuées sur 165 clients BT en vue d'élaborer un système
de prise de décisions afin de soutenir la définition des
options contractuelles adéquates, ainsi que d'élaborer des
meilleurs stratégies de marché.
Depuis la libéralisation du marché, des entreprises de
services publics nécessitent des stratégies visant à se
différencier en fonction du coût et des valeurs des services
offerts.
-partitionnement de
données
-Self Organizing Map
-approche à deux
niveaux
Royaume-Uni
Au Royaume-Uni [9,10], des études de courbe de charge
ont eu lieu depuis longtemps dans le secteur de l'électricité.
Des études sur la courbe de charge ont été utilisées
pendant de nombreuses années pour formuler et fixer des
tarifs d'électricité au détail [9].
-Classification par la
logique floue
Tableau I.1 Résumé des études de courbe de charge à travers le monde et leur
implémentation
http://fr.wikipedia.org/wiki/Regroupement_hi%C3%A9rarchiquehttp://fr.wikipedia.org/wiki/Regroupement_hi%C3%A9rarchiquehttp://fr.wikipedia.org/wiki/Partitionnement_de_donn%C3%A9eshttp://fr.wikipedia.org/wiki/Partitionnement_de_donn%C3%A9eshttp://fr.wikipedia.org/wiki/Partitionnement_de_donn%C3%A9eshttp://fr.wikipedia.org/wiki/Partitionnement_de_donn%C3%A9es
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 7
Taiwan
Depuis 1993, la recherche sur la courbe de charge à
Taiwan [2,3 , a ramené que les auteurs ont étudié les
multiples fonctions de la planification, du fonctionnement
du système et de la maintenance. Cela comprend
l'élaboration des alternatives efficaces de gestion de charge
pour réduire la demande des heures de pointes et la
conception de structures de taux tarifaires en fonction de la
consommation d'énergie réelle et l’élaboration des
stratégies de marketing pour promouvoir le secteur de
l'électricité.
Techniques
Statistiques
Le tableau I.1, illustre les différentes techniques des études de courbes de charges effectuées
varient d'un pays à autre.
.1 Caractérisation des courbes de charge
Actuellement, deux types d'approches sont les plus couramment utilisés pour modéliser les
courbes de charge. La première approche est le modèle de zone «area model» et la deuxième
approche est le modèle de catégorie «category model » [17,18 . Le modèle de zone ou le modèle
analytique a une limitation car il est supposé que tous les clients fournis par la même station de
distribution électrique ont des habitudes de consommation similaires.
Les récents progrès technologiques ont permis un certain nombre de méthodes modernes
d’établissement de profils de charge provenant de travaux effectués dans certains pays.
Deux grands groupes de recherche ont été identifiés (ils utilisent des approches différentes pour
la détermination des profils de charge typique). Le premier groupe de recherche a élaboré des
profils de charge typique en utilisant des systèmes complets de contrôle de la charge selon des
catégories prédéfini des clients 19, 3, 15,18]. Dans le cas de deuxième groupe de recherche,
diverses méthodes de reconnaissance des formes ont été utilisées comme outils d’identification
de la charge pour développer des profils de charge typiques basées sur les formes des courbes de
charge enregistrées.
Cependant, ces études indiquent que les procédures étudiées des profils de charge des deux
groupes de recherche sont concernés par des limitations. La principale limitation affectant le
premier groupe, c'est que le temps requis pour la mesure est assez long. En ce qui concerne le
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 8
second groupe, le problème principal est que la procédure requise pour développer les
caractéristiques des courbes de charges des clients est coûteuse et prend beaucoup du temps [17].
Il n'y a pas de façon claire et concise afin de déterminer la méthode optimale de reconnaissance
lorsqu'ils cherchent à représenter les profils de charge. Par conséquent, la recherche présentée
dans le cadre de cette étude utilise le Support Vector Machine pour résoudre le problème de
reconnaissance des formes et de la classification des profils de charge en fonction des similarités
de comportement de consommation pour différenciés entre les fraudes et les bonnes habitudes de
consommation (normale).
.2 Le profil de charge avec la technique des fouilles de données
L'approche des fouilles de données la plus courante et la plus utilisée pour les profils de charge
est la classification de données (clustering) fondée sur l'apprentissage non supervisé. La
technique de la classification fournie l'une des étapes pour l'analyse exploratoire des données
sous forme de méthodes de reconnaissance des formes [5 . Elles sont utilisées pour
l'identification des tendances communes ou pour grouper les cas similaires à travers un processus
de collecte d’un ensemble d'objets dans des groupes. Le résultat de la classification est que les
objets dans un groupe ont un degré élevé de similitude, et apparaissent différents dans les autres
groupes. La classification est une technique utile pour trouver la distribution des modèles, les
corrélations entre les données des attributs [20 , et il peut être utilisé comme un outil,
d’identification et de détection des objets qui s'écartent de la structure normale.
Ces dernières années, des techniques de la classification ont été largement utilisés dans de
nombreuses applications dans le monde entier, y compris la classification des documents [21,
22], et la segmentation d'images [23 . En outre, des techniques de la classification ont également
été utilisées pour étudier les courbes de charge afin de grouper les profils de charges similaires.
La présente étude vise à utiliser les SVM, qui sont des techniques d'apprentissage pour la
classification et la régression.
En général, les techniques de la classification se divisent largement en deux classes (I)
partitionnement et (II) hiérarchiques. Dans les techniques de partitionnement, K-means est
largement utilisé et en classification hiérarchique, lien unique est le plus couramment utilisé [24 .
Cependant, dans [25 , Han et al ont élargi la classification des techniques de regroupement à
cinq grandes catégories: (I) les méthodes de partitionnement, (II) les méthodes hiérarchiques
comme l'a mentionné Karypis et al. Dans [26 , (III) les méthodes basé sur la densité, (IV) les
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 9
méthodes à basées de grilles, et (V) les méthodes basées sur des modèles [27 . Parmi toutes les
catégories de regroupement, chaque technique de regroupement a ses propres avantages et
inconvénients en fonction du problème à résoudre et des hypothèses formulées. Les techniques
les plus répandus de la classification utilisées pour le classement des consommateurs d'électricité
sur la base des profils de charge sont rapportées à la section suivante.
. Pertes d’énergie dans les réseaux de distribution
Les pertes d’énergie dans les réseaux électriques, et dans les réseaux de distribution en
particulier, représentent pour les gestionnaires des réseaux un enjeu important. Le rapport
d’activité de la société SONELGAZ, insiste sur l’importance de l’amélioration de la performance
énergétique des réseaux de distribution. En améliorant cette performance, la société de
distribution réduit sa consommation d’énergie ce qui diminue l’empreinte carbone de son
entreprise et ce qui permet de réduire les coûts liés au rachat d’énergie destiné à la couverture
des pertes. Si le taux de 4,3%, correspondant à 1 849 GWh, enregistre sur le réseau de transport
est acceptable [28], celui de la distribution atteint le niveau inquiétant de 20,5%, représentant
6909 GWh. Ce paramètre a connu une augmentation de 1 386 GWh en 2009, poursuivant une
progression non maitrisée et de plus en plus préoccupante, reflétée ci –après [28] :
Les pertes d’énergie dans un réseau de distribution d’électricité sont de deux types: les pertes
techniques et les pertes non-techniques. Les pertes non-techniques proviennent de consommation
d’énergie non enregistrée. Ces pertes résultent de vols d’énergie ou d’erreurs de comptage et/ou
de profilage. Les pertes techniques ont, elles aussi, des origines diverses. Elles peuvent provenir
de pertes en ligne mais aussi de pertes liées à la transformation haute tension (HT) et basse
Tableau I.2 : évolution de taux de perte de l’électricité pour le réseau de distribution
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 10
tension (BT). Ces pertes apparaissent dans les transformateurs HT/BT et proviennent de pertes
par effet Joule et de pertes fer [29].
Le vol d'électricité fait partie de pertes non techniques PNT dans les réseaux électriques. Cette
recherche vise à étudier la nature des pertes non techniques dans les systèmes électriques, de
leurs sources, la mesure des pertes non techniques, et éventuellement leur impact sur le système
29 .
.1 Les pertes non techniques
L’énergie consommée et non enregistrée constitue la composante principale des pertes non
techniques. S’il paraît aisé d’en estimer le niveau global par déduction des pertes globales ou de
la différence entre l’énergie injectée au réseau de distribution et l’énergie effectivement facturée,
les origines de ces pertes ne sont pas toujours évidentes et elles ne peuvent être mesurées
précisément. Il est estimé que dans certains pays en développement, les pertes de nature non
technique peuvent atteindre 50 % de la quantité totale d’électricité injectée dans le réseau. Des
facteurs endogènes (mauvaise maîtrise de la facturation, agents malhonnêtes, etc.) et exogènes
(utilisation frauduleuse de l’énergie, etc.) aux sociétés de distribution sont considérés. Ainsi, les
moyens de les combattre et de les réduire sont à imaginer. Des mesures et des contrôles sur le
terrain participent à ces moyens. Ce sont des opérations relativement difficiles et complexes qui
nécessitent de l’organisation et de la méthode 30 .
.1.1 Analyse des pertes non techniques (PNT)
Les pertes non techniques (PNT) sont causées par des actions extérieures au système
d'alimentation et elles sont plus difficiles à mesurer, car ces pertes sont souvent oubliées par les
gestionnaires de réseau (qui n'ont donc aucune information enregistrée). Les causes les plus
probables de PNT sont les suivants [29,30]:
Les compteurs défectueux et non remplacés ;
Le non-paiement par les clients ;
Les erreurs dans le calcul des pertes techniques ;
La consommation non mesurée ;
Les raccordements clandestins (fraude) ;
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 11
La mauvaise estimation de la charge raccordée ;
La consommation est mesurée sans exactitude ;
Des estimations inexactes en ce qui concerne l’éclairage publique et…. ;
Les erreurs administratives ;
Le retard dans l’exploitation des fichiers des nouveaux clients (retard de facturation).
.1.2 Les impacts des pertes non techniques PTN
Les pertes non techniques connues par les fournisseurs d’électricité ont des impacts majeurs sur
un certain nombre de domaines, y compris la stabilité économique, financière et politique [31].
Les impacts financiers sont les plus critiques pour de nombreux services publics, car ils
impliquent :
La réduction des bénéfices et c'est ainsi que le manque de fonds pour investir dans
l'amélioration du système de puissance et de sa capacité.
Les fournisseurs d’énergie ne peuvent pas maitrises exactement la demande de puissance.
Pertes fiscales de l’Etat.
Pertes financières (allants jusqu’à 10 milliards de dinars en 2008 pour la SONELGAZ).
Dans de tels cas, les coûts de PNT sont transférés aux clients pour couvrir les pertes dans les
activités de services publics.
.1.3 Les solutions actuelles pour combattre les PNT
Plusieurs méthodes ont été récemment proposées pour surmonter et minimiser les problèmes de
PNT dans les systèmes électriques. Les deux méthodes les plus couramment utilisés sont les
suivantes:
Installant des compteurs électroniques pour la protection des recettes [32].
la modélisation et l’estimation des PNT 33 .
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 12
La première méthode indique que l'installation de compteurs électroniques est bénéfique, malgré
leur coût élevé et la nécessité des nouvelles infrastructures pour la collection des données. En
outre, Automatic Meter Reading (AMR) proposé par Sridharan et al. Dans [34] a été utilisé
comme un filtre intelligent, pour fournir une méthode efficace pour mesurer les pertes et le vol
d'électricité dans les réseaux de distribution BT [35]. La seconde méthode qui consiste à
modéliser et estimer les PNT a été développée par Filho et al. Dans [36]. Cette approche
applique une méthode statistique afin de minimiser les pertes d'énergie électrique, en particulier
les PNT dans les réseaux de distribution d'électricité. L’estimation et la modélisation des PNT
est considérée comme une approche efficace pour réduire le coût de l'électricité aux clients, ce
qui est obtenu par l'évaluation technique et économique de la conception de réseaux de
distribution électrique.
Toutefois, les méthodes suscitées utilisées pour minimiser les PNT imposent des coûts
opérationnels élevés et nécessitent un usage considérable des ressources humaines. Par ailleurs
plusieurs méthodes ont été développées dans d'autres pays pour minimiser les PNT. A cet effet,
la plupart des compagnies d'électricité se concentrent sur l'inspection technique sur place des
clients, ce qui a des coûts opérationnels élevés et qui entraine la mobilisation d’une grande partie
des ressources humaines et du temps 37 . Dans ce qui suit, les auteurs du présent travail
proposent une méthode pour surmonter les obstacles liés à la détection des écarts dans les
courbes de charge des clients.
. Vol de l’électricité
Aujourd'hui, le vol d'énergie est un problème mondial qui contribue largement aux pertes de
revenus. Il coûte très cher à Sonelgaz, et les pertes se chiffrent chaque année en milliards de
dinars face aux différents types de fraude, l’entreprise module son combat entre le recours à
l’application de la loi face à des pratiques ostensiblement malhonnêtes et la mise en œuvre de
solutions adaptées aux situations sur le terrain.
. . Le compteur d’énergie électrique
Un compteur d'énergie est un appareil qui mesure la quantité d'énergie électrique fournie à un
client résidentiel ou commercial. Ensuite l'unité la plus courante de mesure réalisée par un
compteur est le kilowatt /heure, qui est égale à la quantité d'énergie utilisée par une charge d'un
kilowatt en une heure [38].
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 13
Les premiers compteurs, construits il y a une centaine d’années, étaient électromécaniques, sur
la base de systèmes à pendules relativement complexes ou ayant de petits moteurs électriques.
Aujourd’hui, les compteurs à courant alternatif sont encore en immense majorité
électromécaniques, en particulier pour le comptage dit résidentiel, dans les foyers domestiques.
Cependant, la technologie électronique a remplacé la technologie électromécanique pour toutes
les applications ayant un caractère plus complexe et à exigence de précision plus élevée.
. . Principes de mesure des compteurs monophasés
L’énergie active dans un circuit électrique monophasé est obtenue en intégrant dans le temps le
produit des valeurs instantanées de la tension U aux bornes de ce circuit et du courant I y
circulant. Cela correspond à l’application de la formule 39 :
∫ ( ) ( )
Un compteur d’énergie active monophasé comporte donc un dispositif multiplicateur complété
d’un dispositif intégrateur. Ces dispositifs seront très différents selon la technologie utilisée.
Dans un compteur électromécanique Figure I.2, la multiplication sera faite par un moteur dont la
vitesse sera proportionnelle à la tension d’une part et à l’intensité d’autre part et l’intégration est
réalisée directement par le dispositif indicateur. Dans un compteur électronique acquisition,
multiplication, intégration et affichage seront réalisées par des circuits électroniques analogiques
ou numériques [40].
Figure I.2 : Le compteur électromécanique mono phase
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 14
Un compteur électronique devra donc réaliser un certain nombre de fonctions, telles que
l’acquisition, multiplication, intégration, traitement des mesures, mémorisation, sommation. Le
principe de fonctionnement d’un compteur électronique peut être représenté par le schéma bloc
de la figure I.3 qui montre la configuration la plus complète pour les diverses fonctions utilisées.
Selon la technologie employée pour le compteur, certaines fonctions pourront être regroupées :
c’est le cas, par exemple de certains types de multiplicateurs qui travaillent directement à partir
des signaux de tension et de courant et ne nécessitent donc pas de circuits d’acquisition de ces
données [39].
En fait, les compteurs électroniques peuvent utiliser deux sortes de technologie à savoir, soit une
technologie dite « électronique analogique », soit une technique dite « électronique numérique »,
soit encore une combinaison des deux.
. . Piratage de l’énergie électrique
En raison de l'augmentation du coût de l'électricité et la difficulté de paiement, le vol d'énergie
devient une préoccupation majeure pour les compagnies de l’électricité à travers le monde. La
grande partie de ces pertes de recettes peut être récupérée par l'installation des compteurs
d'énergie électroniques, car ils peuvent détecter les différents types de fraude. Cette section décrit
les différentes techniques de manipulation utilisées par les fraudeurs.
. . .1 Connexion normale et avec un neutre artificiel
Un défaut de terre signifie que certaine de la charge a été connecté à un autre potentiel de la terre
et non pas sur le fil neutre. La figure I.4 montre une connexion normale de la charge au
compteur. Ou note que le courant passe à travers le fil de phase est la même que sortant du fil
neutre (IP = IN) [41].
Figure I.3 : diagramme simplifié d’un compteur électronique
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 15
La figure I.5 montre une installation qui utilise un neutre artificielle (NA) où l'une des charges
est reliée à la masse et donc une partie du retour du courant I2 ne passe pas par le compteur.
Ainsi, le courant dans le fil de neutre IN, est inférieur à celle de la phase (IP).
. . . Inversion du sens du courant
Le Courant inverse se produit lorsque la phase et le neutre ne sont pas reliés exactement,
provoquant le passage du courant dans la direction opposée à la normale. La figure I.6 montre la
connexion malhonnête.
. . . Absence du neutre
La méthode plus commune de manipulation est illustrée à la figure I.7. Le vol se fait par
l’utilisation d’un autre neutre différent au neutre du compteur d’énergie. Avec le neutre
déconnecté, il n'y a pas de tension d'entrée et donc pas de sortie générée par l'alimentation.
. . . Les interférences magnétiques
Les Compteurs d’énergie qui utilisent de matériau magnétique dans les circuits de mesure de
tension et de courant sont affectés par l’influence du champ magnétique crée par l’extérieure. Par
exemple, l'utilisation d'un aimant puissant pour changer l'intensité du courant introduit des
erreurs importantes dans la mesure. L'idée est de saturer le noyau des capteurs ou de fausser le
flux dans le noyau alors que l’enregistrement est erroné.
Figure I.4 : Connexion normal de la charge
avec le compteur d’énergie
Figure I.5 : Connexion mixte entre normal et
avec une neutre artificielle
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 16
. . . La mise hors tension du compteur d’énergie électrique
Le Compteur peut être mis hors tension en retirant toutes les connexions de tension.
. . . Le by-pass du compteur d’énergie électrique
Il y a plusieurs façons de by passé un compteur d'énergie. La façon la plus commune est de
mettre un cavalier (Figure I.8) dans le compteur tel que la connexion est court-circuité et la
consommation d'énergie n'est pas enregistrée. Ce type de dérivation de compteur peut être
facilement détecté. Un autre type de dérivation du compteur est le branchement de la charge en
amant du compteur.
. . . Le vol d’énergie électrique avec une double alimentation
La figure I.9 montre encore une autre technique de fraude pour by passé le compteur où une
alimentation supplémentaire est connectée directement à la ligne, de sorte que la consommation
n'est pas enregistrée. Habituellement, l'alimentation supplémentaire est faite pour brancher des
appareils puissants tels que les climatiseurs .Les autres charges comme la lumière, sont
branchées normales (les bornes destinées pour la charge) afin que la compagnie d'électricité ne
soit pas suspecte.
Figure I.6 : Inversement le sens de courant Figure I.7 : Absence du neutre
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 17
. Détection de la fraude de l’énergie électrique
La fraude en matière d’électricité consiste de manière générale, en toute tentative de soustraction
du courant du réseau électrique sans que la consommation soit officiellement comptabilisée. En
effet, plusieurs consommateurs d’énergie électrique font des installations pour éviter que toute
ou partie de l’énergie consommée ne soit pas enregistrée au compteur et donc facturée. La
Détection de la fraude dans le contexte actuel est défini comme, «le suivi du comportement des
clients (courbe de charge) afin d'estimer, de détecter ou éviter les comportements indésirables».
Le fournisseur d’énergie pour notre cas la Sonelgaz lutte contre le piratage de l’énergie
électrique, dans les scénarios extrêmes, toutefois, il est procédé à la suppression de la fourniture
en électricité ainsi qu’au recours à la justice par l’application de code pénal.
L’article ( ) du code pénal Algérienne intitulé Crimes et délits contre les biens de chapitre
III section I (Vols et extorsions) - Quiconque soustrait frauduleusement une chose qui ne lui
appartient pas est coupable de vol et puni d’un emprisonnement d’un ( ) an à cinq ( ) ans
et d’une amende de cent mille ( . ) DA à cinq cent mille ( . ) DA. La même peine
est applicable à la soustraction frauduleuse d’eau, de gaz et d’électricité [ ].
4. Les différentes techniques de détection de fraude
Les techniques les plus courantes de détection des fraudes signalées par les articles comprennent
les fouilles de données, les techniques d’intelligence artificielle et les méthodes statistiques.
Deux études complètes des techniques de détection de la fraude ont été rapportées dans [43, 44].
Figure I.8 Le by-pass du compteur
d’énergie
Figure I.9 La fraude avec une double
alimentation
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 18
Dans [44], Hodge et al ont présentés trois approches fondamentales en ce qui concerne les
problèmes de la détection des données aberrantes, qui sont comme suit:
. Non supervisé - Détermination des valeurs aberrantes sans aucune connaissance
préalable des données en utilisant la classification non supervisée. Dans [45 , Ferdousi et
al. Ont appliqué la détection des valeurs aberrantes non supervisée à une série
chronologique des données financières.
Semi-supervisé – La modélisation de la normalité seulement, ou pour quelques cas la
modélisation des anomalies, en utilisant la reconnaissance semi-supervisé ou la détection.
. supervisée - Modélisation la normalité et l'anormalité en utilisant la classification
supervisée des données pré-étiquetées.
Les trois grandes approches d’apprentissage automatique mentionnées ci-dessus
comprennent les cinq principales méthodes de détection des données aberrantes, à savoir:
Les méthodes statistiques ;
les méthodes de fonction de la distance ;
Les méthodes basées sur la densité ;
les méthodes basées sur la classification ;
Les méthodes à base de déviation.
Qui sont comme suit:
. La méthode statistique
Celle-ci est fondée sur l’identification des données aberrantes à l'aide d'un test de désaccord
qui suppose une distribution ou un modèle de probabilité pour les ensembles de données.
L'inconvénient majeur de cette approche est qu'elle est limitée à des dimensions des
échantillons, ce qui rend impropre à l'utilisation pour les problèmes des fouilles de données,
par ce que les bases de données les plus récentes sont multidimensionnelles 25, 46 .
. Les méthodes à fonction de la distance
La fonction de la distance a été introduite pour surmonter les inconvénients des méthodes
statistiques basées sur les méthodes de détection des données aberrantes. Dans [47 , Lozano
et al ont présentés un montage en parallèle de deux algorithmes de détection des données
aberrantes. L'algorithme de l'ancien employé du lambeau basé sur la distance, tout dernier
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 19
algorithme utilisant les données aberrantes fondé sur la densité. L'exception fondée sur la
distance était basée sur des boucles imbriquées, avec randomisation et l'utilisation d'une règle
de taille, tandis que les données aberrantes fondé sur la densité requise comprennent un
paramètre du nombre de voisins les plus proches utilisés pour définir le quartier de l'instance.
. Les méthodes basées sur la densité
Dans [47-48 , les approches basées sur la densité pour les données aberrantes minière avec
des densités différentes et de formes arbitraires ont été proposées. Les résultats obtenus ont
révélé que les méthodes proposées ont eu des améliorations importantes de la vitesse avec
une précision comparable sur l'état actuel de l'art basé sur la densité des approches de
détection des données aberrantes.
. Les méthodes basées sur la classification
Dans [49 , Ren et al a mis au point une méthode efficace de la classification à base de
détection des données aberrantes en utilisant un modèle de données verticales. Les résultats
empiriques obtenus ont révélé que cette méthode améliore la performance de la vitesse de
regroupement à cinq fois, par rapport à regroupement actuel des approches de détection des
données aberrantes.
. Les méthodes à base de déviation
La détection des données aberrantes à base de déviation est différente de celle des
algorithmes basé sur la densité et la classification. La méthode à base de déviation examine
les principales caractéristiques des objets dans le groupe. Deux techniques de déviation sont
rapportés dans la littérature ont été largement utilisés, à savoir:
La technique d’exception séquentielle ;
Le traitement analytique en ligne (OLAP).
Par ailleurs, les techniques utilisées pour détecter les données aberrantes peuvent être divisés en
deux grandes catégories, qui sont comme suit:
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 20
. Les techniques statistiques
Un examen de nouvelles approches statistiques utilisées pour la détection des données
aberrantes est présenté dans [50 . Dans [51 , Laurikkala et al a présenté un diagramme en
boîte informelle pour détecter les valeurs aberrantes uni variée directement dans les
domaines de la science médicale. Même si la technique employée est assez simple,
cependant, les résultats obtenus ont révélé que la précision de la classification a été
effectivement augmentée.
. Les techniques des Réseaux neurones artificiels
Une revue de nouvelles techniques de détection basée sur l'utilisation de réseaux de neurones
est présentée dans [52 . Ces dernières années, différentes applications ont porté sur
l'utilisation de réseaux neuronaux artificiels pour la détection de la fraude et les valeurs
aberrantes, qui comprennent les activités frauduleuses financiers.
La détection des données aberrantes a été étudiée dans le cadre de cette recherche, où on est
préoccupé par les approches les plus cruciaux dans les fouilles de données. Sur la base de les
littératures examinées dans le contexte actuel, il est indiqué que la variété des techniques de
détection [45-48, 53] a été utilisée pour détecter les données aberrantes. Les valeurs aberrantes
peuvent provenir d'un certain nombre de raisons, notamment: les défauts mécaniques, des
changements dans le comportement du système, un comportement frauduleux, l'erreur humaine,
l'erreur d'instrumentation, le bruit et les autres incohérences [45].
. Position du problème à résoudre
Sur la base de l’analyse de l’état de l’art effectuée, plusieurs techniques de fouille de données et
des études de recherche sur l'identification et la détection de la fraude dans le secteur de
l'électricité ont été examinés, notamment: les Rough Sets [54], les méthodes statistiques [55, 56],
les arbres de décision [57, 58], les réseaux de neurones artificiels (RNA) [59], Extreme Machine
Learning (ELM) [60], la statistique de détection des valeurs aberrantes [61], Knowledge
Discovery in Databases (KDDS) 62, 37 et l’extraction des caractéristiques par ondelettes avec
plusieurs classificateurs [63]. La plupart des études citées ci-dessus ont utilisé les techniques des
fouilles de données et les appliquant directement aux bases de données client.
A partir des articles examinés, on a constaté que, Jiang et al [63] ont employés les techniques
d'ondelettes avec une combinaison de plusieurs classificateurs pour identifier les clients suspects
Chapitre I Analyse statistique sur les pertes non techniques
FHC Mécatronique 21
de fraude dans un réseau de distribution d'électricité. La technique d'ondelettes a été choisie par
rapport aux méthodes classiques pour l'extraction de caractéristiques, en raison des propriétés de
multi-résolution de localisation. Les ondelettes permettent d'obtenir des résultats avec plus de
précision. Par ailleurs, dans [54] les Rough Sets et dans [57, 58] Les arbres de décision ont été
utilisées pour la classification des clients des services publics d'électricité. En outre, les méthodes
statistiques dans [55, 56] ont également été utilisés afin de minimiser les PNT dans les réseaux
de distribution d'électricité. Il y avait également des études effectuées à l'aide des RNA [59], la
statistique de détection des données aberrantes [61], et plus récemment développés ELM [60], où
toutes les études ont présenté différentes approches utilisant un cadre général qui avait des bases
de données client comme données d'entrée.
L’objectif principale de cette étude, est d’utiliser les séparateurs à vaste marge SVM (support
vector machine) pour l’identification et la détection des cas de fraude, tout en se basant sur
l’utilisation de la base des données clients (historique des indexes).
. Conclusion
Les objectifs fondamentaux des compagnies d'électricité sont de maximiser les recettes et
minimiser les coûts opérationnels, ce qui nécessite de résoudre les problèmes communs des
pertes. Ces dernières sont classées en qualité de pertes techniques et non techniques PNT. La
nécessité de minimiser et de réduire les PNT est essentielle pour les services publics, car ces
pertes contribuent au coût de l'électricité, qui est répercuté sur les clients des services publics. De
toutes les solutions actuellement disponibles, qui comprennent les enquêtes sur le terrain, la
supervision et le contrôle des installations et les compteurs d’énergie, l'étude actuelle vise à
d'utiliser les changements de comportement des clients c’est à dire l’évaluation de la courbe de
charge comme un moyen d'indicateur des activités qui contribuent à la fraude.
Chapitre II
Les séparateurs à vaste
marge
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 22
Introduction
Les Support Vector Machines souvent traduit par l’appellation de Séparateur à Vaste
Marge (SVM) sont une classe d’algorithmes d’apprentissage initialement définis pour la
discrimination c’est-à-dire la prévision d’une variable qualitative initialement binaire. Ils ont
été ensuite généralisés à la prévision d’une variable quantitative. Dans le cas de la
discrimination d’une variable dichotomique, ils sont basés sur la recherche de l’hyperplan de
marge optimale qui, lorsque c’est possible, classe ou sépare correctement les données tout en
étant le plus éloigné possible de toutes les observations. Le principe est donc de trouver un
classifieur, ou une fonction de discrimination, dont la capacité de généralisation (qualité de
prévision) est la plus grande possible [65].
Cette approche découle directement des travaux de Vapnik [66] en théorie de
l’apprentissage à partir de 1995. Elle s’est focalisée sur les propriétés de généralisation (ou de
prévision) d’un modèle en contrôlant sa complexité. Le principe fondateur des SVM est
justement d’intégrer à l’estimation le contrôle de la complexité c’est-à-dire le nombre de
paramètres qui est associé dans ce cas au nombre de vecteurs supports. L’autre idée directrice
de Vapnik dans ce développement, est d’éviter de substituer à l’objectif initial : la
discrimination, un ou des problèmes qui s’avèrent finalement plus complexes à résoudre
comme par exemple l’estimation non-paramétrique de la densité d’une loi
multidimensionnelle en analyse discriminante.
Cet outil devient largement utilisé dans de nombreux types d’application et s’avère un
concurrent sérieux des algorithmes les plus performants (agrégation de modèles). L’introduction
de noyaux, spécifiquement adaptés à une problématique donnée, lui confère une grande
flexibilité pour s’adapter à des situations très diverses (reconnaissance de formes, de séquences
génomiques, de caractères, détection de spams, diagnostics...). A noter que, sur le plan
algorithmique, ces algorithmes sont plus pénalisés par le nombre d’observations, c’est-à-dire le
nombre de vecteurs supports potentiels, que par le nombre de variables. Néanmoins, des versions
performantes des algorithmes permettent de prendre en compte des bases de données
volumineuses dans des temps de calcul acceptables [67].
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 23
1. Principe du SVM
. Notions de base
Le principe de base des SVM consiste de ramener le problème de la discrimination à celui,
linéaire, de la recherche d’un hyperplan optimal. Deux idées ou astuces permettent d’atteindre
cet objectif [68] :
La première consiste à définir l’hyperplan comme solution d’un problème d’optimisation
sous contraintes dont la fonction objectif ne s’exprime qu’à l’aide de produits scalaires
entre vecteurs et dans lequel le nombre de contraintes “actives” ou vecteurs supports
contrôle la complexité du modèle.
Le passage à la recherche de surfaces séparatrices non linéaires est obtenu par
l’introduction d’une fonction noyau (kernel) dans le produit scalaire induisant
implicitement une transformation non linéaire des données vers un espace
intermédiaire (feature space) de plus grande dimension. D’où l’appellation
couramment rencontrée de machine à noyau ou kernel machine. Sur le plan théorique,
la fonction noyau définit un espace hilbertien, dit auto-reproduisant et isométrique par
la transformation non linéaire de l’espace initial et dans lequel est résolu le problème
linéaire.
Pour deux classes d’exemples donnés, le but de SVM est de trouver un classificateur qui va
séparer les données et maximiser la distance entre ces deux classes. Avec SVM, ce classificateur
est un classificateur linéaire appelé hyperplan. Dans le schéma qui suit (figure II.1), on détermine
un hyperplan qui sépare les deux ensembles de points.
Figure II.1 : L’hyperplan séparateur
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 24
Les points les plus proches, qui seuls sont utilisés pour la détermination de l’hyperplan,
sont appelés vecteurs de support figure II.2.
Il est évident qu’il existe une multitude d’hyperplan valide mais la propriété remarquable des
SVM est que cet hyperplan doit être optimal figure II3. Nous allons donc chercher parmi les
hyperplans valides, celui qui passe au milieu des points des deux classes d’exemples. Nous
sommes amenés à chercher un hyperplan dont la distance minimale aux exemples
d’apprentissage est maximale. On appelle cette distance marge entre l’hyperplan et les exemples.
L’hyperplan Intuitivement, cela revient à chercher l’hyperplan le plus sûr. En effet, supposons
qu’un exemple n’ait pas été décrit parfaitement, une petite variation ne modifiera pas sa
classification si sa distance à l’hyperplan est grande. Formellement, cela revient à séparateur
optimal est celui qui maximise la marge. Comme on cherche à maximiser cette marge, on parlera
de séparateurs à vaste marge [69].
Figure II.2 : Les vecteurs de support
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 25
. Pourquoi maximiser la marge ?
Intuitivement, le fait d'avoir une marge plus large procure plus de sécurité lorsque l'on classe un
nouvel exemple. De plus, si l’on trouve le classificateur qui se comporte le mieux vis-à-vis des
données d'apprentissage, il est clair qu’il sera aussi celui qui permettra au mieux de classer les
nouveaux exemples. Dans le schéma qui suit figure II.4, la partie droite nous montre qu'avec un
hyperplan optimal, un nouvel exemple reste bien classe alors qu'il tombe dans la marge. On
constate sur la partie gauche qu'avec une plus petite marge, l'exemple se voit mal classe [70].
Figure II.3 : L’hyperplan optimal
Figure II.4 : La différence entre les hyperplans
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 26
. Formulations mathématiques du SVM
. Cas des données linéairement séparables
Pour bien décrire la technique de construction de l'hyperplan optimal séparant des données
appartenant à deux classes différentes, supposons que nous avons les données empiriques :
(x1; y1),..,(xi; yi). * +
La résolution d’un problème de séparation linéaire est illustrée par la figure II.5. Dans le
cas où la séparation est possible, parmi tous les hyperplans solutions pour la séparation
des observations, on choisit celui qui se trouve le plus “loin” possible de tous les
exemples, on dit encore, de marge maximale [71]. Dans le cas linéaire, un hyperplan est
défini à l’aide du produit scalaire de H par son équation :
〈 〉
Où w est un vecteur orthogonal au plan, tandis que le signe de la fonction indique de quel
côté se trouve le point x à prédire.
II-1
𝑓(𝑥) 〈𝑤 𝑥〉 𝑏
II-2
Figure II.5 : L’hyperplan séparateur dans le cas de données linéairement séparables
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 27
Plus précisément, un point est bien classé si et seulement si :
Mais, comme le couple (w; b) qui caractérise le plan est défini à un coefficient
multiplicatif prés, on s’impose :
Un plan (w; b) est un séparateur si :
La distance d’un point x au plan (w; b) est donnée par :
et, dans ces conditions, la marge du plan a pour valeur
‖ ‖ : Chercher le plan séparateur
de marge maximale revient à résoudre le problème quadratique ci dessous sous
contraintes (problème primal) :
Le problème dual est obtenu en introduisant des multiplicateurs de Lagrange. La solution
est fournie par un point-selle ( ) du lagrangien :
𝑦𝑓(𝑥) > II-3
𝑦𝑓(𝑥) > II-4
𝑦𝑖𝑓(𝑥𝑖) ≥ ∀𝑖 * … 𝑛+ II-5
𝑑(𝑥) 〈𝑤 𝑥〉 𝑏
‖𝑤‖ 𝑓(𝑥)
‖𝑤‖
𝑚𝑖𝑛𝑤
2 ‖𝑤‖
2
𝑎𝑣𝑒𝑐 ∀𝑖 𝑦𝑖(〈𝑤 𝑥〉 𝑏) ≥
𝐿(𝑤 𝑏 𝛼)
2‖𝑤‖2
2 − 𝛼𝑖
𝑛
𝑖=1
,𝑦𝑖(〈𝑤 𝑥〉 𝑏) − -
II-6
II-7
II-8
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 28
Ce point-selle vérifie en particulier les conditions de Karush-Kuhn-Tucker (KKT) [72], :
Les vecteurs support sont les vecteurs pour lesquels la contrainte est active, c’est-à-dire
les plus proches du plan, et vérifiant donc :
Les conditions d’annulation des dérivées partielles du lagrangien permettent d’écrire les
relations que vérifient le plan optimal, avec les non nuls seulement pour les points
supports :
Ces contraintes d’égalité permettent d’exprimer la formule duale du lagrangien :
Pour trouver le point-selle, il suffit alors de maximiser ( ) avec ≥ pour tout i
* … +. Ce dernier problème peut être résolu en utilisant des méthodes standards de
programmation quadratique. Une fois la solution optimale ( 1 …… ) du
problème (II-12) obtenue, le vecteur de poids de l’hyperplan à marge maximale recherché
s’écrit :
=1
𝛼𝑖 ,𝑦𝑖
(〈𝑤 𝑥𝑖〉 𝑏 ) − - ∀𝑖 * … 𝑛+ II-9
𝑦𝑖(〈𝑤 𝑥𝑖〉 𝑏
) II-10
𝑤 𝛼𝑖
𝑛
𝑖=1
𝑦𝑖𝑥𝑖 𝑒𝑡 𝛼𝑖
𝑛
𝑖=1
𝑦𝑖 II-11
II-12 𝑤(𝛼) 𝛼𝑖 −
2
𝑛
𝑖=1
𝛼𝑖
𝑛
𝑖 𝑗=1
𝛼𝑗𝑦𝑖𝑦𝑗〈𝑥𝑖 𝑥𝑗〉
𝑠𝑜𝑢𝑠 𝑦𝑖𝑖
𝛼𝑖
∀ 𝑖 * … 𝑛+ ≤ 𝛼𝑖
II-13
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 29
Comme le paramètre b ne figure pas dans le problème dual, sa valeur optimale peut être
dérivée à partir des contraintes primales, soit donc :
= 1(〈
〉) (〈 〉)
2
Il est à noter que les conditions de (KKT),(II-9) [72] impliquent que les sont nuls pour
les contraintes non saturées. Les éléments de l’échantillon d’apprentissage pour
lesquels les coefficients sont non nuls, sont appelés les vecteurs supports. Compte tenu
des conditions de KKT, ces vecteurs définissent à eux seuls la solution du problème ( II-7).
Ils constituent donc la partie active de l’échantillon d’apprentissage. Si un vecteur non
support est supprimé de l’échantillon d’apprentissage nous retrouvons la même solution
optimale que celle obtenue pour (II-7). Cette propriété rend les machines à vecteurs
supports très attractives car elles permettent d’extraire les éléments représentatifs de
l’échantillon d’apprentissage 72 .
Soit sv = {i {1, 2, . . . , n} : } l’ensemble des indices des vecteurs supports. Une
fois les paramètres et calculés, la règle de classification d’une nouvelle observation
x basée sur l’hyperplan à marge maximale est donnée par :
( ) (∑
〈 〉 )
. Cas des données linéairement non séparables
Dans la majorité des cas, les données d’apprentissage ne sont pas linéairement séparables.
Pour surmonter les inconvenients des cas non linéairement séparable, l’idee des SVM est
de changer l’espace des données. La transformation non linéaire des données peut
permettre une séparation linéaire des exemples dans un nouvel espace [73]. On va donc
avoir un changement de dimension. Cette nouvelle dimension est appele espace de re-
description.
En effet, intuitivement, plus la dimension de l’espace de re-description est grande, plus la
probabilite de pouvoir trouver un hyperplan separateur entre les exemples est elevée. Ceci
est illustré par le schema suivant :
II-14
II-15
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 30
On a donc une transformation d’un problème de séparation non linéaire dans l’espace de
représentation en un problème de séparation linéaire dans un espace de re-description de
plus grande dimension [74].
Géométriquement, cela reviendrait à avoir une (hyper)courbe qui marquerait la frontière
entre les exemples positifs et négatifs. Les fonctions de décision noyau (kernel en anglais)
ont été proposées pour pouvoir construire des algorithmes non-linéaire à partir
d’algorithmes linéaires en calculant le produit vectoriel non plus dans l’espace de re-
description est donc définie par une projection non-linéaire :
L’espace F ainsi obtenu est appelé espace des re-description ou aussi espace
caractéristiques.
Tout ce qu’il nous reste à faire c’est de résoudre le problème (II-12) dans l’espace F , en
remplaçant 〈 〉 par 〈 ( ) ( )〉. L’hyperplan séparateur obtenu dans l’espace F est
appelé hyperplan optimal généralisé.
Sous certaines hypothèses sur , le produit scalaire 〈 ( ) ( )〉 . peut se calculer
facilement à l’aide d’une fonction symétrique K, dite noyau, définie par :
( )=〈 ( ) ( )〉.
Figure II.6 : Transformation de cas non linéaire en cas linéaire par changement de l’espace
II-16
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 31
. Mesure de la similarité
D’une manière générale, il peut-être utile de savoir à quel point un exemple est similaire à
un autre. Pour faire cela, on utilise souvent en mathématique le produit scalaire qui
moyennant une normalisation, correspond au cosinus de l'angle entre deux vecteurs. n peut
définir une mesure de similarité dans le feature space :
( )=〈 ( ) ( )〉.
Pour calculer l'hyperplan optimal dans l’espace des re-description , il suffit de remplacer
toutes les occurrences du produit scalaire par le noyau. Plus généralement, tout algorithme
d'apprentissage accédant exclusivement aux exemples au travers du produit scalaire (ou
d'une grandeur qui en dérive) est dit kernelisable. Le produit scalaire lui -même peut être
vu comme un noyau dont la transformation est l'identité. Le produit scalaire peut être
très coûteux en temps de calcul étant donné que sa complexité est linéaire en la dimension
de F et que cette dernière peut être très élevée. Cet inconvénient peut rendre le calcul de
l'hyperplan optimal fastidieux. Remarquons que, si l'on peut déterminer une autre forme
plus économique pour la fonction noyau on peut se passer d'utiliser explicitement . En
effet, le résultat du produit scalaire étant un réel, une autre fonction à image dans IR peut
être utilisée.
. Condition de Mercer
La matrice contenant les similarités entre tous les exemples d’appretissage 75 :
(
11 12 … 1 21 22 … 2 … … …
1 2 …
)
est appelée matrice de Gram.
Définition :(Matrice définie positive) : Une matrice M de dimension n × n, dont les
éléments sont des réels, est définie positive SSI:
∀ ≥
II-18
II-17
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 32
Ce qui revient à exiger que toutes les valeurs propres de M soient positives.
Nous énonçons à présent le théorème de Mercer fournissant une condition suffisante et
nécessaire pour une fonction soit un noyau.
Théorème (Condition de Mercer) : La fonction : k(x; z) : X ×X IR est un noyau SSI:
. ( )/
=1
est définie positive possède les trois propriétés fondamentales du produit scalaire :
Positivité : ( ) ≥
Symétrie : ( ) ( )
Inégalité de Cauchy-Shwartz :| ( )| ≤ ‖ ‖ ‖ ‖
La condition de Mercer nous indique si une fonction est un noyau mais nous n'avons
aucun renseignement sur le mapping et donc sur l’espace des re-description induit par
ce noyau.
Exemple des fonctions noyon :
La solution s’exprime sous la forme : ( ) ∑ 〈 〉
Fonction de Kernel ( noyau)
Forme fonctionnelle
Commentaire
- Polynomiale
K(x,y)=( )
La puissance n est déterminée a
priori par l’utilisateur
Tableau. II.1 Les fonctions noyau les plus courantes avec leurs paramètres.
II-19
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 33
- Fonctions gaussiennes RBF
K(x,y)= .−‖ ‖
2 /
L’écart type 2 , commun à tous
les noyaux, est spécifié a priori
par l’utilisateur
- Fonctions sigmoïdes K(x,y)=tanh((a(x.y)-b)) Le théorème de Mercer n’est
vérifié que pour certaines valeurs
de a et b.
. Formulation de cas non linéairement séparables
La plupart du temps, les données d'apprentissage comportent du bruit (erreur d'acquisition,
erreur sur la catégorie ...). Par conséquent même s'il existe une relation linéaire entre les
données et leur catégorie, un classificateur linéaire pourrait commettre des erreurs [76].
On pourrait trouver une transformation de l’espace d’entrée induit par un noyau
suffisamment resserré qui rendrait les données linéairement séparables. Cependant, cela
reviendrait à apprendre le bruit des exemples et donc à perdre une grande partie du
pouvoir de généralisation (overfitting). Au lieu de cela, il paraît plus raisonnable
d'admettre que certains exemples (supposés bruités) soient mal classés par notre
classificateur. On appelle souvent ces exemples des points aberrants (ou outliers).
Du point de vue de notre problème primal, cela revient à relaxer la contrainte imposant
que tous les exemples soient bien classés. Pour ce faire, on va introduire ce que l'on
appelle des variables d'écart :
Pour assurer que le nombre d'outliers reste raisonnable, nous allons intégrer les variables
d'écart dans la fonction objective :
1
2‖ ‖2 ∑
=1
Où C est une constante.
Géométriquement, la variable d'écart divisée par ‖ ‖ , correspond à la distance
euclidienne prise perpendiculairement entre l'hyperplan canonique du côté de la catégorie
𝑦𝑖 (〈𝑤 𝑥𝑖〉 𝑏) ≥ − 𝜉𝑖 i * … 𝑛+.
𝜉𝑖 ≥ i * … 𝑛+.
II-20
II-21
Chapitre II Les séparateurs à vaste marge
FHC Mécatronique 34
de l'exemple et cet exemple. Notons que pour les exemples correctement classés, est
nul.
La constante C est souvent appelée la constante de trade-off, parce qu'elle permet
d'indiquer l'importance que l'on accorde aux erreurs commises sur l’ensemble
d’apprentissage par rapport au fait de maximiser la marge. Si on sait que les données
d'apprentissage sont très bruitées, on accordera davantage d'importance à la marge en
utilisant un C petit. Par contre, si l'intérêt se porte plutôt sur les résultats obtenus sur
l’ensemble d’apprentissage, on utilisera un C de grande valeur 77 .
La formulation du problème que nous avons présentée est souvent reprise sous la
dénomination de soft margin dans la littérature. Pour les mêmes raisons qu'en auparavant,
il est intéressant de dualiser le problème. Reprenons le primal:
( ) 1
2‖ ‖2 ∑
=1
Sous les con