Prévision hydrologique par réseaux de neuronesartificiels : état de l’art

Paulin Coulibaly, François Anctil et Bernard Bobée

Résumé: Les réseaux de neurones artificiels (RNA) constituent une nouvelle méthode d’approximation de systèmescomplexes, particulièrement utile lorsque ces systèmes sont difficiles à modéliser à l’aide des méthodes statistiquesclassiques. Une classe de modèles de RNA appelée perceptrons multicouches (PMC) a, ces dernières années, étéprivilégiée pour la prévision de phénomènes hydrologiques. La théorie et le langage connexionniste restent, malgrécette percée, encore peu connus de la communauté des hydrologues. Le premier objectif de cet article est de comblercette lacune. Les différentes architectures des RNA et leurs règles d’apprentissage sont décrites pour faciliter le choixjudicieux de leur application. Le second objectif est de comparer l’approche connexionniste avec les méthodesstochastiques classiques dans le contexte de la problématique de prévisions hydrologiques. Une comparaisonméthodologique des caractéristiques générales de la procédure de prévision est effectuée respectivement pour chaqueétape de mise en œuvre des modèles connexionnistes et stochastiques. Une synthèse des applications hydrologiquesrécentes est présentée et discutée en conclusion.

Mots clés: réseau de neurones artificiels, prévision hydrologique, modèle stochastique, perceptrons multicouches.

Abstract: Artificial neural networks (ANN) are a novel approximation method for complex systems especially usefulwhen the well-known statistical methods are not efficient. The multilayer perceptrons have been mainly used forhydrological forecasting over the last years. However, the connectionist theory and language are not much known tothe hydrologist communauty. This paper aims to make up this gap. The ANN architectures and learning rules arepresented to allow the best choice of their application. Stochastic methods and the neural network approach arecompared in terms of methodology steps in the context of hydrological forecasting. Recent applications in hydrologyare documented and discussed in the conclusion.

Key words: artificial neural networks, hydrological forecasting, stochastic models, multilayer perceptrons.

Coulibaly etal. 304

Introduction

Un réseau de neurones artificiels (RNA) est un assem-blage d’éléments de structure identique appelés cellules (ouneurones) interconnectées à l’instar des cellules du systèmenerveux des vertébrés. Chaque point de connexion (appelécoefficient ou poids) entre deux cellules joue le rôle d’unesynapse, l’élément principal d’interaction entre les neurones.Ces connexions ou poids synaptiques ont un rôle primordialdans le fonctionnement parallèle et adaptatif des neuronesd’où la notion de réseaux connexionnistes. La représentationmathématique du neurone introduite par McCulloch et Pitts

(1943) est illustrée par la figure 1. Chaque cellule reçoit desentrées sous forme vectorielle (X), effectue une somme pon-dérée (α), et génère à l’aide d’une fonction de transfert (G)linéaire ou non, un résultat réel (Y) de la forme :

[1] Y G WX b= +( )

où W = (wi,1, wi,2, …, wi,N) sont les poids du neuronei (oumatrice des poids),X = (x1, x2, …, xN) sont les entrées duneuronei (ou vecteur d’entrée),b est le biais du neurone, etα = (b + WX) est la somme pondérée des entrées appeléesentrées nettes ou potentiel du neuronei, et constitue l’argu-ment de la fonction de transfert (ou fonction d’activation)Gdu neuronei. La fonction d’activation non linéaire classiqueest la fonction sigmoïde inspirée par le neurone formel deMcCulloch et Pitts (1943), définie par :

[2] G( ) ( – )α α= − −1 1e

L’assemblage de plusieurs unités de base permet de formerdifférents types d’architectures (ou schémas d’intercon-nexions) de RNA. L’architecture ou la topologie desconnexions d’un réseau de neurones multicouches appeléperceptrons multicouches (PMC) est illustrée à la figure 2.Une couche est formée d’un ou de plusieurs neurone(s). Ladernière couche qui génère les sorties (ou résultats) finales

Can. J. Civ. Eng.26: 293–304 (1999) © 1999 CNRC Canada

293

Reçu le 27 mai 1998.Révision acceptée le 20 novembre 1998.

P. Coulibaly1 et F. Anctil. Département de génie civil,Université Laval, Sainte-Foy, QC G1K 7P4, Canada.B. Bobée.Chaire d’hydrologie statistique, Institut national derecherche scientifique, C. P. 7500, Sainte-Foy, QC G1V 4C7,Canada.

Les commentaires sur le contenu de cet article doivent êtreenvoyés au directeur scientifique de la Revue avantle 31 octobre 1999 (voir l’addresse au verso du plat supérieur).

1Auteur correspondant (tél. : (418) 656-2131, poste 3653; téléc. :(418) 656-2928; e-mail : Paulin.Coulibaly@gci.ulaval.ca).

du réseau est appelée couche de sortie. Toutes les autrescouches sont appelées couches cachées (Lippmann 1987;Hagan et al. 1996). Les RNA sont utilisés dans le domainedes sciences cognitives où l’on cherche à développer desmodèles capables de manifester des capacités d’apprentissageet d’adaptation à leur environnement (Blayo et Verleysen1996). Les deux concepts de base à l’origine des différentstypes de modèles neuronaux sont l’architecture et l’appren-tissage. L’intérêt de ces modèles réside dans leur capacitéd’apprendre des relations complexes à partir de données nu-mériques. Ce sont donc des méthodes numériques qui appar-tiennent au domaine des méthodes non paramétriques, en cesens qu’ils ne reposent pas sur un modèle (probabiliste) ex-plicite des données. Il a été également démontré qu’un ré-seau de neurones ayant une couche cachée et une fonctionsigmoïde est un « approximateur universel » (Irie et Miyake1988; Hornik et al. 1989; Cybenko 1989) en ce sens qu’ilpeut approximer toute fonction multivariable non linéaire etses dérivées avec une précision fixée, pourvu qu’il soit sou-mis à un apprentissage efficace. Ce potentiel d’approxi-mation est cependant difficile à exploiter, car il n’existe à cejour aucune méthodologie précise permettant de réaliseravec certitude l’approximation désirée pour un systèmedonné. C’est pourquoi le choix et l’application d’un modèleneuronal demeure un domaine de recherche très actif con-trairement aux modèles stochastiques classiques.

Cet article aborde d’abord le choix de l’architecture neu-ronale et des techniques d’apprentissage usuelles, puis rap-pelle la problématique de la prévision hydrologique avant decomparer sur le plan méthodologique l’approche neuronaleet les méthodes stochastiques. Ensuite, les deux dernierschapitres présentent, d’une part, quelques applications des

RNA à la prévision de séries temporelles de différentes na-tures et, d’autre part, la synthèse d’applications spécifiquesen hydrologie. Finalement une discussion est offerte en guisede conclusion.

Architecture et règles d’apprentissage

Définir l’architecture d’un RNA revient à faire un choixjudicieux du vecteur d’entrée, de la taille du réseau (ounombre total de couches et de neurones), de la structure duréseau (c.-à-d. le type d’interconnexion entre les couches deneurones) et des fonctions de transfert, sans disposer deprocédure standard (à présent). Le choix de la taille duréseau incombe à l’utilisateur. Il n’existe pas dans lalittérature d’éléments suffisants pour déterminer objective-ment le nombre de neurones requis pour résoudre un pro-blème donné. Les approches heuristiques proposées pardifférents auteurs (Hecht-Nielsen 1987; Baum et Haussler1989; Widrow et Lehr 1990; Zurada 1992; Murata et al.1994; Kohavi 1995; Jacobs et al. 1997; Rudolph 1997) sonttoutes expérimentales et ne s’appliquent qu’à des casparticuliers. La définition de la taille du réseau et de sastructure sont deux étapes difficiles de la construction d’unRNA (Rumelhart et al. 1986; Hassoum 1995), mais le choixde la structure du réseau reste plus facile à effectuer parcequ’il n’existe que deux formes principales de structure : laforme dite « feedforward » et la forme récursive avec« feedback ». Le réseau récursif (figure 3) peut être totale-ment ou partiellement bouclé (Elman 1990; Kasabov 1996)tandis que le réseau non bouclé (exemple du PMC, fig. 2) neprésente aucun « feedback » entre les neurones, il s’agit enfait d’un cas particulier de réseau bouclé où les poidsrécursifs sont nuls (White 1992; Giles et al. 1994). La struc-

© 1999 CNRC Canada

294 Can. J. Civ. Eng. Vol. 26, 1999

X1 wi,1

X2

XN wi,N

Entrées (X) Neurone i Sortie

bα G Y=G(α)

Fig. 1. Neurone artificiel à entrées multiples.

X b

Entrées biais couches cachées Couche de sortie

Y

Fig. 2. Architecture d’un réseau de neurones à trois couches.

ture du réseau est une caractéristique importante dans laclassification des RNA. C’est pourquoi la notion de structureest parfois utilisée comme synonyme d’architecture (Marenet al. 1990; Hertz et al. 1991). Plus de 190 architecturesdifférentes de RNA ont été étudiées ces dernières années(Prechelt 1996). Chaque architecture possède des particu-larités propres et peut servir à des applications spécifiques(Sarle 1994; Haykin 1994). Cependant, ces différences topo-logiques n’impliquent pas nécessairement celles des algo-rithmes utilisés.

L’apprentissage est une procédure adaptative par laquelleles connexions (ou synapses) des neurones sont ajustées faceà une source d’information (Hebb 1949; Grossberg 1982;Rumelhart et al. 1986). Il existe au moins 23 types de règlesd’apprentissage qui peuvent être regroupées en trois catégo-ries (Hassoum 1995) : les règles d’apprentissage supervisé,non supervisé, et renforcé. Mais l’objectif fondamentalde l’apprentissage reste le même : soit la classification,l’approximation de fonction ou encore la prévision (Weiss etKulikowski 1991). Dans l’optique de la prévision, l’appren-tissage consiste à extraire des régularités (à partir des exem-ples) qui peuvent être transférées à de nouveaux exemples.

La procédure usuelle dans le cadre de la prévision estl’apprentissage supervisé (ou à partir d’exemples) quiconsiste à associer une réponse spécifique désirée à chaquesignal d’entrée. La mise à jour des poids s’effectue progres-sivement jusqu’à ce que l’erreur (ou l’écart) entre les sortiesdu réseau (ou résultats calculés) et les résultats désirés soitminimisée. L’apprentissage renforcé est une technique simi-laire à l’apprentissage supervisé à la différence qu’au lieu defournir des résultats désirés au réseau, on lui accorde plutôtun grade (ou score) qui est une mesure du degré de perfor-mance du réseau après quelques itérations. Les algorithmesutilisant la procédure d’apprentissage renforcé sont surtoututilisés dans le domaine des systèmes du contrôle (White etSofge 1992; Sutton 1992).

L’apprentissage non supervisé consiste à ajuster les poidsà partir d’un seul ensemble d’apprentissage formé unique-ment de données. Aucun résultat désiré n’est fourni au ré-seau. Qu’est-ce que le réseau apprend exactement dans cecas? L’apprentissage consiste à détecter les similarités et lesdifférences dans l’ensemble d’apprentissage. Les poids et lessorties du réseau convergent, en théorie, vers les représenta-tions qui capturent les régularités statistiques des données(Fukushima 1988; Hinton 1992). Ce type d’apprentissage estégalement dit compétitif et (ou) coopératif (Grossberg1988). L’avantage de ce type d’apprentissage réside dans sagrande capacité d’adaptation reconnue comme une auto-organisation, « self-organizing » (Kohonen 1987). L’appren-tissage non supervisé est surtout utilisé pour la reconnais-sance des patrons, le traitement du signal et l’analysefactorielle.

Dans tous les cas, la procédure adaptative de mise à jourdes poids obéit essentiellement à un objectif : la rechercheanalytique du minimum de la fonction de coût (ou fonctiond’erreur) dans un espace multidimensionnel. Il existe deuxtechniques de recherche du minimum de la fonction d’erreur :la première est une technique de recherche du minimum lo-cal basée sur la méthode du gradient décroissant (Powell1977); la seconde est une recherche du minimum globalfondée sur des approches statistiques ou génétiques. Les al-

gorithmes d’apprentissage peuvent être classés suivant laprocédure d’apprentissage et la technique d’optimisation uti-lisée (tableau 1).

L’algorithme de rétropropagation (ARP) ou de propaga-tion arrière « backpropagation » est l’exemple d’appren-tissage supervisé le plus populaire à cause de l’échomédiatique de certaines applications spectaculaires telles quela démonstration de Sejnowski et Rosenberg (1987) dans la-quelle l’ARP est utilisé dans un système qui apprend à lireun texte. Un autre succès spectaculaire fut la prédiction descours du marché boursier (Refenes et al. 1994; Lee et al.1996) et plus récemment la détection de la fraude dans lesopérations par cartes de crédit (Dorronsoro et al. 1997).C’est également l’algorithme le plus utilisé en prévision.L’historique des publications montre que l’ARP a été décou-vert indépendamment par différents auteurs mais sous diffé-rentes appellations (Grossberg 1998). Au départ, l’ARPstandard a été conçu pour l’apprentissage du PMC, mais ilest maintenant utilisé dans différents types de RNA (Fahl-man 1989; Song 1992) et même pour l’apprentissage desmodèles hybrides « neuro-fuzzy » (Jang 1992; Lee et al.1996). Le principe de la rétropropagation peut être décrit entrois étapes fondamentales : acheminement de l’informationà travers le réseau; rétropropagation des sensibilités et calculdu gradient; ajustement des paramètres par la règle du gra-dient approximé. Une présentation complète de l’ARP et sesvariantes est proposée par Hagan et al. (1996). Il est impor-tant de noter que l’ARP souffre des limitations inhérentes àla technique du gradient à cause du risque d’être piégé dansun minimum local. Il suffit que les gradients ou leurs déri-vées soient nuls pour que le réseau se retrouve bloqué dansun minimum local. L’ARP standard est également trop lentet très sensible aux variations du taux d’apprentissage, auxconditions initiales (poids et biais initiaux) et à la taille del’ensemble d’apprentissage (Rumelhart et al. 1986; Hinton1989). De nombreuses modifications ont été proposées pourréduire certaines de ces faiblesses (Hagan et al. 1996).

Problématique de la prévisionhydrologique

La prévision hydrologique est définie comme l’estimationdes conditions futures des phénomènes hydrologiques pourune période donnée, à partir des observations passées etactuelles (WMO 1994). Son objectif général est de fournirles meilleures estimations de ce qui peut arriver en un pointdonné à une date future précise (Hipel et McLeod 1994),contrairement à la prédiction qui vise l’estimation desconditions futures sans référence à un temps spécifique(Lettenmaier et Wood 1993). Par exemple, sit désigne le

© 1999 CNRC Canada

Coulibaly et al. 295

Y

X

Fig. 3. Réseau de neurones récursif avec un délai unitaire (D).

temps d’origine, le calcul de la prévision du débitQ d’unerivière au temps (t + L) est de la forme suivante :

[3] Q Q L e L G Q X et L t t t L t L t L+ + − + − += + =$ ( ) $ ( ) ( , , )1 1

où $ ( )Q Lt est la prévisionL pas de temps en avant, elle corres-pond à l’estimation deQt+L faite au tempst, $ ( )e Lt estl’estimation de l’erreur de prévisionet+L, G(.) est la fonctioncaractéristique du type de modèle utilisé pour l’estimationde Qt+L, et Xt+L–1 est la matrice des variables explicatives autemps (t + L – 1) telles que les précipitations, les températu-res, les hauteurs de neige. La méthode classique pour obtenirles meilleures prévisions possibles consiste à minimiserl’erreur de prévisionêt(L) qui est égale à :

[4] $ ( ) $ ( )e L Q Q Lt t L t= −+

Cela peut se faire de plusieurs façons : soit en minimisantl’erreur moyenne, l’erreur moyenne absolue, ou plus généra-lement l’erreur quadratique moyenne. Ce dernier critère estle plus utilisé parce qu’il amplifie les plus grandes erreurs deprévision. Finalement, on peut noter que les éléments carac-téristiques de la prévision sont : (i) la variable à prévoir etles variables explicatives (c.-à-d. l’ensemble des donnéesdisponibles), (ii ) l’horizon de prévision (p. ex.,L = 1, 2, …,k), (iii ) les méthodes de calcul ou d’estimation (c.-à-d. la na-ture de la fonctionG(.)), (iv) l’objectif de la prévision (alertede crue, planification de l’opération des réservoirs, des pro-jets d’irrigation ou de navigation,...), (v) et le type de résul-

tats désirés (valeurs numériques, graphiques, ou distributionde probabilités).

La prise en compte de tous ces éléments dans la résolutionde l’équation 3 constitue « la problématique de la prévisionhydrologique ». Du point de vue mathématique, deux typesd’approches ont été utilisés dans la prévision hydrologique :l’approche déterministe (ou conceptuelle) et l’approche em-pirique (ou stochastique).

L’approche déterministe est basée sur la simulation phy-sique du système. Le modèle déterministe suppose qu’uncalcul exact des paramètres est possible. Dans de nombreuxcas, cette hypothèse s’avère peu réaliste, car les phénomènesnaturels sont très aléatoires. Les modèles déterministes sontfinalement tous limités par le grand nombre de paramètres àmesurer et par les limites des connaissances actuelles dessystèmes naturels complexes.

L’approche stochastique permet de passer outre les limitesdes connaissances physiques du système. Elle prend seule-ment en compte l’aspect aléatoire des phénomènes. Contrai-rement aux modèles déterministes, les modèles empiriquesfonctionnent comme des « boîtes noires », c.-à-d. sans au-cune considération de la structure interne du système.Lorsque la fonctionG(.) (de l’équation 3) est une fonctionde régression linéaire, le modèle de prévision appartient à lafamille ARMA. Dans ce cas, la prévision se résume à uneestimation de la distribution de probabilité d’une observationfuture. Il s’agit en fait de l’espérance mathématique de cettedistribution de probabilité.

© 1999 CNRC Canada

296 Can. J. Civ. Eng. Vol. 26, 1999

Règles d’apprentissage Supervisé Non supervisé

Recherche du minimum local Règle du perceptron (Rosenblatt 1958) Règle d’Hebb (Changeux et Danchin 1976)W(k + 1) = W(k) + eXT W(k) = W(k – 1) + ρy(k)XT(k)

Règle de Widrow-Hoff (1960) Règle de Hinton (1989)

W(k + 1) = W(k) + α(t – y)kX k

X k

( )

( ) 2W(k) = (1 – γ)W(k – 1) + ρy(k)XT(k)

Règle d’Oja (1982)L’Algorithme de retropropagation (Werbos 1974) W(k + 1) = W(k) + ρy(k)X(k) – ρy(k)2W(k)

Wm(k + 1) = Wm(k) – ρsm(ym–1)T Règle de Yuille et al. (1989)

∂∂

= −$F

Ws y

mm m 1

W(k + 1) = W(k) + ρ(y(k)X(k) – W k( ) 2W(k))

sF

n

n

n

F

n

n

nm

m

m

m m

m

m= ∂

∂= ∂

∂

∂∂

= ∂∂

+

+

+$ $1

1

1

+sm 1

Règle de Hassoum (1995)

W k y k X k W kW k

( ) ( ) ( ) ( )( )

+ = − −

1 11ρ λ

Recherche du minimum global Technique d’adoucissement simuléAlgorithme de Métropolis et al. (1953) :

W X XE

E KT( )→ ′ =

<

−

1 0si

e autre

∆∆ ª

Règle de Geman et Geman (1984) :

T tT

t( )

ln=

+0

1

Algorithmes génétiques (Holland 1975; Goldberg1989)

Tableau 1. Exemples de règles d’apprentissage usuelles.

Du point de vue pratique, pour des prévisions à moyen età long termes, les composantes non linéaires des systèmeshydrométéorologiques et le nombre de variables explicati-ves prennent plus d’importance. Il est alors préférabled’explorer les modèles non linéaires tels que : TAR « thres-hold autoregressive models » (Tong 1983); MARS « multi-variate adaptive regression splines » (Friedman 1991);ASTAR « adaptive spline TAR » (Lewis et Stevens 1991);les modèles de régression polynomiale (Ivakhnenko 1971),de lissage exponentiel (Winters 1960) et les réseaux de neu-rones artificiels (Werbos 1974, 1981; Rumelhart et al. 1986).Cependant, parmi tous ces modèles alternatifs, seuls lesmodèles connexionnistes peuvent être non linéaires au ni-veau des paramètres (Sarle 1994). Il est donc important deconsidérer sérieusement l’approche connexionniste dans laproblématique de prévision hydrologique. Dans ce cas, lafonction G(.) peut être une fonction de régression non li-néaire, telle que la fonction sigmoïde généralement utiliséedans les modèles connexionnistes. La prévision des observa-tions futures résulte d’une interpolation et (ou) extrapolationà partir du « savoir » (ou connaissances) acquis par appren-tissage.

Dans les deux cas, il s’agit d’une inférence mathématiqueà partir des informations disponibles sur le phénomèneconsidéré. La qualité des données est donc un facteur déter-minant, quelle que soit l’approche prévisionnelle utilisée. Unautre problème caractéristique de la difficulté de la prévisionhydrologique est l’influence des facteurs météorologiquessur la dynamique des processus hydrologiques tels que ledébit d’une rivière. Une prévision robuste, c.-à-d. qui prenden compte toutes les corrélations disponibles et les interdé-pendances existant dans les séquences temporelles, est unetâche difficile mais stimulante du point de vue de la re-cherche. Le recours à des méthodes plus complexes tellesque les RNA constitue donc une alternative pleinement jus-tifiée et à privilégier.

Modèles à base des RNA versus modèlesstochastiques

Les quelques citations suivantes résument la grandecontroverse qui handicape présentement la comparaison ob-jective des approches connexionnistes et probabilistes :

« Neural network models provide a novel, elegant and ex-tremely rich class of mathematical tools for data analysis,

neural network learning methods have a lot to offer the fieldof statistics (White 1992).

Neural networks are little more than non-linear regressionand allied optimization method (Ripley 1993).

Like brains, neural networks recognize patterns we cannoteven define. Recognition without definition characterizesmuchintelligent behavior (Kosko 1992).

If artificial neural networks are intelligent, then many sta-tistical methods must also be considered intelligent (Sarle1994). »

Contrairement aux comparaisons des auteurs précités, uneprésentation comparative basée sur la procédure de prévisionen général, à partir d’un modèle connexionniste de typeperceptrons multicouches et d’un modèle stochastique detype ARMA est effectuée. Le tableau 2 résume les caracté-ristiques de chaque approche dans le cadre de la prévision.Le choix du modèle approprié est un problème inhérent àchaque approche : dans l’approche statistique, le choixdu modèle approprié dépend du type de données (sériesannuelles, mensuelles, hebdomadaires ou journalières) etde l’utilisation principale visée (prévision à court ou longterme, génération synthétique). L’approche méthodologiqueproposée par Box et Jenkins (1976) (identification, estima-tion, validation) laisse une place de choix au jugementsubjectif de l’utilisateur par rapport au choix d’un modèleparmi de nombreux candidats. Les approches alternatives(d’optimisation du choix) proposées par Akaike (1974),Parzen (1974), Schwarz (1978) sont en fait une recherched’expressions objectives pour justifier le jugement subjectifde l’utilisateur (Tong 1983). Un choix « subjectif justifié »est-il pour autant objectif? Ces techniques d’optimisation del’identification du modèle statistique adéquat ne font pasl’unanimité depuis leur apparition (Tong 1977; Cox 1981;Stone 1982). Cependant, dans de nombreux cas pratiques, lecritère d’information d’Akaike, « Akaike information crite-rion » (AIC), permet de faire simplement un des « bonschoix » de l’ordre du modèle. La faiblesse du critèred’Akaike est inhérente au fait qu’il repose fondamentale-ment sur la linéarité du modèle et ses hypothèses de base.

Par contre, le choix d’un modèle neuronal est indépendantdu type de données, mais très dépendant de la complexité duphénomène ou du système considéré. Le choix du modèleadéquat pour un problème donné demeure une questioncomplexe. De nombreuses méthodes heuristiques ont étéproposées pour optimiser l’identification du meilleur modèleneuronal, mais toutes ces approches méthodologiques sont

© 1999 CNRC Canada

Coulibaly et al. 297

Procédure générale de laprévision RNA (PMC) Modèles stochastiques (famille ARMA)

Construction du modèle Pas de méthode standard; Dépend del’utilisateur et du contexte et (ou) problème

Technique standard de Box et Jenkins (1976) :identification, estimation, validation

Conditions de base Données (pas de connaissances a priori) Données et hypothèses de bases (connaissancesa priori)

Fonctionnement mathématique Apprentissage (recherche de régularités) Régression linéaire (inférence mathématique)

Calcul des prévisions Interpolation et (ou) extrapolation (émulationdu système)

Espérance mathématique (de la distribution deprobabilité de l’observation future)

Tableau 2. RNA vs. modèles de régression linéaire : caractéristiques générales de la procédure de prévision.

expérimentales et s’appliquent à des cas spécifiques. Cer-tains auteurs affirment qu’il n’existe pas de méthode univer-selle pour l’identification a priori du meilleur modèleneuronal, parce que la complexité de chaque modèle estinhérente à celle du système considéré (Lippmann 1987;Burke 1996).

Finalement, le choix final du meilleur modèle demeure unproblème majeur non résolu dans les deux cas (statistique ouneuronal). Quels sont néanmoins les avantages relatifs dechaque approche en particulier pour les prévisions hydrolo-giques? Le potentiel et les limites des modèles stochastiquessont bien connus; par exemple, il a été démontré par Wei-gend et Gershenfeld (1994) que deux séries temporelles si-milaires peuvent être générées respectivement par deuxsystèmes différents, tels qu’un système linéaire sous in-fluence d’un processus stochastique externe (Ulam 1957) etun système déterministe (sans bruit) non linéaire; l’approchestochastique classique est incapable de distinguer ces deuxprocessus. L’approche neuronale se situerait-elle alors à lalimite de la représentation markovienne? Quel est leur po-tentiel réel dans le cadre de la problématique de prévisionshydrologiques? Les résultats des différentes applications desRNA, à la modélisation des séries temporelles en général età la prévision hydrologique en particulier, sont présentés res-pectivement aux chapitres suivants.

Prévision des séries temporelles

La prévision des séries temporelles est un problèmeparticulier qui implique le traitement d’échantillons évoluantdans le temps. L’une des premières applications dans cedomaine remonte à Hu (1964) qui a testé le réseau linéaireadaptatif (ADALINE) de Widrow et Hoff (1960) pour laprévision météorologique. Ensuite, Werbos (1974, 1981) etLapedes et Farber (1987) ont utilisé respectivement l’ARPpour la prévision de séries temporelles de différentes na-tures. Weigend et al. (1990) ont comparé un PMC avec lemodèle TAR de Tong et Lim (1980) pour les prévisions desséries historiques des taches solaires. Les meilleurs résultatsde prévision sont obtenus par le PMC. De nombreuses autresétudes expérimentales portant sur la prévision des sériestemporelles sont proposées dans la littérature (Sharda etPatil 1990; Tang et al. 1991; Ginzberg et Horn 1992;Chakraborty et al. 1992; Lachtermacher et Fuller 1994;Connor et al. 1994; Cottrell et al. 1995; Haykin et Li 1995;Chng et al. 1996; Khotanzad et al. 1997; Roadknight et al.1997; Hansen et Nelson 1997).

D’un point de vue comparatif, c’est surtout la compétitionorganisée par Weigend et Gershenfeld (1994) à l’InstitutSanta Fe (New Mexico) qui a permis une première évalua-tion du potentiel des RNA pour la prévision de certaines sé-ries temporelles. Parmi les 14 modèles en compétition, lesmodèles connexionnistes ont montré de bonnes performan-ces. Les meilleurs résultats de la compétition sont obtenuspar un modèle à base de RNA, « time delay neural net-work », proposé par Wan (1994) pour la prévision à moyenterme d’une série temporelle générée par un faisceau laser. Ilest important de noter que pour un ensemble d’apprentissagede 1000 points, le modèle neuronal de Wan a utilisé 1105paramètres! Ce qui peut sembler « aberrant » pour un statis-ticien « parcimonieux », mais justifiable pour un connexion-

niste (Wan 1994). La compétition de Santa Fe a égalementpermis de constater que les RNA sont capables du meilleurcomme du pire. En effet, les meilleurs tout comme certainsdes pires résultats sont obtenus par des modèles conne-xionnistes. Celas’expliquerait par les risques d’égare-ment dansl’exploitation du potentiel des RNA (Weigend etGershenfeld 1994). Il est important de remarquer qu’aucunedes applications ne portait sur un phénomène hydrologiquequelconque.

Prévision hydrologique par réseaux deneurones artificiels

Les applications des modèles connexionnistes déjàréalisées dans le domaine hydrométéorologique concernent :la classification des données hydrologiques, la prévision desdébits des rivières (crues et étiages), l’évaluation et laprévision de la qualité de l’eau, la prévision de laconsommation d’eau, l’estimation des précipitations, laprévision des apports naturels aux réservoirs d’irrigation oude production hydroélectrique. À la fin de l’année 1997, unetrentaine d’articles portant sur l’application des RNA à lagestion des ressources en eau ont été publiés. Une despremières applications fut celle de la prévision de lademande en eau de la ville de Camberra en Australie(Daniell 1991). Le modèle neuronal utilisé est un PMC avec5 variables d’entrées, 7 neurones sur la couche cachée, et 1neurone de sortie d’où la notation RNA(5, 7, 1).L’apprentissage est effectué à l’aide de l’ARP standard. Lesrésultats obtenus sont comparés à ceux d’un modèle derégression linéaire. L’auteur remarque que la tolérance dumodèle neuronal aux lacunes et aux erreurs liées auxdonnées est excellente par rapport à celle du modèlerégressif. Il en conclut que l’optimisation des procéduresd’apprentissage et de configuration des RNA constitue undomaine de recherche attractif et d’avenir pour lamodélisation hydrologique. Ensuite, d’autres applications àla prévision de la consommation d’eau ont mené à desrésultats jugés satisfaisants (Cubero 1991; Zhang et al.1994). L’objectif de Zhang et al. (1994) était de prévoir avecune grande précision la demande quotidienne d’eau d’unegrande ville. Le RNA(5, 5, 1) utilisé contient cinq variablesd’entrées qui sont : les prévisions météorologiques (tempéra-ture maximale journalière, précipitations, et climat), le jourde la semaine et la consommation du jour précédent. Lesrésultats obtenus en terme d’erreur relative moyenneindiquent que les prévisions du modèle neuronal sont plusprécises que celles obtenues respectivement par un modèlede régression multiple, un modèle ARIMA, et un modèle defiltre de Kalman.

Dans la perspective d’augmenter la capacité d’adaptabilitédu modèle neuronal aux changements brusques de condi-tions, Muster et al. (1994) ont couplé le modèle neuronal àun système de logique floue. Le modèle hybride qui en ré-sulte est appelé « neuro-fuzzy system » et a été appliquépour la prévision des prises d’eau au fleuve Ruhr en Alle-magne. Les résultats obtenus par le modèle hybride sont peudifférents de ceux obtenus par trois autres modèles : un mo-dèle de régression multiple, un PMC avec l’ARP standard etun système de logique floue. Les auteurs expliquent la faible

© 1999 CNRC Canada

298 Can. J. Civ. Eng. Vol. 26, 1999

capacité d’adaptabilité du modèle « neuro-fuzzy » parl’insuffisance de données.

Par la suite, la moitié des applications hydrologiquesconcernent les prévisions des débits, crues et étiages des ri-vières. Karunanithi et al. (1994) ont appliqué le réseau encascade, « cascade network », utilisant l’algorithme dit de« cascade-correlation » (Fahlman et Lebiere 1990) pour laprévision des débits de la rivière Huron dans l’état du Mi-chigan. L’algorithme de « cascade-correlation » a l’avantagede modifier la topologie du modèle lors de l’apprentissage.Les données hydrologiques utilisées sont les débits journa-liers observés sur 13 ans (1960–1972). Dans un premier mo-dèle, les variables d’entrées sont les débits des joursj-5 à j-1(j étant l’horizon de prévision), tandis que pour le secondmodèle, les variables d’entrées sont les moyennes mobilesdes débits des joursj-5 à j-1. Ces deux modèles sont calibrésà l’aide de 11 ans d’observations et validés sur 2 ans. Les ré-sultats de ces deux modèles neuronaux sont comparés à ceuxd’un modèle de puissance (Chow 1964). Les valeurs del’erreur quadratique moyenne pour la période de test indi-quent que les modèles neuronaux sont de meilleurs prédic-teurs que le modèle de puissance. La comparaison deserreurs relatives indique que les modèles neuronaux sontsurtout meilleurs pour la prévision des débits de pointe.L’analyse de la taille du réseau montre que l’algorithme de« cascade-correlation » est capable d’adapter la complexitédu RNA à celle de l’ensemble d’apprentissage. Cette étude aaussi le mérite de montrer que l’utilisation des débits du jourj-5 à j-1 comme entrées du RNA est meilleure à celle des dé-bits moyens dej-5 à j-1.

Une autre étude significative a été réalisée par Hsu et al.(1995). Ces auteurs ont proposé une procédure nomméeLLSSIM pour « linear least squares simplex » pour uneidentification automatique des paramètres du RNA. Troismodèles neuronaux identifiés à l’aide de la techniqueLLSSIM sont comparés à deux autres modèles de prévisionsclassiques : ARMAX (modèle autorégressif à moyenne mo-bile avec variables exogènes), SAC-SMA « Sacramento soilmoisture input model », U.S. National Weather Service). Lesdonnées hydrologiques (pluies–débits journaliers) utiliséessont celles du « Leaf river basin » dans le Mississipi. En uti-lisant une seule année hydrologique pour la calibration desdifférents modèles (ARMAX, SAC-SMA, RNA) et 5 annéespour leur validation, les résultats obtenus accordent les meil-leures performances aux RNA aussi bien pour la calibrationque pour la validation. De même, en calibrant les modèlessur 5 ans et en les validant sur 1 année, les meilleurs résul-tats sont obtenus par les RNA. Cependant, dans les deux cas,les « meilleurs résultats » obtenus par les modèles neuro-naux sont variables de bon à mauvais : la prévision des dé-bits de pointe est bonne, mais celle des périodes de recessionest mauvaise. Ces résultats sont néanmoins meilleurs queceux obtenus par les modèles ARMAX et SAC-SMA pources mêmes périodes. Cette étude indique que lorsque trèspeu de données sont disponibles, le modèle neuronal seraitpréférable au modèle ARMAX pour la prévision des débits.Par contre, une bonne application du modèle SAC-SMA né-cessiterait au moins 8 années d’observations.

De nombreuses autres applications des PMC à la modéli-sation des relations pluie–débits et à la prévision des cruesont été proposées ces dernières années (Buch et al. 1993;

Crespo et Mora 1993; Liong et al. 1994; Zhu et Fujita 1994;Smith et Eli 1995; Dimopoulos et al. 1996; Zhang etTrimble 1996; Asaad 1997; Huttunen et al. 1997; Clair etEhrman 1998; Thirumalaiah et Deo 1998). Le PMC a été ré-cemment classé comme outil de prévision des débits (Fortinet al. 1997), cependant les applications se sont diversifiées.

Une application originale a également été réalisée dans ledomaine de la simulation hydraulique : Dartus et al. (1993)ont utilisé un réseau à trois couches cachées ayant 10 neuro-nes chacune pour simuler la propagation d’une onde (ou hy-drogramme) de crue dans un canal. Quatre variablesd’entrées sont utilisées : le temps de départ, le temps du dé-bit de pointe, le temps de la fin de crue, et le débit de pointe.Un ensemble d’apprentissage constitué de 1000 exemplesd’hydrogrammes et une base de test de 200 exemples sontutilisés respectivement pour la formation et la validation dumodèle. Les résultats de simulations sont comparés à ceuxd’un modèle de référence de type Muskingum–Cunge. Lesrésultats du RNA(4, 10, 10, 10, 1) utilisé montrent une er-reur moyenne et maximale de 6 et 15% par rapport aux ré-sultats du modèle de référence. Les auteurs conclurent queces résultats sont très prometteurs quant à l’application desmodèles neuronaux dans les simulations hydrauliques fonc-tionnant en temps réel, telles que la gestion automatisée desréseaux d’assainissement, la régulation des débits en périodede crue. Une autre application singulière est la classificationdes données hydrologiques effectuée par Liang et Hsu(1994).

La prédiction de la qualité de l’eau représente environ20% des applications des RNA en hydrologie. Maier etDandy (1996) ont utilisé un PMC avec l’ARP standard pourla prévision (2 semaines en avant) du degré de salinité del’eau de la rivière Murray en Australie. Les données utiliséessont les mesures journalières du degré de salinité prises àneuf endroits de la rivière ainsi que les débits journaliersobservés à trois points pendant 6 ans (1986–1992).L’apprentissage du réseau est effectué à l’aide de 5 ansd’observations et la validation est faite sur les données de ladernière année. Au départ, un modèle RNA(141, 90, 30, 1)est utilisé, ensuite quatre autres modèles correspondant àquatre ensembles d’apprentissage sont explorés, finalement,le meilleur modèle retenu (en terme de parcimonie) est detype RNA(51, 45, 15, 1). L’analyse de sensibilités proposéepar les auteurs a permis une réduction du nombre de varia-bles d’entrées de 141 à 51, du temps d’apprentissage de 135à 30 min, et une amélioration des prévisions de 7,5 à 6,4%en terme de pourcentage d’erreur moyenne absolue. Lesauteurs conclurent qu’un choix judicieux de l’ensembled’apprentissage permet de réduire la taille du réseau etd’améliorer sa performance.

Dans le domaine de la prévision des paramètres de qualitéde l’eau, différentes études expérimentales ont été réaliséesavec des résultats relativement satisfaisants (Lam et Swayne1996; Bastarache et al. 1997; Maier et Dandy 1997; Zhanget Stanley 1997; Wen et Lee 1998; Clair et Ehrman 1998).

Seulement 10% des applications recensées concernent laprévision des apports naturels dans les réservoirs hydroélec-triques. Une des premières applications fut celle de Saka-kima et al. (1992). Ensuite, Saad et al. (1996) ont comparéun modèle RBF « radial basis function », un PMC etl’analyse en composante principale (ACP) pour la prévision

© 1999 CNRC Canada

Coulibaly et al. 299

des apports naturels transformés en énergie potentielle. Lesmeilleurs résultats en terme d’erreur relative sont obtenuspar le PMC et le modèle RBF. Cependant les auteurs notentque le modèle RBF est 16 fois plus rapide en temps de cal-cul que le PMC. Une autre étude expérimentale a été réa-lisée par Coulibaly et al. (1996) pour la prévision à courtterme des apports naturels printaniers au réservoir du bassinversant Chute du Diable (au Québec). Un premier modèleRNA(14, 14, 7, 1) a été identifié par la méthode classiquedite « trial and error method », puis un second modèleRNA(14, 9, 7, 1) a été identifié à l’aide d’une méthode heu-ristique basée sur la règle de Widrow et Lehr (1990). Lesvariables d’entrée utilisées sont : le débit du jourj, la tempé-rature maximale, minimum et moyenne du jourj, la hauteurde précipitation liquide des joursj à j-4, et la lame ruisseléepar fonte des neiges des joursj à j-4. Les données hydromé-téorologiques de 1964 à 1992 sont utilisées pour l’appren-tissage des modèles, les prévisions sont effectuées enutilisant une série de 3 ans (1993–1995). Les résultats deprévision indiquent que le modèle RNA(14, 9, 7, 1) identifiépar la nouvelle technique est plus performant que le modèleRNA(14, 14, 7, 1) obtenu par la méthode classique. La pré-vision des pointes de crue est satisfaisante, mais les longuespériodes de récession sont moins bien prévues par les deuxmodèles. Plus récemment, Coulibaly et al. (1998) ontcomparé un modèle neuronal récursif et un PMC tous deuxutilisant l’algorithme LMBP « Levenberg Marquardt back-propagation » et un modèle autorégressif (AR) pour la prévi-sion en temps réel d’une série d’apports énergétiquesagrégés. Cette étude montre le potentiel des modèles récur-sifs pour la prévision des séries à fortes variations temporel-les.

Les RNA ont été également appliqués à l’estimation de ladistribution spatio-temporelle des précipitations (French etal. 1992; Chen et Takagi 1993; Xiao et Chandrasekar 1997;Zhang et. al. 1997; Tsintikidis et al. 1997; Hsu et al. 1998).Parmi les plus récentes études, celles de Xiao et Chandrase-kar (1997) et Zhang et al. (1997) montrent l’avantage desPMC par rapport aux méthodes paramétriques d’estimationdes mesures de pluie radar proposées par Marshall et Palmer(1948), Gorgucci et Chandrasekar (1995). Le PMC, utilisépar Tsintikidis et al. (1997) pour l’estimation des précipita-tions à partir des données satellitaires, performe mieux quele modèle de régression logarithmique. Présentement,l’approche neuronal est au cœur de la recherche sur les tech-niques de validation des mesures de pluie radar et satellitai-res. Les résultats préliminaires obtenus par le modèlePERSIANN « precipitation estimation from remotely sensedinformation using artificial neural networks » en développe-ment à l’Université d’Arizona sont très encourageants (Hsuet al. 1998). Une bonne estimation de la distribution spatio-temporelle des précipitations serait un atout capital pour laprévision des débits et crues des rivières et l’évaluation dubilan hydrologique des grands bassins versants.

Discussion et conclusion

Les modèles stochastiques linéaires ne constituent unchoix utile que si les autocovariances sont considéréescomme des caractéristiques importantes. Dans le cadre de laprévision hydrologique, l’autocovariance est une caractéris-

tique importante seulement pour des prévisions à courtterme et pour des séries stationnaires. Ces modèles sontdonc inadéquats pour des séries présentant de larges varia-tions d’amplitude à des périodes irrégulières, des sériesirréversibles dans le temps, des séries à forte cyclicité. Il estdonc souvent nécessaire d’utiliser des méthodes de régressionnon linéaire. Du point de vue théorique, le PMC peut êtreconsidéré comme un équivalent du modèle NAR « nonlinearautoregressive » à la seule différence que le modèleconnexionniste peut être non linéaire au niveau desparamètres (Sarle 1994). Pour des prévisions à moyen et àlong terme, les composantes non linéaires des systèmeshydrométéorologiques et le nombre de variables explicativesprennent plus d’importance, ce qui expliquerait la bonneperformance des PMC dans plus de 90% des cas d’étudescomparatives. La non stationnarité des champs de pluie ainsique la complexité des processus physiques responsables desdébits et apports naturels empêchent le respect rigoureux deshypothèses de base des méthodes statistiques. L’approcheneuronal ne pose aucune hypothèse restrictive, maisl’identification d’une architecture appropriée pour lesdonnées disponibles demeure une tâche difficile à cause del’absence d’une méthodologie précise. Les différentesapproches méthodologiques existantes sont toutes expéri-mentales et s’appliquent essentiellement à des cas parti-culiers. Cependant, dans le cadre de la prévision, il semblepréférable de rechercher des algorithmes adaptatifs capablesde modifier la topologie du réseau lors de l’apprentissage.Le bon choix de l’ensemble d’apprentissage semble être l’undes meilleurs moyens d’améliorer la capacité de généra-lisation du modèle neuronal.

De nombreuses études expérimentales ont démontré le po-tentiel des RNA pour la prévision de certaines séries tempo-relles. Mais dans 95% des cas d’application en prévisionhydrologique, seuls des réseaux non bouclés « feedforward »de type PMC ont été utilisés avec généralement l’ARP stan-dard. Les PMC constituent un cas particulier des réseaux ré-cursifs. Des architectures plus complexes telles que lesréseaux récursifs adaptatifs et les réseaux modulaires présen-tent un réel potentiel pour les systèmes dynamiques et mêmepour des processus chaotiques (Haykin et Li 1995; Deco etSchürmann 1997). Il est donc important d’explorer ces ap-proches dans le cadre de la prévision hydrologique pour arri-ver à (i) une évaluation complète du potentiel de l’approcheconnexionniste, et (ii ) à une comparaison plus réaliste avecles approches classiques.

Remerciements

La réalisation de cette étude a été possible grâce à la sub-vention du Conseil de recherches en sciences naturelles et engénie du Canada, accordée au second auteur. Les auteurstiennent aussi à remercier les deux réviseurs anonymes pourleurs commentaires et suggestions qui ont permis d’améliorerla qualité de cet article.

Bibliographie

Akaike, H. 1974. A new look at the statistical model identification.IEEE Transactions on Automatic Control,19(6) : 716–723.

© 1999 CNRC Canada

300 Can. J. Civ. Eng. Vol. 26, 1999

Asaad, Y.S. 1997. Application of neural network technique to rain-fall-runoff modelling. Journal of Hydrology (Amsterdam),199 :272–294.

Bastarache, D., El-Jabi, N., Turkkan, N., et Clair, T.A. 1997. Pre-dicting conductivity and acidity for small streams using neuralnetworks. Revue canadienne de génie civil,24 : 1030–1039.

Baum, E., et Haussler, D. 1989. What size net gives valid generali-zation? Neural Computation,1(1) : 151–160.

Blayo, F., et Verleysen, M. 1996. Les réseaux de neurones artifi-ciels. Que Sais-Je. 1ère éd. Presses Universitaires de France,Paris, France.

Box, G.E.P., et Jenkins, G.M. 1976. Time series analysis: forecas-ting and control. 2e éd. Holden-Day, San-Francisco, Californie.

Buch, A.M., Mazumdar, H.S., et Pandey, P.C. 1993. Application ofartificial neural networks in hydrological modeling: a case studyof runoff simulation of a himalayan basin. Proceedings of theInternational Joint Conference on Neural Networks, Vol. 1,pp. 971–974.

Burke, H.B. 1996. Statistical analysis of complex systems in bio-medicine.DansLearning from data. Lectures notes in statistics.Éditeurs: D. Fisher et H.S. Lenz. Springer-Verlag,112 : 251–258.

Chakraborty, K., Mehrotra, K., Mohan, C.K., et Ranka, S. 1992.Forecasting the behavior of multivariate time series using neuralnetworks. Neural Networks,5 : 961–970.

Changeux, J.P., et Danchin, A. 1976. Selective stabilization of de-veloping synapses as a mechanism for the specification of neu-ral networks. Nature (London),264 : 705–712.

Chen, T., et Takagi, M. 1993. Rainfall prediction of geostationarymeteorological satellite images using artificial neural network.International Geoscience and Remote Sensing Symposium,3 :1247–1249.

Chow, D. 1964. Handbook of applied hydrology. Chap. 15.McGraw-Hill, New York.

Chng, E.S., Chen, S., et Mulgrew, B. 1996. Gradient radial basisfunction networks for nonlinear and nonstationnary time seriesprediction. IEEE Transactions on Neural Networks,7(1) : 190–194.

Clair, T.A., et Ehrman, J.M. 1998. Using neural networks to assessthe influence of changing seasonal climates in modifying dis-charge, dissolved organic carbon, and nitrogen export in easternCanadian rivers. Water Resources Research,34(3) : 447–455.

Connor, J.T., Martin, R.D., et Atlas, L.E. 1994. Recurrent neuralnetworks and robust time series prediction. IEEE Transactionson Neural Networks,5(2) : 240–254.

Cottrell, M., Girard, B., Girard, Y., Mangeas, M., et Muller, C.1995. Neural modeling for time series: a statistical stepwise me-thod for weight elimination. IEEE Transactions on Neural Net-works, 6(6) : 1355–1364.

Coulibaly, P., Ribeiro, J., et Rousselle, J. 1996. Identification demodèles neuronaux pour la prévision des apports naturels prin-taniers à Chute du Diable. Rapport de recherche, Départementde Génie Civil, École Polytechnique de Montréal, Montréal.

Coulibaly, P., Anctil, F., et Bobée, B. 1998. Real time neural net-work-based forecasting system for hydropower reservoirs. Pro-ceedings of the First International Conference on NewInformation Technologies for Decision Making in Civil Engi-neering, (Montreal, 1998), Vol. 2. École de Technologie Supé-rieure, Montréal. pp. 1001–1011.

Cox, D.R. 1981. Statistical analysis of time series: some recent de-velopments. Scandinavian Journal of Statistics,8 : 93–115.

Crespo, J.L., et Mora, E. 1993. Drought estimation with neural net-works. Advances in Engineering Software,18(3) : 167–170.

Cubero, R.G. 1991. Neural networks for water demand time seriesforecasting.Dans Artificial Neural Networks, Proceedings ofthe International Workshop IWANN’91.Éditeur: A. Prieto.Springer-Verlag, Berlin. pp. 453–460.

Cybenko, G. 1989. Approximation by superpositions of a sigmoi-dal function. Mathematical Control Signals Systems,2 : 303–314.

Daniell, T.M. 1991. Neural networks—applications in hydrologyand water resources engineering. International Hydrology andWater Resources Symposium, (Perth, 2–4 octobre),3(22) : 792–802.

Dartus, D., Courivaud, J.M., et Dedecker, L. 1993. Utilisation d’unréseau neuronal pour l’étude de la propagation d’une onde decrue dans un canal. Journal of Hydraulic Research,31(2) : 161–169.

Deco, G., et Schürmann, B. 1997. Dynamical modeling of chaotictime series by neuralnetworks. Computational Learning Theoryand Natural Learning Systems,4 : 137–153.

Dimopoulos, I., Lek, S., et Lauga, J. 1996. Modélisation de la rela-tion pluie–débit par les réseaux connexionnistes et le filtre deKalman. Journal des sciences hydrologiques,42(2) : 179–193.

Dorronsoro, J.R., Ginel, F., Sanchez, C., et Cruz, C.S. 1997. Neu-ral fraud detection in credit card operations. IEEE Transactionson Neural Networks,8(4) : 827–834.

Elman, J.L. 1990. Finding structure in time. Cognitive Science,14 : 179–211.

Fahlman, S.E. 1989. Fast learning variations on back-propagation:an empirical study.DansProceedings of the 1988 ConnectionistModels Summer School (Pittsburgh).Éditeurs: D. Touretzky,G. Hinton et T. Sejnowski. Morgan Kaufmann, San Mateo, Cali-fornie. pp. 38–51.

Fahlman, S.E., et Lebiere, C. 1990. The cascade-correlation lear-ning architecture. Technical Report CMU-CS-90-100, CarnegieMellon University, Pittsburgh.

Fortin, V., Ouarda, T.B.M.J., Rasmussen, P.F., et Bobée, B. 1997.Revue bibliographique des méthodes de prévision des débits.Revue des sciences de l’eau,4 : 461–487.

French, M.N., Krajewski, W.F., et Cuykendall, R.R. 1992. Rainfallforecasting in space and time using a neural network. Journal ofHydrology (Amsterdam),131 : 1–31.

Friedman, J.H. 1991. Multivariate adaptive regression splines.Annals of Statistics,19 : 1–142.

Fukushima, K. 1988. Neocognitron: a hierarchical neural networkcapable of visual pattern recognition. Neural Networks,1 : 119–130.

Geman, S., et Geman, D. 1984. Stochastic relaxation, Gibbs distri-butions, and the Bayesian restoration of images. IEEE Transac-tions on Pattern Analysis and Machine Intelligence,6 : 721–741.

Giles, L., Kuhn, G.M., et Williams, R.J. 1994. Dynamic recurrentneural networks: theory and applications. IEEE Transactions onNeural Networks,5(2) : 153–155.

Ginzberg, I., et Horn, D. 1992. Learning the rule of the time series.International Journal of Neural Systems,3(2) : 167–177.

Goldberg, D. 1989. Genetic algorithms. Addison-Wesley, Reading,Massachusetts.

Gorgucci, E., et Chandrasekar, V. 1995. Radar and measurement ofrainfall during CaPE: 26 July case study. Journal of AppliedMeteorology,34 : 1570–1577.

Grossberg, S. 1982. Studies of mind and brain. D. Reidel Publis-hing Co., Boston.

Grossberg, S. 1988. Neural networks and natural intelligence. MITPress, Cambridge.

© 1999 CNRC Canada

Coulibaly et al. 301

Grossberg, S. 1998. Birth of a learning law. International NeuralNetwork Society Newsletter,21 : 1–4.

Hagan, M.T., Demuth, H.B., et Beale, M. 1996. Neural networkdesign. PWS Publishing Company, Boston, Massachusetts.

Hansen, J.V., et Nelson, R.D. 1997. Neural networks and traditio-nal time series methods: a synergistic combination in state eco-nomic forecasts. IEEE Transactions on Neural Networks,8(4) :863–873.

Hassoum, M.H. 1995. Fundamentals of artificial neural networks.MIT Press, Cambridge.

Haykin, S. 1994. Neural networks: a comprehensive foundation.Macmillan College Publishing Company Inc., New York.

Haykin, S., et Li, L. 1995. Nonlinear adaptive prediction of nonsta-tionary signals. IEEE Transactions on Signal Processing,43(2) :526–535.

Hebb, D. 1949. The organization of the behavior. Wiley, NewYork.

Hecht-Nielsen, R. 1987. Komogorov’s mapping neural networkexistence theorem.DansProceedings of the International Confe-rence on Neural Networks. Vol. 3. IEEE Press, New York.pp. 11–13.

Hertz, J., Krogh, A., et Palmer, R.G. 1991. Introduction to thetheory of neural computation. Addison-Wesley, Reading, Massa-chusetts.

Hinton, G.E. 1989. Deterministic Boltzmann machine learning per-forms steepest descent in weight-space. Neural Computation,1 :143–150.

Hinton, G.E. 1992. How neural networks learn from experience.Scientific American,267 : 145–151.

Hipel, K.W., et McLeod, A.I. 1994. Time series modelling of waterresources and environmental systems. Elsevier, Hollande.

Holland, J.H. 1975. Adaptation in natural and artificial systems.The University of Michigan Press, Ann Arbor, Michigan.

Hornik, K., Stinchcombe, M., et White, H. 1989. Multilayer feed-forward networks are universal approximators. Neural Net-works, 2(5) : 359–366.

Hsu, K.L., Gupta, H.V., et Sorooshian, S. 1995. Artificial neuralnetwork modeling of the rainfall–rainoff process. Water Resour-ces Research,31(10) : 2517–2530.

Hsu, K.L., Gao, X., Sorooshian, S., et Gupta, H.V. 1998. Precipita-tion estimation from remotely sensed information using artificialneural networks. Journal of Applied Meteorology,36 : 1176–1190.

Hu, M.J.C. 1964. Application of the Adaline system to weatherforecasting. Thèse de diplôme en génie électrique. Rapport tech-nique 6775-1, Stanford Electric Laboratories, Stanford, Cali-fornie.

Huttunen, M., Vehviläinen, B., et Ukkonen, E. 1997. Neuralnetwork in the ice-correction of discharge observations. NordicHydrology, 28(4/5) : 283–296.

Irie, B., et Miyake, S. 1988. Capabilities of three-layered percep-trons. Proceedings of the IEEE Second International Conferenceon Neural Networks (San Diego),1 : 641–647.

Ivakhnenko, A.G. 1971. Polynomial theory of complex systems.IEEE Transactions on Systems, Man, and Cybernetics,12 : 364–378.

Jacobs, R.A., Peng, F., et Tanner, M.A. 1997. A Bayesian approachto model selection in hierarchical mixtures-of-experts architec-tures. Neural Networks,10(2) : 231–241.

Jang, J.S.R. 1992. Self-learning fuzzy controllers based on tempo-ral back propagation. IEEE Transactions on Neural Netwoks,3(5) : 714–723.

Karunanithi, N., Grenney, W.J.,Whitley, D., et Bovee, K. 1994.Neural networks for river flow prediction. Journal of Computingin Civil Engineering,8(2) : 201–220.

Kasabov, N.K. 1996. Foundations of neural networks, fuzzy sys-tems, and knowledge engineering. The MIT Press, Cambridge,Massachusetts.

Khotanzad, A., Rohani, R.A., et Lu, T.L. 1997. ANNSTLF—a neu-ral network-based electric load forecasting system. IEEE Tran-sactions on Neural Networks,8(4) : 835–845.

Kohavi, R. 1995. A study of cross-validation and bootstrap for ac-curacy estimation and model selection. Proceeding of the 14thInternational Joint Conference on Artificial Intelligence(Montréal, 1995). Morgan Kaufman Publishers, San Francisco.pp. 1137–1143.

Kohonen, T. 1987. Self-organization and associative memory.2e éd. Springer-Verlag, Berlin.

Kosko, B. 1992. Neural networks and fuzzy systems: a dynamicalsystems approach to machine intelligence. Prentice-Hall,Englewood Cliffs, New Jersey.

Lachtermacher, G., et Fuller, J.D. 1994. Backpropagation in hydro-logical time series forecasting.Dans Stochastic and statisticalmethods in hydrology and enviromental engineering. Timeseries analysis in hydrology and environmental engineering.Éditeurs: K.W. Hipel, A.I. McLeod, U.S. Panu, et V.P. Singh.Kluwer Academic Publishers, Dordrecht, Hollande. pp. 229–242.

Lam, D., et Swayne, D. 1996. A hybrid expert system and neuralnetwork approach to environmental modelling: GIS applicationsin the RAISON systems. HydroGIS: application of geographicinformation system in hydrology and water resources manage-ment. Proceedings of the Vienna Conference (April 1996),IAHS Publications,235 : 685–693.

Lapedes, A., et Farber, R. 1987. Nonlinear signal processing usingneural network: prediction and system modelling. Los AlamosNational Lab. Technical Report, LA-UR-87-2662, New Mexico.

Lee, K.C., Han, I., et Kwon, Y. 1996. Hybrid neural network mo-dels for bankruptcy predictions. Decision Support Systems,18 :63–72.

Lettenmaier, D.P., et Wood, E.F. 1993. Hydrologic forecasting.Dans Handbook of hydrology. Éditeur: D.R. Maidment.McGraw-Hill, New York.

Lewis, P.A.W., et Stevens, J.C. 1991. Nonlinear modeling of timeseries using multivariate adaptive regression splines (MARS).Journal of the American Statistical Association,87 : 864–877.

Liang, R.H., et Hsu, Y.Y. 1994. Scheduling of hydroelectric gene-rations using artificial neural networks. IEEE Proceedings, Ge-neration Transmission and Distribution,141(5) : 452–458.

Liong, S.Y., Nguyen, V.T.V, Chan, W.T., et Chia, Y.S. 1994. Regio-nal estimation of floods for ungaged catchments with neural net-works. 9th Congress of the Asian and Pacific Division of theInternational Association for Hydraulic Research, Singapour.Comptes rendus. Vol. 1. Asian Pacific Division — InternationalAssociation for Hydraulic Research, Singapour. pp. 372–378.

Lippmann, R.P. 1987. An introduction to computing with neuralnets. IEEE Acoustics, Speech and Signal Processing Magazine,4 : 4–22.

Maier, H.R., et Dandy, G.C. 1996. The use of artificial neural net-works for the prediction of water quality parameters. Water Re-sources Research,32(4) : 1013–1022.

Maier, H.R., et Dandy, G.C. 1997. Modelling cyanobacteria (blue-green algae) in the River Murray using artificial neural net-works. Mathematics and Computers in Simulation,43(3–6) :377–386.

© 1999 CNRC Canada

302 Can. J. Civ. Eng. Vol. 26, 1999

Maren, A.J., Harston, C.T., et Pap, R.M. 1990. Handbook of neuralcomputing applications. Academic Press Inc., San-Diego,California.

Marshall, J.S., et Palmer, W.M. 1948. The distribution of raindropswith size. Journal of Meteorology,10 : 25–29.

McCulloch, W.S., et Pitts, W. 1943. A logical calculus of the ideasimminent in nervous activity. Bulletin of Mathematical Biophy-sics,5 : 115–133.

Métropolis, N., Rosenbluth, A., Teller, A., et Teller, E. 1953. Equa-tion of state calculations by fast computing machines. Journal ofChemical Physics,21(6) : 1087–1092.

Murata, N.M., Yoshizawa, S., et Amari, S. 1994. Network informa-tion criterion—determining the number of hidden units for anartificial neural network model. IEEE Transactions on NeuralNetworks,5(6) : 865–872.

Muster, H., Badossy, A., et Duckstein, L. 1994. Adaptive neuro-fuzzy modeling of non-stationary hydrologic variable. Procee-dings of the International Symposium on Water Resources Plan-ning in a Changing World. Université de Karlsruhe, Karlsruhe,Allemagne.

Oja, E. 1982. A simplified neuron model as a principal componentanalyser. Journal of Mathematical Biology,15 : 267–273

Parzen, E. 1974. Some recent advances in time series modelling.IEEE Transactions on Automatic Control, AC-19 : 723–729.

Powell, M.J.D. 1977. Restart procedures for the conjugate gradientmethod. Mathematical Programming,12 : 241–254.

Prechelt, L. 1996. A quantitative study of experimental evaluationsof neural networklearning algorithms: current research practice.Neural Networks,9(3) : 457–462.

Refenes, A.N., Zapranis A., et Francis G. 1994. Stock performancemodeling using neural networks: a comparative study withregression models. Neural Networks,7(2) : 375–388.

Ripley, B.D. 1993. Statistical aspects of neural networks.DansNetworks and chaos: statistical and probabilistic aspects.Éditeurs:O.E. Barndorff-Nielsen, J.L. Hansen et W.S. Kendall. Chapman& Hall, Londres.

Roadknight, C.M., Balls, G.R., Mills G.E.,et. Brown, D.P. 1997.Modeling complex environmental data. IEEE Transactions onNeural Networks 8(4) : 852–861.

Rosenblatt, F. 1958. The perceptron: a probabilistic model for in-formation storage and organization in the brain. PsychologicalReview,65 : 386–408.

Rudolph, S. 1997. On topology, size and generalization of non-li-near feed-forward neural networks. Neurocomputing,16 : 1–22.

Rumelhart, D.E., Hinton, E., et Williams, J. 1986. Learning inter-nal representation by error propagation.Dans Parallel distribu-ted processing. Vol. 1. MIT Press, Cambridge, Massachusetts.pp. 318–362.

Saad, M., Bigras, P., Turgeon, A., et Duquette, R. 1996. Fuzzylearning decomposition for the scheduling of hydroelectric po-wer systems. Water Resources Research,32(1) : 179–186.

Sakakima, S., Kojiri, T., et Itoh, K. 1992. Real-time reservoir ope-ration with neural nets concept.Dans Applications of artificialintelligence in engineering VII. Computational Mechanics Pu-blications, Southampton, Angleterre. pp. 502–514.

Sarle, W.S. 1994. Neural networks and statistical models. Procee-dings of the Nineteenth Annual SAS Users Group InternationalConference (SAS Institute), Cary, North Carolina, pp. 1538–1550.

Schwarz, G. 1978. Estimating the dimension of a model. Annals ofStatistics,6 : 461–464.

Sejnowski, T.J., et Rosenberg, C.R. 1987. Parallel networks thatlearn to pronounce English text. Complex Systems,1 : 145–168.

Sharda, R., et Patil, R.B. 1990. Neural networks as forecasting ex-perts: an empirical test. Proceedings of the International JointConference on Neural Networks, (Washington, 1990). LawrenceErlbaum Associates, Mahwah. pp. 491–494.

Smith, J., et Eli, R.N. 1995. Neural-network models of rainfall–ru-noff process. Journal of Water Resources Planning and Manage-ment,121(6) : 499–508.

Song, J. 1992. Hybrid genetic/gradient learning in multi-layer arti-ficial neural networks. Thèse de doctorat, Département de génieélectrique et informatique, Wayne State University, Detroit,Michigan.

Stone, C.J. 1982. Local asymptotic admissibility of a generalisa-tion of Akaike’s model selection rule. Journal of the RoyalStatistical Society (London), A-34 : 123–234.

Sutton, R.S. 1992. Special issue on reinforcement learning.Machine Learning,8 : 1–395.

Tang, Z., Almeida, C., et Fishwick, P.A. 1991. Time series forecas-ting using neural networks vs. Box–Jenkins methodology.SIMULATIONS, 57(5) : 303–310.

Thirumalaiah, K., et Deo, M.C. 1998. River stage forecasting usingartificial neural networks. ASCE Journal of Hydrologic Engi-neering,3(1) : 26–32.

Tong, H. 1977. Some comments on the Canadian lynx data—withdiscussion. Journal of the Royal Statistical Society (London), A-140 : 432–468.

Tong, H. 1983. Threshold models in nonlinear time series analysis.Springer-Verlag, Berlin, Allemagne.

Tong, H., et Lim, K.S. 1980. Threshold autoregression, limit cyclesand cyclical data. Journal of the Royal Statistical Society, B-42 :245–292.

Tsintikidis, D., Haferman, J.L., Anagnostou, E.N., Krajewski W.F.,et Smith, T.F. 1997. A neural network approach to estimatingrainfall from spaceborne microwave data. IEEE Transactions onGeosciences and Remote Sensing,35(5) : 1079–1093.

Ulam, S. 1957. The scottish book: a collection of the mathematicalproblems. Special Issue on Dr. Ulam. Los Alamos Sciences 15,New Mexico.

Wan, E. 1994. Times series prediction using a connectionist networkwith internal delay lines.Dans Time series prediction: forecas-ting the future and understanding the past. Proceeding of theNTAO Advanced Research Workshop on Comparative Time Se-ries Analysis (Santa Fe, 1992).Éditeurs: A.S. Weigend et N.A.Gershenfeld. Addison-Wesley, Reading, Massachusetts. pp. 195–217.

Weigend, A.S., et Gershenfeld, N.A. (Éditeurs.) 1994. Time seriesprediction: forecasting the future and understanding the past.Proceeding of the NTAO Advanced Research Workshop on Com-parative TimeSeries Analysis (Santa Fe, 1992),Addison-Wesley,Reading, Massachusetts.

Weigend, A.S, Huberman, B.A., et Rumelhart, D.E. 1990. Predic-ting the future: a connectionist approach. International Journalof Neural Systems,3 : 193–209.

Weiss, S.M., et Kulikowski, C.A. 1991. Computer systems thatlearn. Morgan Kaufmann Publishers Inc., San Mateo, Californie.

Wen, C.-G., et Lee, C.-S. 1998. A neural network approach to mul-tiobjective optimization for water quality management in a riverbasin. Water Resources Research,34(3) : 427–436.

Werbos, P. 1974. Beyond regression: new tools for prediction andanalysis in the behavioral sciences. Thèse de doctorat, Com-mittee on Applied Mathematics, Harvard University, Cambridge,Massachusetts.

© 1999 CNRC Canada

Coulibaly et al. 303

© 1999 CNRC Canada

304 Can. J. Civ. Eng. Vol. 26, 1999

Werbos, P.J. 1981. Applications of advances in nonlinear sensiti-vity analysis. Dans System modeling and optimization.Éditeurs: R. Drenick et F. Kozin. Springer-Verlag, New York.pp. 762–770.

White, H. 1992. Artificial neural networks: approximation andlearning theory. Blackwell Publishers, Cambridge, Massachu-setts.

White, D., et Sofge, D. 1992. Handbook of intelligent control.Van Nostrand Reinhold, New York.

Widrow, B., et Hoff, M.E. 1960. Adaptive switching circuits. 1960IRE Western Electric Show and Convention Record, part 4.Stanford University, Stanford. pp. 96–104.

Widrow, B., et Lehr, M.A. 1990. 30 years of adaptive neural net-works: perceptron, madaline and backpropagation. Proceedingsof the IEEE,78(9) : 1415–1442.

Winters, P.R. 1960. Forecasting sales by exponentially weightedmoving averages. Management Sciences,6 : 324–342.

WMO, 1994. Guide to hydrological practices. WMO-No. 168,Genève, Suisse.

Xiao R., et Chandrasekar, V. 1997. Development of a neural net-work based algorithm for rainfall estimation from radar observa-tion. IEEE Transactions on Geoscences and Remote Sensing,35(1) : 160–171.

Yuille, A.L., Kammenet, D.M., et Cohen, D.S. 1989. Quadratureand the development of orientation selective cortical cells byHebb rules. Biological Cybernetics,61 : 183–194.

Zhang, E.Y., et Trimble, P. 1996. Forecasting water availability byapplying neural networks with global and solar indices. Procee-dings of the sixteenth annual American Geophysical UnionHydrology Days.Éditeur: H.J. Morel-Seytoux. Hydrology DaysPublications, Washington, D.C. pp. 559–570.

Zhang, M., Fulcher, J., et Scofield, R.A. 1997. Rainfall estimationusing artificial neural network group. Neurocomputing,16 : 97–115.

Zhang, Q., et Stanley, S.J. 1997. Forecasting raw-water quality pa-rameters for the North Saskatchewan River by neural networkmodelling. Water Research,31(9) : 2340–2350.

Zhang, S.P., Watanabe, H., et Yamada, R. 1994. Prediction of dailywater demands by neural networks.DansStochastic and statisti-cal methods in hydrology and environmental engineering. Vol. 3.Éditeurs: K.W. Hipel, A.I. McLeod, U.S. Panu et V.P. Singh.Kluwer Academic Publishers, Dortrecht, Hollande. pp. 217–227.

Zhu, M.L., et Fujita, M. 1994. Comparisons between fuzzy reaso-ning and neural network methods to forecast runoff discharge.Journal of Hydroscience and Hydraulic Engineering,12(2) :131–141.

Zurada, J.M. 1992. Introduction to artificial neural systems. WestPublishing Co., Saint Paul, Minnesota.

Liste des symboles

b : biaisD : délai unitairee : erreurG : fonction de transfertk : pas de tempsL : horizon de prévisionQ : débitt : tempsX : vecteur d’entrées du neuroneY : vecteur de sorties du neuroneα : entrées nettes du neurone