EXPOSE ORAL ------ Modèle ARMA

1

Ⅰ. Série TemporelleⅡ. Processus stationnaire

Ⅲ.Modèle ARMAⅣ. Modélisation de Box et Jenkins

Ⅴ.Application

TANG Liyun et QIAN Yuan

EXPOSE ORAL ------ Modèle ARMA

2

Ⅰ. S. S. S. Séééérie Temporelle rie Temporelle rie Temporelle rie Temporelle � Ⅰ.1 D.1 D.1 D.1 Dééééfinition finition finition finition : � une série temporelle est une suite de nombres réels , indexés

par les entiers relatifs tels que le temps. Pour chaque instant du temps, la valeur de la quantité é tudiée Xt est appelée variable aléatoire. L'ensemble des valeurs Xt quand t varie est appelé processus aléatoire

{Xt , }Tt∈

Ⅰ. S. S. S. Séééérie Temporellerie Temporellerie Temporellerie Temporelle� Ⅰ.1.1.1.1 D D D Dééééfinition finition finition finition � Une série temporelle est une suite de nombres réels, indexés par

les entiers relatifs tels que le temps . Pour chaque instant du temps , la valeur de la quantit é étudiée Xt

est appelée variable aléatoire . L'ensemble des valeurs X t quand t varie est appelé processus aléatoire

{ Xt , }Tt∈

� Ⅰ.2 Domaine d.2 Domaine d.2 Domaine d.2 Domaine d’’’’applicationapplicationapplicationapplication

� en astronomie (’on the periodicity of sunspots’, 1906), � en météorologie ( ’ time-seires regression of sea level on

weather ’, 1968)� en théorie du signal (’Noise in FM receivers’, 1963) � en biologie ( ’ the autocorrelation curves of schizophrenic

brain waves and the power spectrum’, 1960)� en économie (’time-series analysis of imports, exports and

other economic variables’, 1971)...etc.

5

En astronomie (‘on the periodicity of sunspots’, 1906)

6

� Ⅰ.3 Objectif .3 Objectif .3 Objectif .3 Objectif

� Modéliser les mouvements de la série temporelle à partir de

son histoire et des valeurs présentes et passés d’un Bruit Blanc

avec un modèle linéaire .

2013-3-21

� Ⅰ....4444 Hist Hist Hist Histoireoireoireoire 1927 1927 1927 1927 G.U.Yule -- modG.U.Yule -- modG.U.Yule -- modG.U.Yule -- modèèèèle ARle ARle ARle AR 1931 G.T.Walker 1931 G.T.Walker 1931 G.T.Walker 1931 G.T.Walker –––– mod mod mod modèèèèle MA et modle MA et modle MA et modle MA et modèèèèle ARMAle ARMAle ARMAle ARMA 1970 G.E.P.Box 1970 G.E.P.Box 1970 G.E.P.Box 1970 G.E.P.Box et G.M.Jenkinset G.M.Jenkinset G.M.Jenkinset G.M.Jenkins（BoxBoxBoxBox————JenkinsJenkinsJenkinsJenkins） 《Time Series Analysis Forecasting and ControlTime Series Analysis Forecasting and ControlTime Series Analysis Forecasting and ControlTime Series Analysis Forecasting and Control》 1982 ARCH 1982 ARCH 1982 ARCH 1982 ARCH 1985 GARCH 1985 GARCH 1985 GARCH 1985 GARCH

8

Ⅱ. . . . Processus stationnaire

� Ⅱ. 1 conception de stationnarit. 1 conception de stationnarit. 1 conception de stationnarit. 1 conception de stationnaritéééé La stationnarité joue un rôle central dans la théorie des processus

�Processus fortement stationnaire(ou au sens strict) : la distribution de probabilité est invariante par translation de l’axe du temps�Processus faiblement stationnaire (ou stationnaire à l’ordre 2) :

permanence des deux premiers moments (conditions utilisées en pratique)

ZtXXCTtEXTtEX

tt

t

t

∈∀=∈∀=∈∀∞<

+ k, ),ov()3 ,)2,)1

,kk

2

γµ

9

�Ⅱ. 2 . 2 . 2 . 2 CaractCaractCaractCaractééééristiques d'une sristiques d'une sristiques d'une sristiques d'une séééérie temporelle rie temporelle rie temporelle rie temporelle

� Fonction d’autocovariance :

� Fonction d’autocorrélation(ACF)

� Fonction d’autocorrélation partielle (PACF) :

)(ov kttk += XXC ，γ

Z∈= k , 0

kk γ

γρ

)()(

)(*

hh

hX ℜ

ℜ=ψ .

1...........................

...1

)(

21

11

−−

−

=ℜ

hh

h

h

ρρ

ρρ

avec

obtenue en remplaçant la dernière colonne de R(h) par le vecteur)(* hℜ [ ]hρρρ ,...., 21'

10

� Ⅱ. . . . 3333 Exemple de processus stationnaire : Exemple de processus stationnaire : Exemple de processus stationnaire : Exemple de processus stationnaire : Bruit blanc

11

1, ≥∀=− pxBx tp

pt

)!(!!,)1()1(

)(,)()(

1

0

11

1

0

ininCBCB

xxByxyxB

xcxBcxcBB

in

in

i

in

in

nttn

tttt

ttt

−=−=−

=

±=±⋅=⋅=⋅

=

∑=

−

−−

−

Ⅲ.1.2 Opérateur retard, noté B

Ⅲ.1 .1 .1 .1 OOOOppppéééérateur retardrateur retardrateur retardrateur retard Ⅲ.1.1 Différence

1−−=∇ ttt xxx

111

−−− ∇−∇=∇ t

pt

pt

p xxxktttk xxx −−=∇

Ⅲ.Modèle ARMA

12

it

p

i

ip

it

pt

p xCxBx −=∑ −=−=∇

0)1()1(

Ⅲ....1.1.1.1.3 3 3 3 AAAAppliquer lppliquer lppliquer lppliquer l’’’’opopopopéééératratratrateureureureur retard retard retard retard

tk

ktttk xBxxx )1( −=−=∇ −

13

Ⅲ....2 2 2 2 Cas particulier : AR(p)

⎪⎪

⎩

⎪⎪

⎨

⎧

<∀=≠===

≠

+++++= −−−

tsExtsEVarE

xxxx

ts

sttt

p

tptpttt

,0,0)(,)(0)(

02

22110

εεεσεε

φ

εφφφφ

ε，

L

ttxB ε=Φ )(

ppBBBB φφφ −−−−=Φ L2

211)(

14

� Propriété

)( 110 tptptt xxEEx εφφφ ++++= −− L

TtEEx tt ∈∀== ,0)(, εµ

pφφφ

µ−−−

=L1

0

1

15

� Fonction d’autocovariance

)()()()( 11 kttktptpkttktt xExxExxExxE −−−−−− +++= εφφ L

0)( =−ktt xE ε

LL ,2,1,2211 =+++= −−− kpkpkkk γφγφγφγ

)ar(X t0 V=γ

16

Fonction d’autocorrélation

0γγ

ρ kk =

LL ,2,1,2211 =+++= −−− kpkpkkk ρφρφρφρ

17

� Fonction d’autocorrélation partielle

�

])ˆ[()]ˆ)(ˆ[(

2ktkt

ktktttkk xExE

xExxExE

−−

−

−−−

=φ

⎪⎪⎩

⎪⎪⎨

⎧

+++=

+++=+++=

−−

−

−

02211

202112

112011

ρφρφρφρ

ρφρφρφρρφρφρφρ

kkkkkkk

kkkkk

kkkkk

L

LLLLLLLL

L

L

pkkk >= ,0φ

18

Ⅲ.3 Cas particulier : MA(q)

tt Bx ε)(Θ=q

q BBBB θθθ −−−−=Θ L2211)(

19

� Propriété

µ

εθεθεθεµ

=

−−−−+= −−− ）（ qtqtttt EEx L2211

2221

2211

)1(

)()(

εσθθ

εθεθεθεµ

q

qtqtttt VarxVar

+++=

−−−−+= −−−

L

L

20

� Études des autocovariance

⎪⎪

⎩

⎪⎪

⎨

⎧

>

≤≤+−

=+++

= ∑−

=+

q k

qk

kkq

iikik

q

k

,0

1 ,)(

0 ,)1(

2

1

2221

ε

ε

σθθθ

σθθ

γ

L

kγ

21

Le Corrélogramme

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

>

≤≤+++

+−

=

=∑−

=+

qk

qk

k

q

kq

iikik

k

,0

1 ,1

0 ,1

221

1

θθ

θθθρ

L

Si q<∞，MA(q) stationnaire

22

� Le corrélogramme de MA(q) s’annule à partir de q+1

0car

)1()1(

)()(

)(

])[(

),,|()]}(ˆ)][(ˆ{[

0

22q

21

022

q2

1

0

0

11

≠

+++

−=

+++

−=

−=

−−

∑

∑∑

∑

∞

=+

∞

=+

∞

=−−−+−

−

−−−

∞

=+

+−−−

−−

llkl

llkl

lktkltklktt

kt

ktkltl

klt

kttkt

ktkttt

I

IxxEIxE

xVar

xxIE

xxxVarxExxExE

γ

σθθ

γ

σθθ

ε

ε

LL

L

Ⅲ.4 Modèle ARMA� Ⅲ.4.1 Définition générale Un processus stationnaire Xt suit un ARMA(p,q) s'il vérifie la relation suivante :

2013-3-21

⎪⎪⎩

⎪⎪⎨

⎧

≠≠

−−−++++= −−−−

)0(~

002

11110

εσε

θφ

εθεθεφφφ

，

，

BB

XXX

t

qp

qtqttptptt LL

24

� En introduisant l'opérateur retard, la relation s'écrit :

avec

et

tt LXL ε)()( Θ=Φ

pp LLLL φφφ −−−−=Φ L2

211)(

qqLLLL θθθ −−−−=Θ L2

211)(

25

� Ⅲ.4.2 La thLa thLa thLa thééééororororèèèème de Woldme de Woldme de Woldme de Wold� Une version simple du théorème de Wold :

Soit T réalisations d’un processus stationnaire centré.

et avec et tels que

� tout processus (Xt) stationnaire peut se mettre sous forme MA(∞),

{ }TttX 1=

),0(~ 2εσε BBt∃ ),,,( 210 Lδδδ∃

10 =δ 0lim =∞→

iiδ

ti

itit LX εδεδ )(0

==∑∞

=−

� Approximation fractionnelle du thApproximation fractionnelle du thApproximation fractionnelle du thApproximation fractionnelle du thééééororororèèèème de Woldme de Woldme de Woldme de Wold

Soit et

avec

Le processus peut être réécrit sous la forme

ou : modélisation ARMA(p,q) de

qqLLL θθθ +++= L11)( p

pLLL φφφ −−−= L11)(

)()()(

LLL

φθδ ≈

tt LLX ε

φθ

)()(

=

tX

tt LXL εθφ )()( =

tX

�ARMA：approximation de l’écriture MA(∞)

27

� Remarque : un modèle ARMA stationnaire et inversible peut toujours se réécrire sous la forme d’un modèle AR ou d’un modèle MA

� Cas particuliers � ARMA(p,0) ou AR(p) : � ARMA(0,q) ou MA (q) : � ARMA(0,0) : bruit blanc

ttt XX εφ += −11

11 −−= tttX εθε

28

Ⅳ. Modélisation de Box et Jenkins

� Stationnarisation et Dessaisonalisation� Identification� Estimation� Validation et Test� Prévisions

� Ⅳ.1 .1 .1 .1 Stationnarisation et DessaisonalisationStationnarisation et DessaisonalisationStationnarisation et DessaisonalisationStationnarisation et Dessaisonalisation Ⅳ.1.1 Tests de la stationnarit.1.1 Tests de la stationnarit.1.1 Tests de la stationnarit.1.1 Tests de la stationnaritéééé � Pour vérifier la stationnarité : plusieurs méthodes Examen visuel de la série

Calculs de la moyenne et de la variance sur des sous ensembles de la serie et tests d’égalité Analyse visuelle de la décroissance de la fonction d’autocorrélation Tests de recine unité (Dickey-Fuller, …)

2013-3-21

Pas stationnaire stationnaire

� Tests de recine unitTests de recine unitTests de recine unitTests de recine unitéééé ————————identification de lidentification de lidentification de lidentification de l’’’’ordre dordre dordre dordre d’’’’intintintintéééégration des sgration des sgration des sgration des sééééries ries ries ries

� Le test de Dickey & Fuller propos de tester 3 situations1. H0:yt est un pure RW

ttt yy εαρ +=− −1

2. H0:yt est un RW avec dérive

1:0 =ρH

01:0 =−= ραH

3. H0:yt est un RW avec trend et dérive

01:0 =−== ρβαH

ttt yy ερ =− −1 ttt yy ερ +−=∆ −1)1(

ttt yy ερα +−+=∆ −1)1(

ttt tyy εβαρ ++=− −1 ttt yty ερβα +−++=∆ −1)1(

� Le test de Dickey & Fuller Augmenté H0 : est intégré d’ordre au moins 1 H1 : le processus suit un modèle AR(p)

� Compléments sur les tests de racine unité� Tests de Phillips et PerronIls proposent une correction non paramétrique des deux

statistique des test de Dickey et Fuller

ttyLA ε=)(

tt tyLA εβα ++=)(ttyLA εα +=)(

0)1(:0 =AH

0)1(:0 ==αAH

0)1(:0 === βαAH

Série stationnaire Série non stationnaire en moyenne

Série non stationnaire en variance

33

Ⅳ.1. 2 Transformation stationnarisante d.1. 2 Transformation stationnarisante d.1. 2 Transformation stationnarisante d.1. 2 Transformation stationnarisante d’’’’un un un un processus non stationnaire processus non stationnaire processus non stationnaire processus non stationnaire

� La s La s La s La séééérie non stationnairerie non stationnairerie non stationnairerie non stationnaire

� processus TS(Trend stationary) processus TS(Trend stationary) processus TS(Trend stationary) processus TS(Trend stationary) présente une non stationnarité de nature déterministe

Yt − f(t) = Zt stationnaire� processus DS (Difference stationnary) processus DS (Difference stationnary) processus DS (Difference stationnary) processus DS (Difference stationnary) présente une non

stationnarité de nature stochastique (1 − L)dYt = Zt stationnaire

� Ⅳ.1.2.1.2.1.2.1.2 Si la série n’est pas stationnaire, il faut la stationnariser par une méthode adaptée Processus TS Processus TS Processus TS Processus TS Xt = f(t) + Et avec f(t) = fonction déterministe du temps, Et :stationnaire Décomposition tendance déterministe - fluctuations Exemples fréquents : - Trend linéaire : - Tend quadratique : - Trend polynomial :

- Trend exponentiel : 2013-3-21

tX t 1βα +=

221 ttX t ββα ++=

nnt tttX βββα ++++= L2

21

tLogXLogeX Trendt

tt βαα β +=⇒= )()(

� Décomposition saisonnalité déterministe - fluctuations Modèle sans tendance :

Modèle avec tendance :

∑=

+=s

ittiit uDX

1,γ

∑=

++=s

ittiit uDtX

1,γβ

� Processus DSProcessus DSProcessus DSProcessus DS� Les plus utilisées : � La différence d’ordre d : ∆dXt = (1-B)dXt

� Trend stochastiqueTrend stochastiqueTrend stochastiqueTrend stochastique

� SaisonnalitSaisonnalitSaisonnalitSaisonnalitéééé stochastique stochastique stochastique stochastique

� SSSSééééries avec trend et saisonnalitries avec trend et saisonnalitries avec trend et saisonnalitries avec trend et saisonnalitéééé stochastiques stochastiques stochastiques stochastiques

)0(~)( 1 IXXX ttt −−=∆

)0(~)( IXXX StttS −−=∆

)()( )1)(1(

11 −−−− −−−=−−=∆∆

SttStt

tS

tS

XXXXXLLX

37

Ⅳ.2 .2 .2 .2 Identification� Objectif : déterminer d, p, q� Outils d’identification : � ACF� PACF� Fonction d’autocorrélation inverse� Méthode du coin � Critères d’information AIC� la fonction d’autocorrélation étendue (Tsay, & Ciao)� Méthode ’SCAN…

� ACF et PACF

ACFACFACFACF PACFPACFPACFPACF

AR(p)AR(p)AR(p)AR(p) ddddéééécroissance croissance croissance croissance ggggééééomomomoméééétrique vers 0trique vers 0trique vers 0trique vers 0

ϕϕϕϕkkkkkkkk=0=0=0=0pour k>ppour k>ppour k>ppour k>p

MA(q)MA(q)MA(q)MA(q) ρρρρkkkk=0 =0 =0 =0 pour k>qpour k>qpour k>qpour k>q

ddddéééécroissance croissance croissance croissance ggggééééomomomoméééétrique vers 0trique vers 0trique vers 0trique vers 0

ARMA(p,q)ARMA(p,q)ARMA(p,q)ARMA(p,q) ddddéééécroissance croissance croissance croissance ggggééééomomomoméééétrique vers 0trique vers 0trique vers 0trique vers 0

ddddéééécroissance croissance croissance croissance ggggééééomomomoméééétrique vers 0trique vers 0trique vers 0trique vers 0

� Critères d’information AIC

� - Estimation de tous les modèles ARMA(p,q) pour et

�On retient la forme ARMA(p, q) qui minimise au choix l’un des deux criteres AIC ou BIC suivants ( )

critere AIC : critere BIC :

)/)ˆ(ˆ 22 Ttt εσ Σ=

TqpqpAIC )(2ˆlog),( 2 +

+= σ

TTqpqpBIC )log()(ˆlog),( 2 ++= σ

maxpp ≤maxqq ≤

40

Ⅳ.3.3.3.3 Estimation� L’estimateur du maximum de vraisemblanceH1 on suppose que la population des résidus {εt} peut être

décrite par un processus bruit blanc gaussien Ν(0,σ2ε).

Écrivons alors la vraisemblance associée au vecteur de réalisation (χ1,χ2, …… χT).

41

Ⅳ.4 .4 .4 .4 Validation et Test

Test sur les résidus� Test d’absence d'autocorrélation des résidus le test de Box-Pierce le test de Ljung-Box le test de Durbin-Watson� Test d’homoscédasticité le test de Goldfield et Quandt le test de White le test de Breusch et Pagan� Estimation récursive et analyse de la stabilité du modèle

42

Ⅳ.4.4.4.4 Validation et Test � Test d’absence d'autocorrélation des résidus

� le test de Box-Pierce et le test de Ljung-Box

Statistics :Box-Pierce ∑

=

=h

kkh TQ

1

2ρ̂

～ ∑= −

+=′h

k

kh kT

TTQ1

2ˆ)2(

ρ

p>0.05, la série est statistiquement un bruit blanc

Ljung-Box )(2 hχ

4343

Ⅳ.4.4.4.4 Validation et Test � Test d’absence d'autocorrélation des résidus� le test de Durbin-Watson H0 : ρ=0 H1 : il existe d’autocorrélation statistics :

Avec et la série de résidu, T est le nombre d’observation

44

� Tests de normalité: Bera & Jarque (1984)notonsμk le moment d’ordre k de la distribution Coefficient du skewness et de la kurtosis

statistics:

[ ] ))(( kk XEXE −=µ

2/323 / µµ=s 2

24 / µµ=k

on rejette l’hypothèse H0 de normalité des résidus au seuil α)2(21 αχ−≥BJ

45

� Estimation rEstimation rEstimation rEstimation réééécursive et analyse de la stabilitcursive et analyse de la stabilitcursive et analyse de la stabilitcursive et analyse de la stabilitéééé du mod du mod du mod du modèèèèlelelele� Estimation récursive du modèle sur les sous-échantillons :

t = 1,…,T*; t = 1, …, T*+1; …., t = 1,…,T-1

� Calcul des résidus récursifs (one-step ahead forecast error)

� On peut démontrer le résultats suivant :

avec et

� Résidus récursifs normalisés

t = T *,…,T-1

� Statistique du CUSUM :

t = T *,…,T-1

� Calcul d’un Intervalle de confiance pour le CUSUM à partir des bornes tabulées de la statistique

∗++

∗+ −= ttttt yy ,11,1ε

),0(~ 2,1 ttt rN σε ∗+ 1>tr 1lim =

∞→tt

r

)1,0(~,1,1 N

r

iid

t

tttt σ

εω

∗+

+ =

∑=

+=t

TtCUSUM

*,1

τττω

4646

Ⅳ.5.5.5.5 Prévisions

⎩⎨⎧

≤≥

=

⎪⎩

⎪⎨

⎧

>−++−

≤−−++−=

−−−+++=

+

=−+

−−+−++−+−+

∑

0,1,)(ˆ

)(ˆ

,)(ˆ)1(ˆ

,)(ˆ)1(ˆ

),,()(ˆ

1

1

11111

kxkkx

kx

qkpkxkx

qkpkxkx

xxxxEkx

kt

tt

tpt

q

kiiktitpt

ttqktqktktpktpktt

φφ

εθφφ

εθεθεφφ

L

L

LLL

221

21

20 )()]([ εσ−+++= kt GGGkeVar L

Incertitude associée aux prévisions� Critère de pouvoir prédicitf

� Critère d’information � Test s d’anticipations rationnelles� Limite de prédictibilité d’un modèle ARMA� les prévisions hors échantillon des modèles ARMA convergent

vers la moyenne non conditionnelle du processus. � On peut calculer la limite de prédictibilité� Expliquer et présenter

2013-3-21

Incertitude associée aux prévisions� Critère de pouvoir prédicitfPlusieurs indicateurs sontalors possibles :� (i) la variance du résidu σ2, ou la somme des carrés des

résidus SCR� (ii) le coefcient de détermination R2, correspondant à

une normalisation de la variance� (iii) le coefficient de détermination modifié adjust-R2� (iv) la statistique de Fisher (comme dans le cas du

modèle linéaire)� Le but est alors de minimiser (i), ou de maximiser (ii) ;

(iii) ou (iv).

2013-3-21

Incertitude associée aux prévisions

� Critère d’information

� Évaluation de plusieurs prévisionscomparer la précision de prévisions non optimales:� l’erreur de prévision � l’erreur de prévision en pourcentage

2013-3-21

TqpqpAIC )(2ˆlog),( 2 +

+= σ

TTqpqpBIC )log()(ˆlog),( 2 ++= σ

ththttht yye ,, +++ −=

ht

ththttht y

yyp

+

+++

−= ,

,

50

�Critères Mean Error (ME) et Error Variance (EV): : mesure du biais (faible avec une « bonne prévision ») : dispersion des erreurs de prévisions (faible avec une « bonne prévision »)�Mesures globales de la précision des prévisions: MSE et MSPE

�Des variantes de ces indicateurs (RMSE et RMSPE) permettent de préserver les unités des grandeurs prévues :

�Autres mesures : MAE et MAPE

∑=

+=T

tthte

TMSE

1

2, )(1

∑=

+=T

tthtp

TMSPE

1

2, )(1

MSERMSE = MSPERMSPE =

∑=

+=T

tthte

TMAE

1,

1∑=

+=T

tthtp

TMAPE

1,

1

∑=

+=T

tthte

TME

1,

1

∑=

+ −=T

ttht MEe

TEV

1

2, )(1

Ⅴ.Application

Modèle ARMA pour données des employés Canadian�1961:1 1994:4

� Identification du modèle par AICAIC analysis of models for series CAEMP

� Identification du modèle par corrélogramme

57

59

� ProlongementProlongementProlongementProlongement du du du du modmodmodmodèèèèlelelele ARMA ARMA ARMA ARMA

ARIMA(p,d,q) SARIMA(p,d,q)(P,D,Q)s

tt LXLL ε)()1)(( d Θ=−Φ

tt LLXLLLL ε)()()1()1)(()( sQq

DsdsPp ΘΘ=−−ΦΦ

60

� ProlongementProlongementProlongementProlongement du du du du modmodmodmodèèèèlelelele ARMAARMAARMAARMA� ARFIMA: processus à mémoire longue ARFIMA(p,d,q) :

� TARMA: processus à seuil

où u1t et u2t sont deux bruits blancs de variance respective σ21et σ2

2

� FARMA: ∆dXt suivent un processus ARMA(p, q) où d n’est pas entier, compris entre -1/2 et 1/2

� ARCH : processus avec la variance évolué dans le temps, notamment pour les problèmes monétaire et financière