View
5
Download
0
Category
Preview:
Citation preview
Modèle de régression linéaire
multivarié
Laurent Ferrara
Février 2017
U. Paris Ouest L. Ferrara, 2016-17
U. Paris Ouest,
M1 - Cours de Modélisation Appliquée
Exemple: Consommation mondiale du pétrole
U. Paris Ouest L. Ferrara, 2016-17
Forecast
0
20
40
60
80
100
120
140
80
82
84
86
88
90
92
94
2009-Q1 2010-Q1 2011-Q1 2012-Q1 2013-Q1 2014-Q1
World Liquid Fuels Supply and Demand Balancemillion barrels per day
World supply (left axis)
World demand (left axis)
Brent
BMPE Dec. 2012
OECD - EO Nov. 2012
EIA - Feb. 2013
IMF-WEO update, Jan. 2013
Source: Short-Term Energy Outlook, February 2013
Exemple: Consommation mondiale du pétrole
Expliquer la conso mondiale de pétrole C(t) (en logs) par :
P(t): Prix du pétrole (en logs)
PIB(t) : Demande de pétrole (en logs)
à l’aide du modèle suivant :
b0
b1 = élasticité-prix
b2 = élasticité-revenu
)()()()( 210 ttPIBbtPbbtC
U. Paris Ouest L. Ferrara, 2016-17
Analyse des données Distributions, lien linéaire,...
Modèle de régression linéaire
Estimation des paramètres du modèle
Validation du modèle
Utilisation du modèle en prévision
Schéma de mise en
œuvre d’une
modélisation linéaire
Choix des variables
MCO, MLE
Tests d’hypothèses,
Analyse de la variance
Points et IC U. Paris Ouest L. Ferrara, 2016-17
Soit p+1 variables continues Y et X1, …, Xp, . On observe les
unités expérimentales : pour i = 1, …, n.
Le modèle linéaire s’écrit sous forme matricielle:
Y = X b +
avec
),...,,( 1 p
iii xxy
)1(),...,( 1 nyyY t
n
)11(),...,,( 10 pbbbb t
p
)1(),...,( 1 nt
n
Modèle linéaire multivarié
U. Paris Ouest L. Ferrara, 2016-17
et :
))1((
......1
...
......1
...
......1
1
1
11
1
1
pn
xxx
xxx
xxx
X
p
n
k
nn
p
i
k
ii
pk
U. Paris Ouest L. Ferrara, 2016-17
Hypothèses du modèle linéaire :
• H1 : E(Y) fonction linéaire des X1, …, Xp .
• H2 : Les erreurs, i, sont indépendantes entre elles
• H3 : E(i) = 0, les erreurs sont d’espérance nulle
(en moyenne le modèle est bien spécifié)
U. Paris Ouest L. Ferrara, 2016-17
• H4 : E(2i) = 2 , les erreurs sont de variance égale
pour toute valeur de X
(hypothèse d ’homoscédasticité)
• H5 : E(Xi i) = 0 , les erreurs,sont indépendantes des valeurs de X
• H6 : Hypothèse de Normalité
Les erreurs, i, sont identiquement distribuées selon la loi Normale.
U. Paris Ouest L. Ferrara, 2016-17
Hypothèses supplémentaires structurelles
• H7 : Absence de colinéarité entre les X1, …, Xp .
• H8 : (X’X) / n tend vers une matrice finie non singulière lorsque n tend vers l ’infini
• H9 : n > p+1
U. Paris Ouest L. Ferrara, 2016-17
Estimation des paramètres
• Objectif : estimer le vecteur b
• Par les MCO, on minimise la forme quadratique :
)()()(
1
2 bXYbXYbQ tn
i
i
022)(
XbXYX
b
bQ tt
U. Paris Ouest L. Ferrara, 2016-17
Et :
Solution réalisable si la matrice carrée XtX est inversible !!!
des hypothèses sont nécessaires
En cas de colinéarité parfaite entre 2 variables explicatives,
cette matrice est singulière et la méthode des MCO est
défaillante.
YXXXb tt 1)(ˆ
U. Paris Ouest L. Ferrara, 2016-17
Le modèle estimé s’écrit donc :
Soit :
ie:
Remarque :
Il faut distinguer l’erreur inobservable du modèle () et le
résidu (e) qui lui est estimé
p
ipii xbxbby ˆ...ˆˆˆ 1
10
U. Paris Ouest L. Ferrara, 2016-17
YXXXXbXY tt 1)(ˆˆ
HYY ˆ
L’erreur de prévision (ou résidu) est donnée par :
Soit :
Remarques :
R1 : Il faut distinguer l’erreur inobservable du modèle () et
le résidu (e) qui lui est estimé
R2: En termes géométriques, le vecteur (e) est la projection
orthogonale sur le sous-espace vectoriel Vect(X)
iii yye ˆ
U. Paris Ouest L. Ferrara, 2016-17
YHIe )(
Interprétation géométrique
Propriétés des estimateurs
• L ’estimateur est le meilleur estimateur non-biaisé de b
au sens où sa variance est la plus faible possible et
• On mq :
• Un ESB de la variance résiduelle est donné par :
b
12 )()ˆ( XXbV t
1
2 1
2
ˆ
pn
en
ii
U. Paris Ouest L. Ferrara, 2016-17
Propriétés des estimateurs
• Sous l’hypothèse de Normalité, l’ EMV coïncide avec le
l’estimateur MCO mais est un estimateur efficace;
ie: sa matrice des variances-covariances atteint la borne
de Cramer –Rao
• L’estimateur de la variance résiduelle suit une loi :
U. Paris Ouest L. Ferrara, 2016-17
1
)1(ˆ
222
pn
pnChi
Validation: Somme des carrés
• SSE = Sum of squared errors
• SST = Total sum of squares
• SSR = Regression sum of squares
SST = SSR+SSE
U. Paris Ouest L. Ferrara, 2016-17
2
YYSSE
221 ynYYyYSST t
222
ˆˆ1ˆ ynYXbynYYyYSSR ttt
Validation: Coefficient de détermination
• Le coefficient de détermination est la part de variation de Y
expliquée par le modèle, ie : il doit être le plus proche de 1
• Attention: on remarque que l’ajout de variables explicatives
augmente automatiquement ce coefficient
U. Paris Ouest L. Ferrara, 2016-17
SST
SSE
SST
SSRR 12
Validation: Coefficient de détermination ajusté
• On pondère par le nombre de paramètres à estimer.
U. Paris Ouest L. Ferrara, 2016-17
)1/(
)1/(12
nSST
pnSSERAdj
Validation: Tests sur les paramètres
• On montre que la statistique T suit une loi de
Student à (n-p-1) ddl:
• On utilise T pour tester H0:
• Un intervalle de confiance à (1-α) est donné par:
U. Paris Ouest L. Ferrara, 2016-17
jb
jj bbT
ˆ
0jb
jbpnj tb )1(,2/
Racine du jième
terme diagonal de
la matrice de
variance-cov des
paramètres
estimés
Validation: Tests du modèle global
• On peut tester globalement l’hypothèse nulle:
• On utilise la statistique:
qui suit une loi de Fischer à (p, n-p-1) ddl
U. Paris Ouest L. Ferrara, 2016-17
)1/(
/
pnSSE
pSSRF
0...:0 21 pbbbH
Validation: Tests d’un modèle réduit
• On peut tester l’hypothèse nulle d’un modèle réduit à
q<p variables explicatives:
• Sous H0, on utilise la statistique:
qui suit une loi de Fischer à (q, n-p-1) ddl.
• L’ajout des (p-q) variables explicatives est justifié si
(SSEq- SSEp) est « suffisamment grand ».
U. Paris Ouest L. Ferrara, 2016-17
)1/(
/)(
pnSSE
qSSESSEF
p
pq
0...:0 21 qbbbH
Prévision
• Soit une nouvelle observation:
• Prédicteur :
• IC pour Y:
• IC pour E(Y):
U. Paris Ouest L. Ferrara, 2016-17
tpxxX ),...,( 0
1
00
p
p xbxbby 0
1
0100ˆ...ˆˆˆ
2/1
0
1
0)1(,2/0 ))(1(ˆ vXXvty tt
pn
2/1
0
1
0)1(,2/0 ))((ˆ vXXvty tt
pn
),...,,1( 0
1
00
pxxv
Effet croisé:
Effet non-linéaire:
iiiiii xxxbxbby 212
2
1
10
U. Paris Ouest L. Ferrara, 2016-17
iiiii zbzbzbby 3
3
2
210
Extensions
Exemple: IMF Working Paper, « Walking Hand in Hand: Fiscal Policy and Growth in Advanced
Economies » by Cotarelli and Jaramillo (2012)
Problème de politique économique:
La consolidation fiscale et budgétaire dans les pays avancés après la
récession 2008-09 pèse sur la croissance de court terme mais semble
nécessaire pour favoriser la croissance à long terme via une baisse de la
dette publique et une baisse des taux longs souverains (spreads = écarts
de taux).
Equation de relation entre dette / taux longs / croissance :
But du modèle linéaire: Rechercher les déterminants des spreads
U. Paris Ouest L. Ferrara, 2016-17
tt
t
ttttt pd
g
grdd
11
1
Exemple: IMF Working Paper,
« Walking Hand in Hand: Fiscal Policy and
Growth in Advanced Economies » by Cotarelli and Jaramillo (2012)
U. Paris Ouest L. Ferrara, 2016-17
U. Paris Ouest L. Ferrara, 2016-17
Exemple: IMF Working Paper,
« Walking Hand in Hand: Fiscal Policy and
Growth in Advanced Economies » by Cotarelli and Jaramillo (2012)
Recommended