1 - 11 - Corrélation et régression linéaire Version 1.2

1

- 11 -

Corrélation et régression linéaire

Version 1.2

Sujets abordés

Corrélation de Pearson et de Spearman Régression linéaire simple Régression linéaire multiple Hétéroscédasticité Autocorrélation Multicolinéarité

2

3

Lien de dépendance

L’analyse de la dépendance entre deux variables se fait généralement via :

Un nuage de points

L’analyse de corrélation

Coefficient de Pearson (linéaire)

Corrélation de Spearman (basée sur les rangs)

4

Lien de dépendance

Nuage de point

4

Nuage de points

5 000 $

7 500 $

10 000 $

12 500 $

15 000 $

0 $ 25 $ 50 $ 75 $ 100 $ 125 $ 150 $

Prix du baril de pétrole (USD)

S&

P/T

SX

Co

mp

os

ite

(C

AD

)

5

Lien de dépendance

Analyse de corrélation - formules

Si les séries de données sont normales ou quasi-normales :

Coefficient de corrélation de Pearson

Si les séries de données s’écartent de la normalité : Coefficient de corrélation de Spearman (rang)

YXp ss

YXCovr

),(

16

121

2

nn

dr

n

ii

S

6

Lien de dépendance

Analyse de corrélation - limites

Présence d’un lien de dépendance non-linéaire

Présence de données aberrantes (extrêmes)

Biais de corrélation illusoire (« Spurious correlation »)

La dépendance est le fruit du hasard d’échantillonage

Les deux variables dépendent elles-mêmes d’une 3ième variable commune

7

Analyse de régression

L’analyse de régression permet :

D’utiliser une (ou plusieurs) variable pour prévoir l’évolution d’une autre variable

De tester des hypothèses concernant la relation entre deux variables

De quantifier la force de la relation entre 2 variables

8


Deux types de données sont souvent utilisés:

Données en coupe instantanée

Exemple : Les rendements de 500 titres boursiers

Séries chronologiquesExemple : Les rendements d’une action de 2000 à 2008

9


Une régression linéaire assume qu’il existe une relation linéaire entre une variable dépendante (Y) et une variable indépendante (X)

Cette relation est décrite par l’équation suivante :

où est un terme d’erreur qui représente la portion de la variable dépendante qui ne peut pas être expliquée par la variable indépendante

XbbY 10

10


L’hypothèse à la base d’un modèle de régression est qu’une variable X permette d’expliquer une variable Y

À partir de la droite , on peut évaluer la qualité de ce lien entre X et Y en observant le terme d’erreur.

Plus sera petit, plus X expliquera bien Y

Concrètement, nous désirons donc estimer les paramètres b0 et b1 de façon à minimiser le terme d’erreur

XbbY 10

11


Réorganisation de la droite :

Il existe plusieurs techniques pour minimiser

Celle que nous utiliserons (la plus connue) est la méthode des moindres carrés ordinaires (MCO) :

où et sont les estimateurs des paramètres b0 et b1 de

la population (obtenus à partir des observations de l’échantillon)

iii XbbY 10

2

110

1

2 )ˆˆ(minˆmin

n

iii

n

ii XbbY

1b0b

12


Graphiquement, il s’agira de tracer une droite linéaire qui minimisera l’écart (mis au carré) entre chaque couple (X,Y) et son point correspondant sur la droite de régression.

13


L’estimation des paramètres b0 et b1 se fait souvent à l’aide d’un ordinateur

Sur Excel, nous avons un module complémentaire dédié aux analyses de régression. Nous pouvons également estimer les paramètres par minimisation à l’aide du solveur.

Nous pouvons également calculer les estimateurs de b0 et b1 manuellement à partir des équations suivantes :

et)r(av

),v(oc1 X

YXb XbYb 10

ˆˆ

14


Hypothèses sous-jacentes :

1. La relation qui unit la variable dépendante Y à la variable X est linéaire (les variables X et Y n’ont pas besoin d’être linéaires)

2. Le terme d’erreur est une variable aléatoire distribuée normalement avec une moyenne de 0 et une variance σ2 constante

3. Cov(X, ε) = 0

4. Cov(εi, εj) = 0

15


Validité d’un modèle:

Après avoir élaboré un modèle de régression, il importe de tester la précision de ce modèle

Est-ce que le modèle de régression décrit bien la relation entre deux variables ?

Pour se faire, on se base souvent sur l’erreur-type de ε :

Où SEE est l’acronyme de « standard error of estimate »

2

ˆ1

2

nSEE

n

ii

16


Validité d’un modèle:

L’erreur type de l’estimation donne quelques informations sur la confiance que l’on peut avoir en une prévision

Toutefois, le SEE n’indique pas précisément à quel point la variable X permet de bien expliquer la variable Y

Pour obtenir cette information, nous devrons calculer le coefficient de détermination (R2)

2

22 1

Y

SEER

Variations non expliquées

Variations totales

17


Calcul du « Bêta » d’un actif financier:

Modèle d’évaluation des actifs (CAPM) :

Modèle d’évaluation très utilisé en finance

où RM = Rendement du marché

Rf = Rendement sans risque

β = Sensibilité du prix d’un actif financier par rapport au marché

Le paramétrage du modèle à partir de données historiques peut se faire via une régression linéaire

fMfi RRRR

18


Régression multiple:

Les modèles de régression ne se limitent pas à une seule variable explicative

En finance, nous faisons souvent l’hypothèse qu’un ensemble de facteurs expliquent l’évolution d’une variable

Nous pouvons estimer les liens à l’aide d’un modèle de régression linéaire multiple

ikikiii XbXbXbbY ...22110

19


Hypothèses d’un modèle de régression multiple:

1. La relation qui unit la variable dépendante Y aux variables X est linéaire (les variables X et Y n’ont pas besoin d’être linéaires)

2. Le terme d’erreur est une variable aléatoire distribuée normalement avec une moyenne de 0 et une variance σ2 constante

3. Cov(X, ε) = 0

4. Cov(εi, εj) = 0

5. Cov(Xj, Xk) = 0

20


Analyse de variance (ANOVA) :

ANOVA est un test souvent utilisé pour vérifier l'hypothèse selon laquelle la dispersion de plusieurs distributions Normales est effectivement identique

En finance, nous utilisons davantage l’analyse de variance pour vérifier si tous les coefficients d’un modèle de régression sont nuls

H0 : b1 = b2 = … = bk = 0

Ha : Au moins un coefficient est différent de 0

ANOVA est habituellement basé sur un F-test

21



Plusieurs informations sont nécessaires afin de pouvoir appliquer un test d’analyse de variance :

Le nombre total d’observations (n)

Le nombre de paramètres de pente « b1, b2, … , bk » (k)

La somme des résidus au carrés :

La variation de Y expliquée par la régression :

n

ii

n

iii YY

1

2

1

2)ˆ(

n

iii YY

1

2)ˆ(

22



Pour réaliser un test d’analyse de variance, nous calculerons donc la statistique F :

Où F aura un nombre de degrés de liberté égal au nombre de paramètres de pentes « k » (numérateur) et à « n – (k + 1) » (dénominateur).

1ˆ

)ˆ(

1

2

1

2

kn

kYYF n

ii

n

iii

23



ANOVA est habituellement utilisé pour tester des modèles de régression multiple. S’il n’y a qu’une seule variable à tester, il sera plus simple d’utiliser un t-test

Plus la valeur de F sera élevée, plus les pentes des paramètres permettront d’expliquer la variable Y

24


Coefficient de détermination ajusté:

Le coefficient de détermination illustre la précision avec laquelle un modèle de régression permet d’expliquer les variations de la variable dépendante

Cependant, l’addition de variables explicatives dans un modèle de régression multiple augmente le R2 même si ces variables X n’expliquent que faiblement la variation de Y

Plusieurs spécialistes ajustent donc le calcul du R2 pour que la valeur de ce dernier n’augmente pas des suites du simple ajout de variables explicatives.

)1(1

11 22 R

kn

nR

25


Limites:

La valeur des paramètres estimés d’un modèle de régression peuvent évoluer dans le temps

Les prédictions basées sur un modèle de régression ne seront pas valides si les hypothèses du modèle ne tiennent pas

La variance des termes d’erreur n’est pas toujours stable, ce qui entraîne un problème d’hétéroscédasticité

Si les termes d’erreur sont corrélés entres-eux, alors il y a un problème d’autocorrélation

Si les variables indépendantes sont corrélées entres-elles, alors il y a un problème de multicollinéarité

26

Problèmes associés à l’analyse de régression

27

Hypothèses1. La relation qui unit la variable dépendante Y aux variables

X est linéaire (les variables X et Y n’ont pas besoin d’être linéaires)

2. Le terme d’erreur est une variable aléatoire distribuée normalement avec une moyenne de 0 et une variance σ2 constante.

• Variance pas constante Hétéroscédasticité

3. Cov(X, ε) = 0• Termes d’erreurs corrélés avec les variables explicatives

Endogénéïté

4. Cov(εi, εj) = 0

• Termes d’erreurs corrélés entre eux Autocorrélation

5. Cov(Xj, Xk) = 0

• Variables indépendantes corrélées Multicollinéarité

28

HétéroscédasticitéEn quelques mots : La variance des termes d’erreur diffère entre les observations

Les paramètres estimés demeurent valides

Les tests de signification du modèle (F-test et t-test) ne sont pas fiables

La dispersion des résidus n’est pas constante

29

Hétéroscédasticité

En présence d’hétéroscédasticité, la valeur du statistique t et du statistique F seront surestimés

Nous aurons donc tendance à rejeter plus souvent qu’il ne le faudrait l’hypothèse nulle

Test pour détecter l’hétéroscédasticité conditionnelle : Test Breusch-Pagan

Cette méthode examine si la variance estimée des résidus d’une régression dépend de la valeur des variables explicatives.

30

HétéroscédasticitéTest Breusch-Pagan

Supposons un modèle de régression linéaire pour lequel nous avons les résidus

Le test de Breusch-Pagan consiste à régresser les résidus du modèle de régression initial par les variables explicatives de ce modèle

Modèle de régression initial :

Régression selon Breusch-Pagan :

i

iii XbbY ...110

iii X ...ˆ 1102

31

HétéroscédasticitéTest Breusch-Pagan

H0 : Homoscédasticité (absence d’hétéroscédasticité)

Ha : Présence d’hétéroscédasticité

Nous calculerons « n*R2 »

où n = nombre d’observations

R2 = Coefficient de détermination de la régression :

« n*R2 » suivra une distribution du Khi carré (test unilatéral) avec un nombre de degrés de liberté égal au nombre de variables indépendantes de la régression

Nous rejetterons l’hypothèse nulle lorsque la valeur de « n*R2 » sera supérieure à la valeur critique

iii Xbb ...ˆ 1102

32

HétéroscédasticitéMéthode de correction

Les méthode de correction pour l’hétéroscédasticité les plus populaires sont :

Régression robustes (méthode de White) Les moindres-carrés pondérés Les moindres-carrés quasi-généralisés

33

Autocorrélation

En quelques mots : Les résidus sont corrélés entre eux. C’est un problème fréquent des séries chronologiques

Les paramètres estimés demeurent valides (sauf si une variable X est un« lag » de la variable Y)

Les tests de signification du modèle (F-test et t-test) ne sont pas fiables

34

Autocorrélation

Autocorrélation positive : un résidu positif pour une observation accroît les probabilités d’obtenir un résidu positif pour l’observation suivante. C’est le type d’autocorrélation le plus fréquent.

Autocorrélation négative : un résidu positif pour une observation accroît les probabilités d’obtenir un résidu négatif pour l’observation suivante

En présence d’autocorrélation positive, la valeur du statistique t et du statistique F seront surestimés

Nous aurons donc tendance à rejeter plus souvent qu’il ne le faudrait l’hypothèse nulle

35

Autocorrélation

Tester pour détecter l’autocorrélation Test Durbin-Watson

Cette méthode examine si les résidus d’une régression sont corrélés à travers le temps

)ˆvar(

)ˆvar()ˆ,ˆcov(2)ˆvar(

ˆ

)ˆˆ(11

1

2

2

21

t

ttttT

tt

T

ttt

DW

36

Autocorrélation

Test de Durbin-Watson

Pour des échantillons de grande taille (n > 50), le test DW tendra vers :

Où r est la corrélation entre et

Si les termes d’erreur sont non corrélés, alors le terme de corrélation sera égal à 0. Dans ce cas, la valeur de DW sera de 2

0 ≤ DW < 2 Autocorrélation positive DW = 2 Absence d’autocorrélation 2 < DW ≤ 4 Autocorrélation négative

)1(2 rDW

t 1ˆ t

37

Autocorrélation


À partir d’un échantillon, il est nécessaire de poser un test d’hypothèse pour déterminer s’il y a présence d’auto-corrélation à partir d’un test DW

H0 : Absence d’autocorrélation positive

Les valeurs dL et du s’obtiennent à partir d’une table DWdL du

Zone d’incertitude

On ne rejette pas l’hypothèse nulle

On rejette l’hypothèse nulle

38

Autocorrélation


Plusieurs facteurs doivent être réunis pour qu’il soit possible d’appliquer un test de Durbin-Watson :

1. Le modèle doit posséder une constante (b0 ≠ 0)

2. Le nombre d’observations doit être supérieur ou égal à 15

3. Le modèle estimé ne doit pas contenir la variable dépendante retardée (« laggée ») dans les variables explicatives

4. Le test DW permet uniquement de tester l’autocorrélation d’ordre 1

39

AutocorrélationMéthode de correction

Les méthode de correction pour l’autocorrélation les plus populaires sont :

Modèles autorégressifs Les moindres-carrés généralisés La procédure Cochrane-Orcutt

40

Multicollinéarité

En quelques mots : Deux ou plusieurs variables indépendantes sont corrélées entre-elles

Bien qu’il soit possible d’estimer les paramètres de régression, la multicollinéarité complique l’interprétation que l’on peut faire des résultats

Il devient pratiquement impossible de distinguer l’impact individuel d’une variable indépendante

On rejette plus rarement l’hypothèse nulle de signification des paramètres des variables indépendantes

41

Multicollinéarité

Il n’existe pas de test statistique formel pour détecter la présence de multicollinéarité

En pratique, ce n’est pas tant la présence/absence multicollinéarité qui nous intéresse que la force de cette relation

Le coefficient de corrélation entre deux variables n’est pas un bon indicateur de la multicollinéarité

Un faible coefficient de corrélation n’exclut pas la présence d’un problème de multicollinéarité

r est un bon indicateur si seulement 2 variables explicatives

Obtenir un R2 élevé, un F-test significatif et des t-test non significatifs = symptôme commun de la multicollinéarité

42

Multicollinéarité

Lorsqu’on soupçonne un problème de multicollinéarité, la solution la plus simple consiste à exclure une ou plusieurs variables indépendantes d’un modèle

Supprimer une variable d’un modèle n’est cependant pas une solution miracle : exclure une variable explicative peut être une cause de mauvaise spécification d’un modèle et entraîner divers problèmes tels que l’hétéroscédasticité

43

Spécification d’un modèleQuelques principes de base peuvent aider à guider le choix d’un modèle de régression :

1. Le modèle doit être cohérent avec l’intuition économique

2. La forme des variables dans la régression doit être conséquente avec la nature de ces variables

3. Le modèle doit permettre d’obtenir des résultats fiables avec le plus petit nombre possible de variables. Ceci signifie que chaque variable doit jouer un rôle essentiel.

4. Il est important de vérifier si les hypothèses propres aux modèles de régression tiennent avant d’accepter un modèle

5. Tout modèle doit être testé au-delà des données de l’échantillon initial avant d’être accepté

Documents

1 - 11 - Corrélation et régression linéaire Version 1.2