Upload
lucie-charles
View
105
Download
1
Embed Size (px)
Citation preview
La corrélation et la régression multipleLa corrélation et la régression multiple
Idée de la régression simpleIdée de la régression simple
Supposons que nous avons 2 variables (u,v) où chacune contient 2 Supposons que nous avons 2 variables (u,v) où chacune contient 2 participants.participants.
Il y a deux façons de « voir » ces données:Il y a deux façons de « voir » ces données:1- De façon habituelle (par rapport aux variables)1- De façon habituelle (par rapport aux variables)
1
2
6 2
1 5
Sujet u v
s
s
Idée de la régression simpleIdée de la régression simple
Supposons que nous avons 2 variables (u,v) où chacune contient 2 Supposons que nous avons 2 variables (u,v) où chacune contient 2 participants.participants.
Il y a deux façons de « voir » ces données:Il y a deux façons de « voir » ces données:2- De façon vectorielle (par rapport aux sujets)2- De façon vectorielle (par rapport aux sujets)
1 2
6 1
2 5
Sujet s s
u
v
Idée de la régression simpleIdée de la régression simple
VecteursVecteurs
1 2
6 1
2 5
Sujet s s
u
v
Un vecteur est déterminé par sa longueur et son orientationUn vecteur est déterminé par sa longueur et son orientation
Idée de la régression simpleIdée de la régression simple
VecteursVecteurs La longueur d’un vecteurLa longueur d’un vecteur
61
La longueur (norme) d’un vecteur est notée:
Autrement dit, la norme équivaut à calculer l’écart-type
T 2 2 2
1
6 1 37n
ii
u u u u
Idée de la régression simpleIdée de la régression simple
VecteursVecteurs Standardiser les donnéesStandardiser les données
On ramène la longueur du vecteur à 1On ramène la longueur du vecteur à 1 6 / 37/
1/ 37
u u
Idée de la régression simpleIdée de la régression simple
VecteursVecteurs Relation entre 2 vecteursRelation entre 2 vecteurs
Si on a les mêmes valeurs dans chacune des deux variables, Si on a les mêmes valeurs dans chacune des deux variables, alors les deux vecteur seront superposés. À mesure que les alors les deux vecteur seront superposés. À mesure que les données diffèrent pour chacune des variables, l’angle entre les données diffèrent pour chacune des variables, l’angle entre les deux vecteurs augmentera.deux vecteurs augmentera.
Idée de la régression simpleIdée de la régression simple
VecteursVecteurs Relation entre 2 vecteursRelation entre 2 vecteurs
Donc, plus l’angle augmente, plus la partie commune diminue. Donc, plus l’angle augmente, plus la partie commune diminue. Si l’angle est de 90Si l’angle est de 90º, alors il n’y a plus de partie commune.º, alors il n’y a plus de partie commune.
Idée de la régression simpleIdée de la régression simple
VecteursVecteurs Relation entre 2 vecteursRelation entre 2 vecteurs
Or, le cosinus de cet angle est le coefficient de corrélation. Or, le cosinus de cet angle est le coefficient de corrélation.
Si l’angle est nul (ou de 180Si l’angle est nul (ou de 180ºº) alors le cosinus vaut 1 (ou -1); ) alors le cosinus vaut 1 (ou -1); indiquant une relation parfaite. Et à l’autre extrême, si l’angle indiquant une relation parfaite. Et à l’autre extrême, si l’angle est de 90est de 90ºº (ou 270 (ou 270ºº), alors le cosinus vaut 0; indiquant une ), alors le cosinus vaut 0; indiquant une absence de relation.absence de relation.
T1 cov
cos
n
i ii r
s s
uv
uvu v
u vu v
u v u v
Idée de la régression simpleIdée de la régression simple
Donc, comment peut-on déterminer les poids de régression pour décrire la Donc, comment peut-on déterminer les poids de régression pour décrire la relation suivante ? relation suivante ?
L’idée est de trouver la projection (l’ombre) de L’idée est de trouver la projection (l’ombre) de vv sur sur uu la plus courte la plus courte
0 1v̂ b b u
Idée de la régression simpleIdée de la régression simple
Donc, comment peut-on déterminer les poids de régression pour décrire la Donc, comment peut-on déterminer les poids de régression pour décrire la relation suivante ? relation suivante ?
L’idée est de trouver la projection (l’ombre) de L’idée est de trouver la projection (l’ombre) de vv sur sur uu la plus courte la plus courte
0 1v̂ b b u
Démo au tableau
-1T T1
-121 2
covcov
b
b ss
uvu uv
u
u u u v
(Vraie uniquement dans le cas 2D)
Mesure de la relation entre une Mesure de la relation entre une variable dépendante et plusieurs variable dépendante et plusieurs
variables indépendantesvariables indépendantes
Nous sommes en présence de plusieurs prédicteursNous sommes en présence de plusieurs prédicteurs
Exemple avec 2 prédicteursExemple avec 2 prédicteurs
Mesure de la relation entre une Mesure de la relation entre une variable dépendante et plusieurs variable dépendante et plusieurs
variables indépendantesvariables indépendantes
Puisque dans notre cas nous avons 2 prédicteurs, il est possible de Puisque dans notre cas nous avons 2 prédicteurs, il est possible de représenter la relation dans un nuage de points en 3 dimensionsreprésenter la relation dans un nuage de points en 3 dimensions
Mesure de la relation entre une Mesure de la relation entre une variable dépendante et plusieurs variable dépendante et plusieurs
variables indépendantesvariables indépendantes
Nous pouvons illustrer aussi les différentes relations par une Nous pouvons illustrer aussi les différentes relations par une matrice de diagrammes de dispersion bivariée.matrice de diagrammes de dispersion bivariée.
x1
x1 x2 y
x2
y
Mesure de la relation entre une Mesure de la relation entre une variable dépendante et plusieurs variable dépendante et plusieurs
variables indépendantesvariables indépendantes
Nous pouvons également calculer les corrélations bivariées.Nous pouvons également calculer les corrélations bivariées.
Mesure de la relation entre une Mesure de la relation entre une variable dépendante et plusieurs variable dépendante et plusieurs
variables indépendantesvariables indépendantes
De la droite de régression vers l'hyperplan de régressionDe la droite de régression vers l'hyperplan de régression
Idée de la régression simpleIdée de la régression simple
Illustration graphiqueIllustration graphique
1 2
1
2
3
4
5
30 15 34
25 10 25
28 12 30
32 14 38
22 13 26
Sujet x x y
s
s
s
s
s
Il n’est pas possible d’illustrer graphiquement les vecteurs en 5 dimensions. Toutefois, les calculs sont sensiblement les mêmes.
Idée de la régression multipleIdée de la régression multiple
Donc, comment peut-on déterminer les poids de régression pour décrire la relation suivante ?
1T T
0
1
2
1 30 15 1 30 15 1 30 15 34
10.16811 25 10 1 25 10 1 25 10 25
1.01 28 12 1 28 12 1 28 12 30
1 32 14 1 32 14 1 32 14 38
1 22 13 1 22 13 1 22 13 26
b
b
b
1681
1.0084
1 2ˆ 10.1681 1.01681 1.0084y x x
1T Tb X X X y Formule universelle, quelque soit le nombre de
prédicteurs (et de variables prédites)
Les coefficients de régression Les coefficients de régression standardisésstandardisés
Permet de mesurer « l’importance » des prédicteurs, puisque ceux-ci ont tous une variabilité de 1 et une moyenne de 0.
i ii
y
b s
s
1 11
1.01681*3.974920.740387
5.45894y
b s
s
2 22
1.0084*1.923540.355326
5.45894y
b s
s
1 2ˆ 0.740387 0.355326zy z z
Donc, une augmentation d’une unité au niveau de z1, augmentera de 0.74 écart-types au niveau de yZ.
^
Le coefficients de déterminationLe coefficients de détermination
Tout comme en régression simple, en régression multiple, il existe un coefficient de détermination multiple (R2). Ce R2 s’interprète de façon similaire qu’en régression simple, soit le pourcentage de variance expliquée par l’ensemble des prédicteurs.
Matrice des sommes des carrés et produits croisés (SSCP) (Sum of square and cross product)
1 1 2 21 1 1
1 11
2 21
1
63.2 16.4 80.8
16.4 14.8 31.6
80.8 31.6 119.2
n n n
j j jj j j
n
jj
n
jj
n
jj
x x x x y y
x x
x x
y y
SSCP
Le coefficients de déterminationLe coefficients de détermination
Tout comme en régression simple, en régression multiple, il existe un coefficient de détermination multiple (R2). Ce R2 s’interprète de façon similaire qu’en régression simple, soit le pourcentage de variance expliquée par l’ensemble des prédicteurs.
En divisant la matrice SSCP par le nombre de degrés de liberté on obtient une matrice de variance - covariance
1 2
1
2
15.8 4.1 20.2
4.1 3.7 7.91
20.2 7.9 29.8
x x y
x
x
y
s s s
s
sn
s
SSCP
De plus, la matrice SSCP peut se partitionner en fonction des variables prédicteurs et de la variable prédite (critérium)
63.2 16.4 80.8
16.4 14.8 31.6
80.8 31.6 119.2
SSCP
Scp
Spp Spc
Scc
Le coefficients de déterminationLe coefficients de détermination
Tout comme en régression simple, en régression multiple, il existe un coefficient de détermination multiple (R2). Ce R2 s’interprète de façon similaire qu’en régression simple, soit le pourcentage de variance expliqué par l’ensemble des prédicteurs.
Le R2 est le résultat du produit matriciel suivant:
2 2 1 5 11 (1 ) 1 (1 0.9566) 0.9132
1 5 2 1adj
nR R
n p
1
12 63.2 16.4 80.880.8 31.6 119.2 0.9566
16.4 14.8 31.6R
Le R2adj est une estimation non biaisé de la variabilité dans la population
2 1 1cp pp pc ppR s s s s
Test d’hypothèseTest d’hypothèse
2
2
122.0273
1
R n pF
pR
L’hypothèse émise est que le coefficient de détermination entre les prédicteurs et le critérium y est nulle dans la population. Autrement dit, on cherche à savoir quels sont les x et y linéairement indépendants. Si on rejette cette hypothèse, alors cela indique que les populations ne sont pas indépendantes et qu’il existe une relation linéaire entre les deux.
20
21
: 0
: 0
Xy
Xy
H
H
(0.05,2,2) 19.00critF
Comme le Fobs >Fcrit (22.0273>19.00), on rejette H0 et on
accepte H1. Les 2 populations sont dépendantes.
Test d’hypothèse/ANOVATest d’hypothèse/ANOVA L’hypothèse émise est que le coefficient de détermination entre les
prédicteurs et le critérium y est nulle dans la population.
Comme F(2,2)=22.0273, p.<0.05, on rejette H0 et on accepte H1.
Les 2 populations sont dépendantes.
22
22 (1 )
(1 ) 11
1
régcccc
erreur
cccc
cc
Source SC dl CM F
CMR SRégression R S p
p CM
R SErreur R S n p
n p
Total S n
Corrélations partielles Corrélations partielles et semi partielleset semi partielles
2 2 212... ... 12...( )...i y i p y i psr R R
L’idée est de mettre en évidence l’effet d’un prédicteur sur notre variable prédite en contrôlant les effets des autres prédicteurs.
• Coefficient de détermination semi partielle
C’est la variance globale (R2) moins la variance globale en excluant le prédicteur à l’étude de la banque de données. La portion de variance qui est unique au prédicteur
22
212...( )...1i
iy i p
srpr
R
• Coefficient de détermination partielle
C’est la proportion de variance associée avec un prédicteur mais pas avec les autres. Autrement dit, c’est la quantité de variance non estimée par les autres prédicteurs mais qui l’est par le prédicteur à l’étude.
Corrélations partielles Corrélations partielles et semi partielleset semi partielles
ab
c
e
Y
x1 x2
21Yr a c 22Yr b c
21Yr a b c
2 2 21 12 2Y Ysr R R a
22 1
1 221 y
sr apr
a eR
2 2 22 12 1Y Ysr R R b
22 2
2 211 y
sr bpr
b eR
Corrélations partielles Corrélations partielles et semi partielleset semi partielles
Exemple
39 % de la variance de y est expliquée uniquement par le premier prédicteur.
9% de la variance de y est expliquée uniquement par le deuxième prédicteur.
90% de la variance de y non expliquée par le deuxième prédicteur, l’est par le premier.
67% de la varaince de y non expliquée par le premier prédicteur, l’est par le deuxième.
x1
x2
Corrélations partielles Corrélations partielles et semi partielleset semi partielles
Test de signification
2
2 2
( 1) 1
1 1i
i i i
sr n p n pF sr t
R R
x1
x2
Comme les différents paramètres (pri, bi, Bi) dépendent tous de la proportion de variance expliquée par le coefficient de corrélation semi partielle, si ce dernier est significatif, alors tous les autres paramètres le seront aussi.
Les erreurs types associées aux Les erreurs types associées aux paramètres de la régressionparamètres de la régression
Erreur type associée aux coefficients de régression
2
1
1i
i
Erreurb
pp i
CMSE
S R
Erreur type associée aux coefficients de régression standardisée
i
i i
pp
bcc
SSE SE
S
2où Le coefficient de détermination lorsque
le prédicteur agit en tant que variable prédite
par rapport aux autres prédicteurs
iR
i
Les intervalles de confiance associées Les intervalles de confiance associées aux paramètres de la régressionaux paramètres de la régression
Intervalle de confiance associé aux coefficients de régression
( / 2; 1)ii bb SE t n p
Intervalle de confiance associé aux coefficients de régression standardisée
( / 2; 1)ii SE t n p (0.05 / 2;5 2 1) (0.05 / 2,2) 4.30t t
Diagnostique et remèdeDiagnostique et remède
- Diagrammes de dispersion
- Diagrammes des résiduels
- Diagramme de normalité
- Multicolinéarité
- Scores extrêmes
Diagrammes de dispersionDiagrammes de dispersion
Exemple tiré de HowellLes diagrammes de dispersion peuvent aider à voir la nature et la force des relations bivariées. On peut également voir s’il y a des scores extrêmes et des « trous ».
Diagrammes des résiduelsDiagrammes des résiduels
Pour évaluer si une relation nonlineaire est présente et si la variance de l’erreur est constante (homoscédasticité) on regarde les graphiques des résiduels en fonction des prédicteurs.
ˆRésiduel i i ie y y
Diagrammes des résiduelsDiagrammes des résiduels
Pour évaluer si une relation nonlineaire est présente et si la variance de l’erreur est constante (homoscédasticité) on regarde les graphiques des résiduels en fonction des prédicteurs et en fonction de la variable prédite
ˆRésiduel i i ie y y
Il peut être plus facile à voir l’homoscédasticité si le graphique est construit en par rapport à la valeur absolue des résiduels
Diagramme de normalitéDiagramme de normalité
Pour évaluer si la distribution des erreurs est normale, on fait un graphique des probabilités normales
0.375Attendue
0.25Erreur
RangCM z
n
r = 0.99
MulticolinéaritéMulticolinéarité
Dans un monde idéal, chaque prédicteur serait corrélé avec la variable dépendante et ils ne seraient pas corrélés entre eux. Toutefois, cela n’arrive jamais et les prédicteurs sont dans les faits corrélés entre eux. Si la corrélation est élevé alors on dira qu’il y a un problème de multicolinéarité.
S’il y a multicolinéarité, alors cela indique qu’une (ou plusieurs) variable(s) est (sont) redondante(s).
MulticolinéaritéMulticolinéarité
Exemple: 1 21x xr
Première solution
1 2ˆ 87 18y x x
MulticolinéaritéMulticolinéarité
Exemple: 1 21x xr
Deuxième solution
1 2ˆ 7 9 2y x x
MulticolinéaritéMulticolinéarité
Exemple: 1 21x xr
Illustration des deux solutions
2 15 0.5x x
Par conséquent, aucun interprétation est possible.
MulticolinéaritéMulticolinéaritéTolérance: Permet de mesurer l’indépendance d’un prédicteur donné par rapport aux autres prédicteurs. La tolérance doit être le plus grand possible (>0.1).
21i iTolerance R
Variance Influence Factor (VIF): Permet de mesurer l’inflation de la variance d’un coefficient de régression i du au fait de la corrélation du prédicteur i avec les autres prédicteurs. Le VIF est la réciproque de la tolérance. Comme nous désirons des coefficients stables, le VIF doit être le plus petit possible (<10).
2
1 1
1iii
VIFToleranceR
Des valeurs élevé de VIF indiques en général des différences élevées entre les estimés et les vrais coefficients de régression.
MulticolinéaritéMulticolinéaritéExemple
Scores extrêmesScores extrêmes
1T TH X X X XHat matrix:
Identification d’un score extrême chez la variable dépendante:
Studentized Deleted Residual
ˆ Y HY
( ) e I H Y
Valeurs prédites:
Résiduels:
2
2ˆ(1 )i
err ii i
n pe
SC h e
YSDR:
Scores extrêmesScores extrêmesIdentification d’un score extrême chez la variable dépendante:
Studentized Deleted Residual
L’idée est de mesurer la différence entre le résiduel observé et le résiduel obtenu lorsque la ième variable est enlevée. Cette différence est alors normalisée pour donner le score ti.
Scores extrêmesScores extrêmesIdentification d’un score extrême chez la variable dépendante:
Studentized Deleted Residual
Les données se distribuent selon une distribution de Student (t). Il suffit de faire une correction de Bonferronni pour identifier les scores extrêmes.
2*bonf
n
2dl n p
Exemple
0.050.005
2*50bonf
2 50 5 2 43dl n p
3.53critt
Scores extrêmesScores extrêmes
0 1iih Leverage:
Identification d’un score extrême chez les prédicteurs:
Hat matrix leverage value
Le score indique la distance entre la valeur d’une observation et la valeur de la moyenne de toutes les observations.
Note: dans SPSS le leverage est données par hii-1/n.
Scores extrêmesScores extrêmesIdentification d’un score extrême chez les prédicteurs:
Hat matrix leverage value
Un score sera considéré comme extrême si
- hii>2(p+1)/n
- hii>0.5 (note: 0.2< hii<0.5 = effet moyen)
Exemple: le critère = 2(p+1)/n = 0.24
Les scores 3 et45 sont possiblementProblématiques.
Scores extrêmesScores extrêmesUne fois que les scores extrêmes sont identifiés, il faut vérifier leur influence:
DFFITS
Permet de mesurer l’influence de l’observation i sur la valeur prédite de cette observation.
( )
( )
ˆ ˆ
1i i i ii
i iiierr i ii
Y Y hDFFITS t
hCM h
C’est en fait un studentized deleted residual pondéré par le leverage de l’observation
Scores extrêmesScores extrêmesUne fois que les scores extrêmes sont identifiés, il faut vérifier leur influence:
DFFITS
Un score sera considéré comme extrême si
- DFFITSi > 2((p+1)/n) Pour de grand échantillons
- DFFITSi > 1 Pour de petit et moyen échantillon
Scores extrêmesScores extrêmesUne fois que les scores extrêmes sont identifiés, il faut vérifier leur influence:
Distance de Cook
Permet de mesurer l’influence de la ième observation sur l’ensemble des n valeurs prédites.
2
( ) 21
2
ˆ ˆ
( 1)( ) ( 1)( ) 1
n
j j ij i ii
ierreur erreur ii
Y Ye h
Dp CM p CM h
Il a noter que Di dépend de la valeur du résiduel et du leverage.
Scores extrêmesScores extrêmesUne fois que les scores extrêmes sont identifiés, il faut vérifier leur influence:
Distance de Cook
Les données se distribuent selon un F(p+1, n-p-1). Si le percentile est inférieur à ~10-20%, l’observation n’a pas beaucoup d’influence sur la valeur prédite. Si le percentile est ~50% ou +, l’observation a un bon effet sur la valeur prédite.
F(p+1, n-p-1) => F(5+1, 50-5-1) = >F(6, 44) = 0.33, p = 0.085