Méthodes de régression

B. Palagos Année 2008 -2009 M2 Sciences des Procédés - Sciences des Aliments

B. PalagosUMR ITAPCemagref

bernard.palagos@cemagref.fr

2 Année 2008 -2009 M2 Sciences des Procédés - Sciences des Aliments

Utilisée pour expliquer, décrire ou prédire une variable quantitative y en fonction d’une ou plusieurs variables x1 ,….., xp.

Par exempley peut-être le prix du pain en fonction de la teneur en eau x

réponse prédicteur(s)variable à expliquer variable(s) explicative(s)sortie entrée(s)variable dépendante variable(s) indépendante(s)variable exogène variable(s) endogène (s)

p = 1 régression linéaire simplep > 1 régression linéaire multiple (MLR)

LA REGRESSION LINEAIRE

MESURE DE LA RELATION ENTRE 2 VARIABLES CONTINUES

2500 3000 3500 4000

IPRIX du pain en fonction de la teneur en EAU

Corrélation : -0.76

PRI EAU

63.00 3635.00

77.00 3190.00

86.00 3530.00

89.00 3350.00

91.00 3070.00

92.00 3130.00

92.00 3635.00

95.00 3490.00

95.00 3460.00

106.00 3380.00

74.00 3500.00

76.00 4030.00

85.00 3365.00

57.00 3515.00

95.00 3960.00

132.00 2925.00

152.00 2720.00

153.00 2340.00

: Coefficient de corrélation (Pearson) entre deux variables aléatoires X et Y (populations)

2 échantillons x et y de moyennes et

r estimateur de

r est toujours compris entre -1 et + 1.

si r proche de + 1 ou - 1 , x et y sont bien corrélées; le nuage de points est presque aligné le long d'une droite (croissante si r > 0, décroissante si r < 0).

r = 0 Pas de lien linéaire entre x et y

COEFFICIENT DE CORRELATION

yyxxyxr

))((),(

Si taille échantillon n est faible il faut être prudent

sur la significativité du coefficient calculé. Il existe

des tables statistiques (et logiciels) qui donnent la

limite de significativité de r .

ddl = n-2

n=3 r > 0.99n= 7 r > 0.75

r = -1 r = -.6 r = 0

r = .6 r = 1

1),(1 yxr

r = 0.5 r = - 0.9

r = 0.8r = 0.0

Toujours faire un graphique

2500 3000 3500 4000

FAIRE PASSER UNE DROITE

On modélise la relation linéaire entre y et x par y = a+b x (équation d’une droite)

2500 3000 3500 4000

I minimumˆ

iii yyOn cherche la droite (a et b ) telle

MOINDRES CARRES

iy - iy

iy),(scoordonnéedepoints ii yx

ii bxay ˆ

bxay ˆ

RESULTAT DES MOINDRES CARRES

2500 3000 3500 4000

IPRI = 258 – 0.05 EAU

Équation de la droite

xxyyb n

bxay ˆ

xy iii xy

Moindre carrés : a et b tels que minimum

ii bxay

ESTIMATIONS – Cas p=1

coefficients de régression

b (pente) et a (ordonnée à l’origine)

2 3 4 5 6 7 8

ii yy ˆ

yyi ˆ

ii yySST

iii yySSE

ii yySSR

2)ˆ(SSESSRSST

CAS DE LA REGRESSION SIMPLE p=1

R2 = SSR/SST coefficient de détermination ou pourcentage de variance expliquée par la régression

10 2 R

Quand p=1 R² = r² r : coefficient de corrélation linéaire

Pour le pain: r=-0.76 donc R²= (-0.76)²

COEFFICIENT DE DETERMINATION - R²

Propriétés Permet de juger de la qualité de la régression

Idéal R² = 1

Mauvaise régression: R² = 0

Étalonnage d’un appareil de mesure

variété référence infrarougeAmi 8.6 9.1Apollo 11.1 12.4Arminda 11.6 12.5Artaban 10.9 10.1Avital 10 10.6Baroudeur 11.6 11.5Beauchamp 10.4 10.8CWRS 11.6 11.3Camp-Remy 12.9 11.6Carolus 9 8.2Castan 13.1 12.9Centauro 10.3 10.4Courtot 13.1 13.3Duck 11.6 11.3Manital 14 13.7Recital1 11.5 11.1Recital2 10.5 9.8Rossini 9.7 9.1Scipion 11 11.6Sidéral 11.6 11.5Sleipjner 12 13.2Soissons1 10.6 10.1Soissons2 10 10.3Tango 11.5 11.5Thésée 10.1 9.2Win 11.8 11.5

Taux de protéine de 26 variétés de blé

- analyse chimiques très précises, très longues (mesure de référence) ( x )

- Spectrométrie proche infra-rouge (SPIR) plus rapide mais mesure indirecte à mettre en relation avec méthode de référence (y)

- régression y= a+bx+E

Données / droite de régressionR²=0.785

8.6 9.6 10.6 11.6 12.6 13.6 14.6

référence

y = 0.157+0.981x

Response: infrarouge Df Sum Sq Mean Sq F value Pr(>F) Reference 1 38.731 38.731 87.954 1.696e-09 ***Residuals 24 10.569 0.440 ---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 0.1566 1.1741 0.133 0.895 reference 0.9808 0.1046 9.378 1.70e-09 ***---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: 0.6636 on 24 degrees of freedomMultiple R-Squared: 0.7856, Adjusted R-squared: 0.7767 F-statistic: 87.95 on 1 and 24 DF, p-value: 1.696e-09

Étalonnage d’un appareil de mesure

p-value

Calculs avec logiciel R

Variance de l’erreur

Variance de j

T Loi de Student à n-2 degrés de liberté :

valeur t ayant la probabilité d'être dépassée en valeur absolue.

P ( - t T t ) = 1 - . Ou : P ( T - t ) = /2 = P ( T t )

ˆHderejettsi

TEST DE NULLITE D’ UN COEFFICIENT

Les tests supposent hypothèse normalité des erreurs (vérification a posteriori)

0:0 jHTest Coefficient pas significatif

8 9 10 11 12 13

infrarouge

-2 -1 0 1 2

Normal Q-Q Plot

Theoretical Quantiles

COMMENT VERIFIER LES HYPOTHESES SUR L’ERREUR

On regarde les résidus après régression iii yye ˆ

Pour vérifier l’homoscedastictéPour vérifier la normalité

JUGEMENT REGRESSION - R²

5 régressions

a: régression sans pb

b: modèle pas bon- résidus <0 puis >0 puis <0modèle quadratique

c: a priori une observation atypique

d: points alignés mais s’écartent différemment (variance erreurs pas constante)

e: droite n’existe que par la dernière observation

Explication de la consommation de « fuel »

On veut modéliser la consommation d ’un agent énergétique en fonction de facteurs explicatifs :

• La température moyenne sur un mois est une explication de la consommation

• L ’épaisseur de l ’isolation en est un autre

REGRESSION LINEAIRE MULTIPLE (MLR)

Gallons/Month Avrg. Temp (oF) Insulation (Inches)

275.30 40.00 3.00363.80 27.00 3.00164.30 40.00 10.0040.80 73.00 6.0094.30 64.00 6.00230.90 34.00 6.00366.70 9.00 6.00300.60 8.00 10.00237.80 23.00 10.00121.40 63.00 3.0031.40 65.00 10.00203.50 41.00 6.00441.10 21.00 3.00323.00 38.00 3.0052.50 58.00 10.00

Un modèle de régression linéaire

Observation i de la consommation mensuelle

Terme constant

Influence de la température

Influence de l ’isolation

Erreur aléatoire

iiii xxy 2211

n observations yi p variables xj continues n > p

Pour chaque observation : iippii xxy .....11

terme d’erreur non observéCoefficients inconnus

Modèle fuel : n=15 p=2

Source de variation (source)

Somme des carrés (sum of square)

Ddl (df) Carrés moyens (mean square)

Régression p

Erreurs (résiduals)

Totale n-1

iii yySSE

ii yySSR

ii yySST

SSECME

SSRCMM

Décomposition de la variance et tests

R2 coefficient de détermination ou pourcentage de variance expliquée par la régression

10 2 R

Quand p=1 R² = r² r : coefficient de corrélation linéaire

)1( 22

pRnRaj

COEFFICIENT DE DETERMINATION - R²

Propriétés

• Si p augmente R²

Permet de juger de la qualité de la régression

Idéal R² = 1

Mauvaise régression: R² = 0

il existe R² ajusté

TEST DE L’EXISTENCE DU MODELE

)1,(1/

iii yySSE

ii yySSR

F Loi de Fisher à (p,n-p-1 )degrés de liberté :

valeur f ayant la probabilité 0.05 d'être dépassée.

/Hderejetf

pSSRSi

0........: 210 pHTest

yyacceptéeHSi :0

EXEMPLE de MLR

reg1=lm(rdt ~ eng + pluie) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 28.095238 2.491482 11.277 0.000352 ***eng 0.038095 0.005832 6.532 0.002838 ** pluie 0.833333 0.154303 5.401 0.005690 ** ---Signif. codes: 0 `***' 0.001 `**' 0.01 `*' 0.05 `.' 0.1 ` ' 1 Residual standard error: 2.315 on 4 degrees of freedomMultiple R-Squared: 0.9814, Adjusted R-squared: 0.972 F-statistic: 105.3 on 2 and 4 DF, p-value: 0.0003472

rendement maïs dose engrais niveau précipitationy x1 x240 100 1050 200 2050 300 1070 400 3065 500 2065 600 2080 700 30

p-value

quantité de :V1 : tricalcium aluminateV2 : tricalcium silicateV3 : tetracalcium alumino ferriteV4 : dicalcium silicateCAL: calories par gramme de ciment

V1 V2 V3 V4 CAL7 26 6 60 78.51 29 15 52 74.3

11 56 8 20 104.311 31 8 47 87.67 52 6 33 95.6

11 55 9 22 109.23 71 17 6 102.71 31 22 44 72.52 54 18 22 93.1

21 47 4 26 115.91 40 23 34 83.8

11 66 9 12 113.310 68 8 12 109.4

REGRESSION MLR cas multicolinéarité

Exemple de traitement

V1 V2 V3 V4 CAL

V1 1 0.23 -0.82 -0.24 0.73

V2 1 -0.13 -0.97 0.82

V3 1 0.03 -0.53

V4 1 -0.82

V1 V2 V3 V4 CAL

min 1 26 4 6 72.5

Q1 2 31 8 20 83.8

Q2 7 52 9 26 95.6

moy 7.5 48.2 11.8 30 95.4

Q3 11 56 17 44 109.2

max 21 71 23 60 115.9

s 5.9 15.6 6.4 16.7 15.1

Matrice de corrélation

REGRESSION MLR

Estimate Std. Error t value Pr(>|t|) (Intercept) 63.4888 70.0031 0.907 0.3909 V1 1.5494 0.7440 2.082 0.0709V2 0.4960 0.7231 0.686 0 0.5121 V3 0.1004 0.7540 0.133 0.8974 V4 -0.1572 0.7084 -0.222 0.8299 Residual standard error: 2.444 on 8 degrees of freedomMultiple R-Squared: 0.9824, Adjusted R-squared: 0.9736 F-statistic: 111.7 on 4 and 8 DF, p-value: 4.721e-07

REGRESSION MLR

Résultats de la régression MLR

Au risque de 5% aucun coefficient n’est significatif que faire????

ACP sur le tableau X comprenant les variables V1 V2 V3 V4Valeur propres[1] 2.235 1.576 0.186 0.001Proportion of Variance 0.558 0.394 0.0466 0.0004Cumulative Proportion 0.558926 0.9529425 0.99959406 1.0000000000 Loadings (vecteurs propres):

C1 C2 C3 C4v1 -0.476 0.509 0.676 0.241v2 -0.564 -0.414 -0.314 0.642v3 0.394 -0.605 0.638 0.268v4 0.548 0.451 -0.195 0.677

C1= - 0.476 v1 – 0.564 v2 + 0.394 v3 + 0.548 v4C2= 0.509 v1 – 0.414 v2 - 0.605 v3 + 0.451 v4C3= 0.676 v1 – 0.314 v2 + 0.638 v3 - 0.195 v4C4= 0.241 v1 + 0.642 v2 + 0.268 v3 + 0.677 v4

REGRESSION SUR COMPOSANTES PRINCIPALES

On fait une ACP normée sur le tableau X donc sans la variable CAL

Combinaisons linéaires

C1 C2 C3 C4

1 -1.4672378 -1.9030358 -0.53000037 0.038529908

2 -2.1358287 -0.2383536 -0.29018640 -0.029832930

3 1.1298705 -0.1838772 -0.01071259 -0.093700786

4 -0.6598954 -1.5767743 0.17920354 -0.033116396

5 0.3587645 -0.4835379 -0.74012232 0.019187145

6 0.9666396 -0.1699440 0.08570243 -0.012167032

7 0.9307051 2.1348166 -0.17298595 0.008295395

8 -2.2321379 0.6916707 0.45971967 0.022605633

9 -0.3515156 1.4322451 -0.03156437 -0.044987631

10 1.6625430 -1.8280967 0.85119311 0.019836723

11 -1.6401799 1.2951128 0.49417844 0.031388975

12 1.6925940 0.3922488 -0.01980997 0.037185301

13 1.7456786 0.4375254 -0.27461537 0.036775709

V1 V2 V3 V4 CAL7 26 6 60 78.51 29 15 52 74.3

11 56 8 20 104.311 31 8 47 87.67 52 6 33 95.6

11 55 9 22 109.23 71 17 6 102.71 31 22 44 72.52 54 18 22 93.1

21 47 4 26 115.91 40 23 34 83.8

11 66 9 12 113.310 68 8 12 109.4

SCORESX y C

ACP sur XMLR

Coefficients:

Estimate Std. Error t value Pr(>|t|)

(Intercept) 95.4000 0.6430 148.373 < e-10 ***

C1 9.8791 0.4476 22.072 3.8e-09 ***

C2 0.1327 0.5331 0.249 0.8091

C3 4.6539 1.5492 3.004 0.0149 *

Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 2.318 on 9 degrees of freedom

Multiple R-Squared: 0.9822, Adjusted R-squared: 0.9763

F-statistic: 165.4 on 3 and 9 DF, p-value: 3.45e-08

CAL = 95.4 + 9.88 C1 + 0.13 C2 +4.65 C3

On repasse aux variables initiales:

CAL = 95.4 + 7.78 V1 + 4.16 V2 + -0.85 V3 – 6.38 V4

REGRESSION PLS

Méthode plus récente

Partial Least Square

Proche de la régression sur composantes principales

RCP : facteurs calculés qu’à partir des variables initiales (et donc sans référence à la variable à expliquer y).

PLS : La variable à expliquer et les variables explicatives sont prises en comptes simultanément.

REGRESSION PLS et PCR

RCP et PLS : On remplace l’espace initial par un espace de faible dimension engendré par un petit nombre de composantes (ou facteurs) ou variables latentes qui sont construites l’une après l’autre de façon itérative. Ces facteurs seront les nouvelles variables explicatives d’un modèle de régression linéaire.

Les facteurs sont orthogonaux (non corrélés), et sont des combinaisons linéaires des variables explicatives initiales.

RCP : facteurs calculés qu’à partir des variables initiales (et donc sans référence à la variable à expliquer y).

PLS : La variable à expliquer et les variables explicatives sont prises en comptes simultanément.

• Notion de covariance :

-0.4 -0.2 0 0.2 0.4 0.6

0.5 Cov>0Cov<0

yyxx ii

REGRESSION PLS

• Notion de covariance (bis) :– Cov(x,y) = (x) (y) r(x,y)

xTycov(x,y)

||y|| (y)

||x|| (x)

cos(x,y) = r(x,y)

Dans Rn

REGRESSION PLS

• Comment ça marche :– Cherche les combinaisons linéaires u de X, telles

Cov(Xu,y) maximale

– Une régression est ensuite calculée entre les variables latentes de X et y

REGRESSION PLS

v633 v649 v666 v683 v700 v716 v733 ytep1 0.70 0.94 1.48 1.40 0.31 0.06 0.06 87.372 1.93 2.47 3.49 3.14 0.90 0.24 0.12 87.163 1.27 1.66 2.45 2.21 0.54 0.13 0.08 87.574 1.07 1.22 1.71 1.51 0.36 0.10 0.10 87.165 0.49 0.64 1.00 0.90 0.15 0.01 0.04 85.996 0.59 0.83 1.30 1.15 0.19 0.01 0.04 86.417 0.43 0.46 0.69 0.65 0.14 0.04 0.07 80.758 0.53 0.48 0.67 0.64 0.14 0.03 0.06 78.749 1.25 1.30 1.67 1.62 0.65 0.33 0.25 79.2610 3.18 3.81 4.66 4.18 1.60 0.60 0.30 85.5611 1.36 1.51 2.04 1.94 0.66 0.30 0.23 82.3512 2.20 2.68 3.54 3.25 1.15 0.45 0.27 83.0813 0.46 0.60 1.09 1.10 0.23 0.04 0.06 81.1314 1.96 2.39 3.41 3.20 0.95 0.24 0.11 79.9715 0.56 0.77 1.33 1.31 0.29 0.05 0.06 82.44

X : absorbances aux longueurs d'onde (nm) 633 649 666 683 700 716 733, mesurées sur des pommesytep (dernière colonne) : teneur en eau des pommes

On cherche à prédire ytep en fonction de X

Estimate Std. Error t value Pr(>|t|) (Intercept) 77.726 5.987 12.982 3.74e-06 ***v633 -32.425 12.013 -2.699 0.0307 * v649 78.507 35.796 2.193 0.0644 . v666 -53.496 45.350 -1.180 0.2767 v683 45.365 38.510 1.178 0.2773 v700 -103.69 55.062 -1.883 0.1017 v716 50.320 127.846 0.394 0.7056 v733 22.613 114.740 0.197 0.8494 ---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.509 on 7 degrees of freedomMultiple R-Squared: 0.8906, Adjusted R-squared: 0.7813 F-statistic: 8.143 on 7 and 7 DF, p-value: 0.006459

v633 v649 v666 v683 v700 v716 v733 v633 1.00 0.99 0.98 0.97 0.99 0.93 0.79v649 0.99 1.00 0.99 0.99 0.98 0.90 0.74V666 0.98 0.99 1.00 1.00 0.97 0.86 0.68v683 0.97 0.99 1.00 1.00 0.97 0.86 0.69v700 0.99 0.98 0.97 0.97 1.00 0.96 0.83v716 0.93 0.90 0.86 0.86 0.96 1.00 0.96v733 0.79 0.74 0.68 0.69 0.83 0.96 1.00

Matrice de corrélation des prédicteurs

Corrélations très élevées !!

41 Année 2008 -2009 M2 Sciences des Procédés - Sciences des Aliments Master2 Biotech B.P 79

p Value ( = 0.01). Pas de rejet H0

p Value

= 0.01

La valeur 1.80 est dans la region d’acceptation

2.4377

p Value ( = 0.01). Rejet H0

p-Value

Probabilité d’être supérieur à la statistique calculée (ou valeur absolue) que l’on compare au risque choisi

Méthodes de régression

Documents

Introduction àla régression - Olivier Godechotolivier.godechot.free.fr/hopfichiers/IntroRegression_2007.pdf · Introduction historique : de la droite de régression vers la médiocritéàla

Corrélation Régression

Le modèle de régression linéaire - Master1 SESfermin.perso.math.cnrs.fr/Files/Slides_Regression_M1.pdf · Modèle gaussien de la régression linéaire simple OnveutexpliquerY (ozone)àpartirdeX

Régression logarithmique

Les méthodes d'analyse d'enquêtes · 2 Dans ce but un utilisera également la régression logistique sur données d'enquêtes qui permet d'estimer l'effet d'une variable sur une

Régression linéaire multiple : lecture en pratique...Régression linéaire multiple : lecture en pratique I. Rappel II. Réalisation d’une régression multiple III. Notions pour

régression multiples

Régression Linéaire Multiple

(Cours régression)

La régression multiple

Régression sous SAS

+ Régression logistique Eugénie Dostie-Goulet Plan de la présentation Pourquoi une régression logistique? La régression logistique Les « odds ratio » ou

Régression linéaire simple - anouarbenmalek.free.franouarbenmalek.free.fr/maths/UE14/UEM125-RegressionEtCalibration... · Régression linéaire simple et calibration 1- Régression

Statistiques1 Licence STE 2eme année. Statistiques2 1.Introduction 2.Coefficient de corrélation Principe Interprétation 3.Modèles de régression Régression

Régression logistique

Régression PLS - Comparaison de logiciels - TANAGRA, SIMCA

[25] Régression linéaire

Comparaison de modèles de régression logistique utilisés

Analyse de régression linéaire

Pratique de la régression logistique – Régression logistique binaire