MODELES LINEAIRES

Embed Size (px)

Text of MODELES LINEAIRES

  • M1 IMAT, Anne 2009-2010

    MODELES LINEAIRES

    C.ChouquetLaboratoire de Statistique et Probabilits - Universit Paul Sabatier - Toulouse

  • Table des matires

    1 Prambule 1

    1.1 Dmarche statistique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Un exemple introductif pour la modlisation linaire dune variable quantitative . . 2

    1.2.1 Description de la population dtude . . . . . . . . . . . . . . . . . . . . . . 21.2.2 Relation entre variables quantitatives . . . . . . . . . . . . . . . . . . . . . . 31.2.3 Relation entre variable quantitative et variables qualitatives . . . . . . . . . 41.2.4 Modlisation dune variable quantitative en fonction de variables quantita-

    tives et qualitatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

    2 Prsentation du modle linaire gaussien 6

    2.1 Le modle linaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.2 Le modle linaire gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

    2.2.1 Ecriture gnrale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72.2.2 Le modle de rgression linaire . . . . . . . . . . . . . . . . . . . . . . . . . 82.2.3 Le modle factoriel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

    3 Estimation 9

    3.1 Mthodes destimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93.1.1 Principe des moindres carrs . . . . . . . . . . . . . . . . . . . . . . . . . . 93.1.2 Principe du Maximum de Vraisemblance . . . . . . . . . . . . . . . . . . . . 9

    3.2 Estimation de . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103.3 Valeurs ajustes et rsidus calculs . . . . . . . . . . . . . . . . . . . . . . . . . . . 103.4 Estimation de 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103.5 Erreurs standard de j , yi, ei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.6 Construction de lintervalle de confiance de j . . . . . . . . . . . . . . . . . . . . . 123.7 Dcomposition de la variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

    4 Test de Fisher 13

    4.1 Hypothse teste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134.1.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134.1.2 Calculs sous H0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

    4.2 Le test de Fisher-Sndcor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134.2.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134.2.2 La statistique de test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144.2.3 Fonctionnement du test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

    4.3 Cas particulier o q=1 : le test de Student . . . . . . . . . . . . . . . . . . . . . . . 15

    5 La Rgression linaire 16

    5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165.1.1 La problmatique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165.1.2 Le modle de rgression linaire simple . . . . . . . . . . . . . . . . . . . . . 165.1.3 Le modle de rgression linaire multiple . . . . . . . . . . . . . . . . . . . . 17

    5.2 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

    1

  • IUP SID L3 - Modles linaires 2

    5.2.1 Rsultats gnraux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175.2.2 Proprits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185.2.3 Le coefficient R2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185.2.4 Augmentation mcanique du R2 . . . . . . . . . . . . . . . . . . . . . . . . 19

    5.3 Tests et Intervalles de confiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205.3.1 Test de nullit dun paramtre du modle . . . . . . . . . . . . . . . . . . . 205.3.2 Test de nullit de quelques paramtres du modle . . . . . . . . . . . . . . . 205.3.3 Test de nullit de tous les paramtres du modle . . . . . . . . . . . . . . . 205.3.4 Intervalle de confiance de j , de Y i et de Y 0 . . . . . . . . . . . . . . . . . . 215.3.5 Intervalle de prdiction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

    5.4 Slection des variables explicatives . . . . . . . . . . . . . . . . . . . . . . . . . . . 225.4.1 Les critres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225.4.2 Les mthodes de slection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

    5.5 Validation du modle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235.5.1 Contrle de lajustement du modle . . . . . . . . . . . . . . . . . . . . . . 235.5.2 Etude des colinarits des variables explicatives . . . . . . . . . . . . . . . . 24

    6 Lanalyse de variance 26

    6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266.2 Lanalyse de variance un facteur . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

    6.2.1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266.2.2 Le modle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266.2.3 Paramtrage centr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276.2.4 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276.2.5 Proprits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286.2.6 Intervalles de confiance et tests dhypothses sur leffet facteur . . . . . . . 296.2.7 Comparaisons multiples : Mthode de Bonferroni . . . . . . . . . . . . . . . 29

    6.3 Analyse de variance deux facteurs croiss . . . . . . . . . . . . . . . . . . . . . . 306.3.1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306.3.2 Le modle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306.3.3 La paramtrisation centre . . . . . . . . . . . . . . . . . . . . . . . . . . . 316.3.4 Estimations des paramtres . . . . . . . . . . . . . . . . . . . . . . . . . . . 316.3.5 Le diagramme dinteractions . . . . . . . . . . . . . . . . . . . . . . . . . . . 326.3.6 Tests dhypothses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326.3.7 Tableau danalyse de la variance deux facteurs croiss dans le cas dun

    plan quilibr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

    7 Analyse de covariance 35

    7.1 Les donnes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357.2 Le modle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357.3 La seconde paramtrisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357.4 Tests dhypothses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

    8 Quelques rappels de Statistique et de Probabilits 38

    8.1 Gnralits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388.2 Indicateurs statistiques pour variables quantitatives . . . . . . . . . . . . . . . . . . 39

    8.2.1 Moyenne empirique dune variable . . . . . . . . . . . . . . . . . . . . . . . 398.2.2 La covariance empirique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398.2.3 Variance empirique et cart-type empirique . . . . . . . . . . . . . . . . . . 408.2.4 Cfficient de corrlation linaire empirique . . . . . . . . . . . . . . . . . . 408.2.5 Interprtation gomtrique de quelques indices statistiques . . . . . . . . . . 408.2.6 Expressions matricielles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

    8.3 Rappels sur quelques lois de probabilit . . . . . . . . . . . . . . . . . . . . . . . . 428.3.1 La distribution Normale N(, 2) . . . . . . . . . . . . . . . . . . . . . . . . 42

  • IUP SID L3 - Modles linaires 3

    8.3.2 La distribution n-Normale Nn(,) . . . . . . . . . . . . . . . . . . . . . . . 428.3.3 La distribution de 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438.3.4 La distribution de Student . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438.3.5 La distribution de Fisher-Sndcor . . . . . . . . . . . . . . . . . . . . . . . 44

    8.4 Rappels de statistique infrentielle . . . . . . . . . . . . . . . . . . . . . . . . . . . 448.4.1 Estimation ponctuelle, estimation par intervalle de confiance . . . . . . . . . 448.4.2 Notions gnrales sur la thorie des tests paramtriques . . . . . . . . . . . 44

  • Chapitre 1

    Prambule

    1.1 Dmarche statistique

    Population tudie

    Nombre dindividus,variables observes

    quantitatives/qualitatives

    Analyse univarie

    Tableau de frquences,moyenne, cart-type, mdiane,

    diagramme en btons,histogramme, box-plot

    Analyse bivarie

    Tableau crois, 2,comparaison de moyennes,coefficient de corrlation,

    nuage de points

    Analyse multivarie

    uukkkk

    kkkk

    kkkk

    kkkk

    kkk

    ))RRR

    RRRR

    RRRR

    RRRR

    RRRR

    RRRR

    RR

    Synthtiser linformationissue de plusieurs variables

    pour mieux lexpliquer

    Structurer et simplifier les donnesissues de plusieurs variables,

    sans privilgier lune dentre ellesen particulier

    Expliquer une variable laidede plusieurs autres variables

    uullll

    llll

    llll

    llll

    llll

    lll

    Une variable expliquerquantitative

    Une variable expliquerqualitative

    Analyse de DonnesMultidimensionnelle(ACP, AFC, ACM)

    ModlisationLinaire :

    Rgression Linaire simpleRgression Linaire multiple

    Analyse de varianceAnalyse de covariance

    Modlisationnon-linaire