ARF ECONOME Plans d'expériences Space Filling Design · O. Roustant, J. Franco, L. Carraro, A. Jourdan, A radial scanning statistic for selecting space-filling designs in computer

ARF ECONOME

Plans d'expériences Space Filling Design

O. Vasseur (DOTA)

Plan

• Introduction.

• Les Space Filling Designs et les critères de qualité (2D)

• SFD et Optique interférentielle

• Qualité intrinsèque des Space Filling Designs en grande dimension

• Conclusion/Perspectives

Introduction

• Définir un plan d’expériences : placer les points d’expérimentation numérique dans le domaine de variation des variables d'entrée (facteurs, paramètres).

Optimiser l’information requise avec le minimum de points/expérimentations

• Etablir les liens entre : – Réponse (sortie du modèle, variable d'intérêt) – Facteurs/variables :

• Différentes nature : continus, discrets ou qualitatifs• Domaine de variation : [borne inf , borne sup], niveaux

• La qualité de l’information obtenue dépend de la position des points expérimentaux.

Introduction

• Historique : Des plans d'expériences du domaine expérimental auxplans d'expériences numériques.

– De la réplication à l'expérience déterministe.– Grand nombre de variables d'entrée, large domaine de variation, plusieurs

variables d’intérêt, modèles fortement non linéaires.– Plans factoriels, plans factoriels fractionnaires, plans de Box-Behnken, plans de

Doehlert Space filling designs : répartition uniforme dans l'espace des variables d'entrée Remplir le mieux possible l'espace avec peu de points.

• Les objectifs de ces plans : – Recherche exploratoire : identification des régions d’intérêt– Criblage des facteurs : identification des facteurs influents simplification du

modèle– Etude quantitative des facteurs : identification des effets des facteurs et de leurs

interactions– Construction de métamodèles– Optimisation

Plan

• Introduction.





Space Filling Designs (SFD)

• Différents types de plans :– Carrés latins (LHDs) et variantes– Plans aléatoires (loi uniforme)– Grilles et plans factoriels– Plans à faible discrépance– Plan de Strauss :

• Plan SFD est défini à l'aide d'un processus de Strauss. Les n expériences sont vues comme la photographie à un instant donné de n particules de même charge électrique en mouvement dans une boîte d-dimensionnelle (hors gravité).

– Plans WSP :• Le but de cet algorithme est d’extraire, dans un ensemble de points candidats, un

sous-ensemble de points répartis uniformément. Les points de l’espace sont choisis de telle façon qu’ils sont à la fois au moins à une distance minimale (Dmin) de chaque point déjà inclus dans le plan et également, aussi près que possible du centre de l’hypercube unité.

J. Franco, Planification d’expériences numériques en phase exploratoire pour la simulation des phénomènes complexes, Thèse EMSE, Septembre 2008M. Sergent, R. Phan-Tan-Luu, J. Elguero, Statistical analysis of solvent scales, part 2, Anales de Quimica Int. Ed. 93 (1997) 295–300J. Santiago, M. Claeys-Bruno, M. Sergent, Construction of space-filling designs using WSP algorithm for high dimensional spaces, Chemometrics and Intelligent Laboratory Systems, Available online 26 June 2011, (http://www.sciencedirect.com/science/article/pii/S0169743911001195)


• Différents critères pour apprécier la qualité intrinsèque d'un plan :– La discrépance mesure la différence entre la fonction de répartition empirique et

la fonction de répartition uniforme.• Plusieurs discrépances…

J. Franco, Planification d’expériences numériques en phase exploratoire pour la simulation des phénomènes complexes, Thèse EMSE, Septembre 2008


• Différents critères pour apprécier la qualité intrinsèque d'un plan :– La distance entre les points du plan :

Maximiser cette distance (critère maximin) : Ecarter les points du plan Remplir au mieux l'espace

– Arbre de Longueur Minimal :• Qualification de la structure de la répartition des points dans l'espace d'origine. • Histogramme des longueurs de branche unique

– Radial Scanning Statistics (RSS) :• Projection des points dans tous les sous espaces de dimension 2 (et 3).• Projection des points sur une droite, qui tourne sur 180° Analyse de l'uniformité

),(minmin, kiikXxXx

xxdistMinDistki ≠∈∈

= { }ni xxX ,...,=

Franco J., Vasseur O., Corre B., Sergent M., Minimum Spanning Tree : A new approach to assess the quality of the design of computer experiments, Chemometrics and Intelligent Laboratory Systems 97, 2009, 164-169.http://www.dice-consortium.fr/O. Roustant, J. Franco, L. Carraro, A. Jourdan, A radial scanning statistic for selecting space-filling designs in computer experiments, in mODa 9 – Advances in Model-Oriented Design and Analysis, Proceedings of the 9th International Workshop in Model-Oriented Design and Analysis held in Bertinoro, Italy, June 14-18, 189-196, Springer, Heildeberg, 2010.

dddG VNL /11)( −=

∞α 1

)( /11

−=

−

NVNM

dd

dA α

Arbre de Longueur Minimale (ALM) : Qualification de l'Ordre et du Désordre

ALM Histogramme des longueurs de branche moyenne m et écart-type σ des longueurs de branche.

Clusterdistributions

mean

Standarddeviation

Quasi – regulardistributions

Gradient distributions

Randomdistributions

Regular distributions

Clusterdistributions

mean

Standarddeviation

Quasi – regulardistributions

Gradient distributions

Randomdistributions

Regular distributions

N = 400 points(Amas)

Beardwood J., Halton J.H., Hammersley J.M., The shortest path through many points, Camb. Philos. Soc. Proc., 55, 1959.Dussert C., Rasigni G., Rasigni M., Palmari J. & Llebaria A., Minimal spanning tree : a new approach for studying order and disorder, Phys. Rev. B 34, 1986, p. 3528-3531.O. Vasseur, L'image dans la technoscience :De son utilisation et de son influence dans les sciences appliquées, Ph.D. Thesis in Sociology, université Toulouse 2, Juin 2003.

9

Critères de qualité des Space Filling Designs (SFD)

• Exemples en dimension 2 avec 36 points :

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.2 0.4 0.6 0.8 1

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.2 0.4 0.6 0.8 1

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.2 0.4 0.6 0.8 1

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.2 0.4 0.6 0.8 1

Aléatoire LHDFactoriel

Sobol "Grille" LHD amélioré


• Exemples en dimension 2 avec 36 points :

• Carrés latins et projections

MinDist Discrépance C2 Discrépance L2 m σFactoriel 0.2000 0.1113 0.0338 1.1667 0.0000Aléatoire 0.0143 0.1296 0.0322 0.6930 0.3076"Grille" 0.1013 0.0439 0.0147 0.8479 0.1615LHD 0.0358 0.0280 0.0128 0.6996 0.2527

LHD amélioré 0.0690 0.0247 0.0115 0.8545 0.1472Sobol 0.0663 0.0370 0.0119 0.7967 0.2262

http://www.dice-consortium.fr/x1

x2

x1

x2

x1

x2

x1

x2


• Exemples en dimension 2 avec 20 et 36 points (ALM) :

Franco J., Vasseur O., Corre B., Sergent M., Minimum Spanning Tree : A new approach to assess the quality of the design of computer experiments, Chemometrics and Intelligent Laboratory Systems 97, 2009, 164-169.

ONERA0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0 0.2 0.4 0.6 0.8 1 1.2

m

σ

AléatoireStraussAmasFaureHaltonHammersleyNiederreiterSobolLHDMaximin LHDWSPDmaxFactoriel (36 pts)Aléatoire (36 pts)Grille (36 pts)LHD (36 pts)LHD A (36 pts)Sobol (36 pts)

ONERA

Plan

• Introduction.





SFD et optique interférentielle

• Utilisation de différents plans SFD pour le criblage, l'analyse de sensibilité, l'élaboration de métamodèles et l'optimisation de systèmes optiques interférentiels :

– La combinaison cohérente de sources laser fibrées et l'analyse des modifications des propriétés optiques d'un filtre interférentiellors de sa fabrication.

– Caractéristiques :• Grand nombre de paramètres d'entrée (objectif : qq 102)• Incertitudes sur ces paramètres + facteurs non contrôlables• Fortes interactions entre facteurs• Présence de boucles de rétroaction (100ms 19 fibres 1 jour de calcul).

• Sorties fonctionnelles

SFD et optique interférentielle

• Qualité extrinsèque des SFD :– Dans le cas d'un filtre optique interférentiel "connu", la qualité des résultats

obtenus avec les différents plans est appréciée de la manière suivante:• Coefficient de détermination: R2

• Identification des interactions les plus critiques bi,j: b5,15, b15,25, b5,25, b4,5, b5,6, b14,15, b15,16, b24,25, b25,26.

• Valeur du coefficient a0 = 0.

HLHL4HLHLH L HLHL4HLHLH L HLHL4HLHLHHLHL4HLHLH L HLHL4HLHLH L HLHL4HLHLH

Y = a0 + ∑i

ii Xb + ∑i

iii Xb 2, + ∑

< jijiji XXb ,

Transmission du filtre 29-couches

00.10.20.30.40.50.60.70.80.9

1

0.95 0.97 0.99 1.01 1.03 1.05Longueur d'onde (µm)

Fact

eur d

e tra

nsm

issi

on

Filtre parfaitFiltre 1Filtre 2

SFD (614 points) R2 Score Valeur a0

Faure 0.98 1/9 1.43

LHD 1 0.97 6/9 0.88

LHD 2 0.97 5/9 0.90

LHD 3 0.97 7/9 0.87

LHD 4 0.97 5/9 0.81

LHD 5 0.97 6/9 0.89

Aléatoire 1 0.97 6/9 0.71

Aléatoire 2 0.97 4/9 0.75

Aléatoire 3 0.96 7/9 0.82

Aléatoire 4 0.97 7/9 0.88

Aléatoire 5 0.97 8/9 0.81

Sobol 0.97 6/9 0.68

WSP 1 (598 points) 0.97 7/9 0.30

WSP 2 (598 points) 0.98 6/9 0.02

WSP 3 0.96 6/9 0.53

Plan

• Introduction.





Qualité intrinsèque des Space Filling Designs (SFD)

• Plan (m,σ) en 20D avec N=400 et 29D avec N=614:

A. Marrel., Mise en œuvre et utilisation du métamodèle processus gaussien pour l'analyse de sensibilité de modèles numériques, Thèse INSA, Juillet 2008O. Vasseur, A. Azarian, V. Jolivet, P. Bourdon, Capability of high intrinsic quality Space Filling Design for global sensitivity analysis and metamodelling of interference optical systems, Chemometrics and Intelligent Laboratory Systems, Available online 16 May 2011, (http://www.sciencedirect.com/science/article/pii/S0169743911001109).

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0 0.5 1 1.5 2 2.5

m

σ

AléatoireFaureHaltonSobolSobol-OwenWSPAmasLHDStrauss

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5 0.8 1.1 1.4 1.7 2

m

σ

AléatoireStraussAmasFaureHaltonHammersleyNiederreiterSobolLHDMaximin LHDWSPLDS wrap aroundCoverDmax

ONERA ONERA

Qualité intrinsèque des Space Filling Designs (SFD)

• Selon le critère utilisé, la qualité intrinsèque des plans SFD peut être très différente.

• La discrépance et l'ALM évaluent la qualité d'un plan de manière globale mais fournissent des hiérarchisations très différentes pour des dimensions supérieures à 20.

• Les suites à faible discrépance (y compris les suites de Sobol et Sobol-Owen) ne sont pas des plans de bonne qualité en grande dimension sur nos cas d'application. A défaut des plans WSP et Strauss, les plans aléatoires et les variantes des LHD constituent-ils le meilleur compromis ?

Utilisation des projections : RSS et ALM

Qualification des plans LHD et Faure 18D par les projections en dimension 2 : Critère RSS.

• RSS en dimension 18 et N=400 points : La plus mauvaise projection

LHD, valeur RSS : 0,0062 Faure, valeur RSS : 0,069

O. Roustant, J. Franco, L. Carraro, A. Jourdan, A radial scanning statistic for selecting space-filling designs in computer experiments, in mODa 9 – Advances in Model-Oriented Design and Analysis, Proceedings of the 9th International Workshop in Model-Oriented Design and Analysis held in Bertinoro, Italy, June 14-18, 189-196, Springer, Heildeberg, 2010.A. Azarian, O. Vasseur, B. Bennaï, Véronique Jolivet, M. Claeys-Bruno, M. Sergent, P. Bourdon, "Sensitivity analysis of interference optical systems by numerical designs", J. Société Française de Statistique, 2011.

Qualification des plans 29D par les projections en dimension 2 : Critère RSS.

• RSS en dimension 29 et N~600 points :

SFD et nombre de points Valeur RSS

Faure, 614 0.0850

LHD (*), 614 0.0040

Aléatoire (*), 614 0.0040

Sobol, 614 0.0298

Sobol avec Owen scrambling, 614 0.0169

WSP1, 598WSP2, 598WSP3, 614

0.00880.02360.0044

O. Roustant, J. Franco, L. Carraro, A. Jourdan, A radial scanning statistic for selecting space-filling designs in computer experiments, in mODa 9 – Advances in Model-Oriented Design and Analysis, Proceedings of the 9th International Workshop in Model-Oriented Design and Analysis held in Bertinoro, Italy, June 14-18, 189-196, Springer, Heildeberg, 2010.A. Azarian, O. Vasseur, B. Bennaï, Véronique Jolivet, M. Claeys-Bruno, M. Sergent, P. Bourdon, "Sensitivity analysis of interference optical systems by numerical designs", J. Société Française de Statistique, 2011.

Qualification des plans Sobol et WSP 29D par les projections en dimension 2 : Critère RSS.

• RSS en dimension 29 et N=614 points : La plus mauvaise projection. Valeurs voisines mais projections visuellement très différentes !

O. Roustant, J. Franco, L. Carraro, A. Jourdan, A radial scanning statistic for selecting space-filling designs in computer experiments, in mODa 9 – Advances in Model-Oriented Design and Analysis, Proceedings of the 9th International Workshop in Model-Oriented Design and Analysis held in Bertinoro, Italy, June 14-18, 189-196, Springer, Heildeberg, 2010.O. Vasseur, A. Azarian, V. Jolivet, P. Bourdon, Capability of high intrinsic quality Space Filling Design for global sensitivity analysis and metamodelling of interference optical systems, Chemometrics and Intelligent Laboratory Systems, Available online 16 May 2011, (http://www.sciencedirect.com/science/article/pii/S0169743911001109)

Sobol, valeur RSS : 0,0298 WSP, valeur RSS : 0,0236

Qualification des plans Sobol et WSP 29D par les projections en dimension 2 : Critère ALM.

• Résultats obtenus dans les projections de dimension 2 :- Diversité des caractéristiques des plans de Sobol.- Le scrambling d'Owen ne modifie pas ces caractéristiques.

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.2 0.4 0.6 0.8 1

m

σ

SobolSobol-OwenWSPRandomLHD16-23

ONERA

O. Vasseur, A. Azarian, V. Jolivet, P. Bourdon, Capability of high intrinsic quality Space Filling Design for global sensitivity analysis and metamodelling of interference optical systems, Chemometrics and Intelligent Laboratory Systems, Available online 16 May 2011, (http://www.sciencedirect.com/science/article/pii/S0169743911001109).

Qualification des plans SFD par les projections en dimension 2

• Pour l'analyse des projections en dimension 2, l'ALM et le RSS apportent des informations complémentaires :

– Mise en évidence des structurations des structures des plans projetés (ALM)– Identification visuelle du plus mauvais plan projeté (RSS)

• Le scrambling ne semble pas apporter d'amélioration.

• Les plans WSP et les variantes des LHDs présentent les meilleurs caractéristiques pour explorer des espaces de grandes dimensions :

– Structure quasi-périodique dans l'espace d'origine (WSP)– Répartition des points (LHDs)– Structure aléatoire dans les sous espaces de dimension 2

Plan

• Introduction.





Conclusion

• L'ALM apparaît comme un très bon critère pour évaluer la qualitéintrinsèque des plans SFD dans l'espace original. Pour l'analyse des projections en dimension 2, l'ALM et le RSS apportent des informations complémentaires.

• Les plans basés sur les suites à faible discrépance ne présentent pas de bonnes caractéristiques en grande dimension (Dim > 20).

• La qualité résultats obtenus est corroborée dans les cas d'application en optique interférentielle (interactions). Bonne concordance entre qualité extrinsèque et intrinsèque (ALM). Des espaces de dimensions 38 à 96 sont explorés actuellement.

• Les premiers résultats obtenus dans le cas de variables d'entréecorrélées (dimension 18) sont en accord avec le savoir d'expert (Détermination des paramètres critiques).

Perspectives

• Disposer de plans efficaces pour l'exploration d'espaces de grandes dimensions :

– Qualité intrinsèque des plans SFD en grande dimension– Adapter les plans existants

• Critère ALM : améliorer l'algorithme et le critère, plans adaptatifs.• Qualité intrinsèque et extrinsèque des plans.• Variables d'entrée corrélées.• Sorties fonctionnelles.

Criblage, analyse de sensibilité, métamodèles et optimisation dans le domaine de l'optique interférentielle (notamment de la combinaison de sources laser fibrées) et de l'électromagnétisme.

Merci pour votre attention

Documents

ARF ECONOME Plans d'expériences Space Filling Design · O. Roustant, J. Franco, L. Carraro, A. Jourdan, A radial scanning statistic for selecting space-filling designs in computer