ÉVALUATION DE LA REPRODUCTIBILITÉ D’UNE ...reseau-case.com/gti/amplitude/download/Reproductibilite3.doc · Web viewest définie par son aptitude à donner des réponses proches

amplitude Groupe de travail : « Méthodologie Statistique »

ÉVALUATION DE LA REPRODUCTIBILITÉ D’UNE MÉTHODE DE MESURE

1. RAPPEL SUR L’ÉVALUATION DES PERFORMANCES D’UNE MÉTHODE DE MESURE

Les définitions en italiques sont adaptées du (VIM) ISO, 1993) :

Vocabulaire International des termes fondamentaux et généraux de Métrologie.

L’exactitude d’une méthode (ou d’un instrument) de mesure est définie par son aptitude à donner des réponses proches d'une valeur vraie. L’exactitude est un concept qualitatif.

Deux critères contribuent à l’exactitude d’une méthode de mesure. Ce sont :

La justesse : aptitude à donner des indications exemptes d’erreur systématique

la fidélité : aptitude à donner des indications très voisines lors de l'application répétée du même mesurande dans les mêmes conditions de mesure.

• Ces conditions sont celle décrites pour la répétabilité :• La répétabilité peut s'exprimer quantitativement à l'aide des caractéristiques de

dispersion des indications

Ainsi, la fidélité de la méthode de mesure s’évalue par la répétabilité et la reproductibilité des résultats de mesure .

Nous partons du principe que si la justesse d’un instrument ou d’une méthode de mesure a été préalablement minimisée par étalonnage ou une autre opération, l’incertitude de la mesure reposes essentiellement sur la répétabilité et la reproductibilité des résultats de mesure. Ceci est particulièrement vrai en Biochimie ou en Biologie.

L’objectif de ce document est de développer comment se caractérise et s’évalue la fidélité d’un instrument ou d’une méthode de mesure, par l’intermédiaire des ces deux derniers critères, répétabilité et reproductibilité.

Gilles TIXIER : [email protected] 1/98 document.doc


2. COMPOSANTES ET MODE D’EXPRESSION DE LA FIDÉLITÉ D’UNE MÉTHODE DE MESURE

Répétabilité des mesuresÉtroitesse de l'accord entre les résultats des mesures successives du même produit,

effectuées dans la totalité des conditions suivantes :

- même méthode de mesure,- même Opérateur,- même instrument de mesure,- même lieu,- mêmes conditions d'utilisation,- répétition sur une courte période de temps.La répétabilité indique la dispersion minimum inhérente à la méthode (incompressible).

Reproductibilité des mesuresÉtroitesse de l'accord entre les mesures successives du même produit, dans le cas où

les mesures individuelles sont effectuées en faisant varier les conditions telles que :

- le délai entre les prise de mesures- l’Opérateur- les conditions d'utilisation - la méthode- l’instrument de mesure

Pour que l’expression de la reproductibilité soit valable, il est nécessaire de spécifier la ou les conditions que l'on fait varier. On parlera de reproductibilité Jour, reproductibilité Opérateur, ou des deux à la fois.

Pour évaluer la reproductibilité d’une méthode, dans le cadre de l’activité habituelle du Laboratoire de contrôle d’un établissement, la condition que l’on fera varier en priorité est le délai entre les mesures (effet Jours, incluant également l’effet des conditions d'utilisation comme l’humidité ambiante, la température du labo, le vieillissement des réactifs, …). En effet, le plus souvent, on s’intéressera à la comparaison de deux produits mesurés à des dates différentes.



L’effet Opérateur est de moins en moins influent avec le développement des méthodes automatiques. Quant à s’intéresser à l’influence de la méthode de mesure ou de l’instrument, cela concerne essentiellement des comparaisons inter-laboratoires.



Expression de la répétabilité et de la reproductibilitéCes deux critères de performance d’une méthode peuvent s'exprimer quantitativementpar la dispersion des résultats. En effet la distribution des mesures individuelles suit le plus souvent, une loi Normale et il est alors possible d’évaluer leur dispersion par l’écart-type de ces valeurs.

Une méthode est d’autant plus performante (ou puissante : aptitude à différencier deux produits faiblement différents) que la dispersion des mesures est faible (se traduisant par un écart-type petit).



3. PLANIFICATION D’ESSAIS POUR ÉVALUER SIMULTANÉMENT LA RÉPÉTABILITÉ ET LA REPRODUCTIBILITÉ D’UNE MÉTHODE DE MESURE, SOUS L’INFLUENCE DE FACTEURS ALÉATOIRES1

Le fichier Excel « ANAVAR2.xls » contient les applications présentées dans ce chapitre 3.

3.1. Cas où la reproductibilité est évaluée, sous l’influence d’un seul facteur Exemple : l’effet Jour

Planification de l’essai

Prenons le cas d’une opération de titrage d’un composé biochimique, exprimé en mg/lOn prévoie, par exemple 5 séances de titrage et 4 répétitions par séance d’un même produit. Les résultats sont les suivants :

Lundi Mardi Mercredi jeudi vendredi3.18 3.35 3.50 3.32 3.323.28 3.22 3.47 3.41 3.393.29 3.30 3.34 3.28 3.263.20 3.45 3.40 3.42 3.32

Interprétation

La comparaison entre jours est traitée par Analyse de Variance à un facteur (application Exel 5.0) afin de connaître la part de variabilité due à la répétabilité et à la reproductibilité-Jour.

1 • Un facteur est caractérisé d’aléatoire quand il possède un nombre infini ou presque de modalités, d’où l’ont ire au hasard un échantillon représentatif de cette population infinie. On ne s’intéresse d’ailleurs pas à la comparaison entre deux modalités de ce facteurs. Dans le cas que nous traitons les facteurs étudiés (jour et Opérateur)sont considérés comme aléatoires

• Un facteur est caractérisé de fixe quand il possède un nombre fini de modalités, que l’on contrôle et que l’on peut être amené à comparer. Ce sera le cas de plusieurs techniques différentes, mesurant le même produit, éventuellement plusieurs laboratoires.



RAPPORT DETAILLEGroupes Nombre

d'échantillons Somme Moyenne Variance

Lundi 4 12.95 3.24 0.0031Mardi 4 13.32 3.33 0.0093Mercredi 4 13.71 3.43 0.0052jeudi 4 13.43 3.36 0.0047vendredi 4 13.29 3.32 0.0028

ANALYSE DE VARIANCE

Source des variations Somme des carrés

Degré de liberté

Moyenne des carrés F Probabilité Valeur critique

pour FEntre Groupes (jours) 0.0750 4 0.0188 3.75 2.64% 3.06A l'intérieur des groupes 0.0751 15 0.0050

Total 0.1501 19

On constate qu’il existe un effet Jour significatif (risque alpha < 5%), autrement dit qu’il y a plus de différence entre deux titrages réalisés à des jours différents qu’au sein d’une même séance de titrage.

Notion d’estimation de variance

Il faut bien séparer la notion de « moyenne des carrés » et celle de variance d’un facteur. En effet, seul le carré moyen résiduel (intra-groupe) est une variance. Les autres carrés moyens sont des quantités permettant seulement de réaliser les tests, mais qui ne quantifient de manière absolue l’influence relative due à un facteur.

C’est pourquoi, pour évaluer l’influence relative due à un facteur, il est nécessaire de disposer d’estimation de variance propres à chaque facteur.



Ces estimations de variance (symbole :



avec un chapeau) quantifient l’influence des facteurs étudiés2, sur la variabilité des résultats de titrage3.

2

3 Elles ont la même dimension qu’une variance: le carré de l’unité de mesure



Calcul des estimations de variance

Les formules pour obtenir les estimation de variances sont simplifiées dans le cas d’un nombre égal de répétitions pour chacun des jours (ici : 4)


Degré de liberté

Moyenne des carrés

Entre Groupes (jours) SCj j-1 CMjA l'intérieur des groupes SCr j . (n-1) CMr

Total SCT (j .n)-1

Le carré moyen (ici : 0,1501/19 = 0,00790) ne représente par la variance totale (reproductibilité Jour), en effet il dépend aussi du choix pour l’essai, du nombre de répétitions et du nombre de jours. Les estimations de variances sont indépendantes des effectifs choisis.



La variance totale (reproductibilité Jour), est estimée par :



ˆ V Gilles TIXIER : [email protected] 11/98 document.doc


T =





j +





roù : Va est la variance intergroupes (effet Jour), estimée par : (CMj - CMr) / n

Vr est la variance intragroupes (résiduelle ou répétabilité), estimée par : CMr



Dans notre exemple,





j = (0,0188 - 0,0050) / 4 = 0,00345







r = 0,00500







T : 0,00345 + 0,00500 = 0,00845

La variance de reproductibilité-Jour est égale à 0,00845à laquelle contribue un effet Jour pour (0,00345 / 0,0845) = 41%et une répétabilité intra-Jour pour (0,0050 / 0,0845) = 59%

L’écart-type de répétabilité est égal à √ 0,00500 = 0,07 mg/mlL’écart-type de reproductibilité-Jour est égal à √ 0,00845 =0,09mg/ml



3.2. Cas où la reproductibilité est évaluée, sous l’influence de deux facteurs croisés et plusieurs répétitions Exemple : l’effet Jour et l’effet Opérateur

Planification de l’essai

On prévoie, cette fois 5 séances de titrage au cours de chacune desquelles 3 mêmes Opérateurs réalisent 2 répétitions d’un même produit. Les résultats sont les suivants :

Opérateur Lundi Mardi Mercredi Jeudi VendrediAlbert 3,18 3,35 3,50 3,32 3,32

3,28 3,22 3,47 3,41 3,39Robert 3,29 3,30 3,34 3,28 3,26

3,20 3,45 3,40 3,42 3,32Dana Int. 3,30 3,42 3,44 3,43 3,37

3,27 3,35 3,51 3,40 3,36

InterprétationUtilisez Word 6.0c (ou ultŽrieur)

pour afficher une image Macintosh.

Dans cet exemple, on constate que :. Il n’apparaît pas d’influence significative entre Opérateurs (Risque alpha

=11%>>5%) . Il existe un effet Jour hautement significatif (risque alpha = 0,14% << 5. Il n’apparaît pas d’interaction Jour x Opérateurs (Risque alpha =58%>>5%),

autrement dit que l’influence du jour se retrouve de la même façon chez chacun des Opérateurs.



Estimations de varianceANALYSE DE VARIANCE


Degré de liberté

Moyenne des carrés

Echantillon (Opérateur) SCo o-1 CMoColonnes (jours) SCj j-1 CMjInteraction SCi (o-1).(j-1) CMiA l'intérieur du groupe SCr o.j.(n-1) CMr

Total SCT (o.j.n)-1

Les estimations de variances sont obtenues ainsi :



La variance totale (reproductibilité Jour+Opérateur + leur interaction éventuelle) est estimée par :





T =





o +





j +





oj +





r



où :





o est la variance interlignes (effet Opérateur) = (CMo - CMoj) / j.n







j est la variance intercolonnes (effet Jour) = (CMj - CMoj) / o.n







oj est la variance d’interaction = (CMoj - CMr) / n







r est la variance intragroupes (résiduelle ou répétabilité), estimée par : CMr

Application numérique



Dans notre exemple,





o = (0,00914 - 0,00307) / 10 = 0,00061







j = (0,02840- 0,00307) / 6 = 0,00422







oj = (0,00307 - 0,00366) / 2 = -0,00030







r = 0,00366

En absence d’interaction, on préférera estimer la variance résiduelle par une variance commune : CMr = (SCoj +SCr) / ((o-1).(j-1)+o.j.(n-1))

Ainsi, comme c’est le cas dans notre exemple, CMoj disparaît et CMr devient = 0,00345







T : 0,00061 + 0,00422 + 0,00345 = 0,00829

La variance de reproductibilité-Jour est égale à 0,00829à laquelle contribue un effet Opérateur pour (0,00061 / 0,0829) = 7%à laquelle contribue un effet Jour pour (0,00422 / 0,0829) = 51%et une répétabilité intra-Jour pour (0,00345 / 0,0829) = 42%

L’écart-type de répétabilité est égal à √ 0,00345 = 0,06 mg/mlL’écart-type de reproductibilité (Jour & Opérateur) est égal à √ 0,00829 =

0,09 mg/ml



3.3. Cas d’un plan d’essai avec deux facteurs croisés mais seulement une répétition de mesure (n=1)

Exemple

Opérateur Lundi Mardi Mercredi Jeudi VendrediAlbert 3,18 3,55 3,50 2,97 3,32Robert 3,29 3,50 3,34 2,93 3,26

Dana Int. 3,30 3,42 3,44 3,43 3,37

InterprétationANALYSE DE VARIANCE


Degré de liberté

Moyenne des carrés F Probabilité Valeur critique

pour FLignes (0pérateur) 0,02428 2 0,01214 4,2 5,6% 4,5Colonnes (Jour) 0,04587 4 0,01147 4,0 4,6% 3,8Erreur 0,02305 8 0,00288

Total 0,09320 14

Dans cet exemple, on constate que :. Il apparaît une influence significative entre Opérateurs (Risque alpha =5,6%) . Il existe un effet Jour également significatif (risque alpha = 4,6%en rappelant que le calcul des F s’effectue avec l’interaction comme quotient puisque Cmr = 0.

Estimations de varianceANALYSE DE VARIANCE


Degré de liberté

Moyenne des carrés

Lignes (0pérateur) SCo o-1 CMoColonnes (Jour) SCj j-1 CMjErreur SCoj (o-1).(j-1) CMoj

Total SCT o.j - 1

Les estimations de variances sont obtenues ainsi :

La variance totale (reproductibilité Jour+Opérateur) est égale à :







T =





o +





j +





oj



où :





o est la variance interlignes (effet Opérateur) = (CMo - CMoj) / j







o est la variance intercolonnes (effet Jour) = (CMj - CMoj) / o







r est la variance intragroupes (résiduelle ou répétabilité = CMoj



Application numérique



Dans notre exemple,





o = (0,01214 - 0,00288) / 5 = 0,00185







j = (0,01147- 0,00288) / 3 = 0,00286







oj = 0,00288







T = 0,00185 + 0,00286 + 0,00288 = 0,00760

La variance de reproductibilité-Jour est égale à 0,00760à laquelle contribue un effet Opérateur pour (0,00061 / 0,0829) = 24%à laquelle contribue un effet Jour pour (0,00422 / 0,0829) = 38%et une répétabilité intra-Jour pour (0,00345 / 0,0829) = 38%

L’écart-type de répétabilité est égal à √ 0,00288 = 0,05 mg/mlL’écart-type de reproductibilité (Jour & Opérateur) est égal à √ 0,00760 =

0,08 mg/ml

o O o


Documents

ÉVALUATION DE LA REPRODUCTIBILITÉ D’UNE ...reseau-case.com/gti/amplitude/download/Reproductibilite3.doc · Web viewest définie par son aptitude à donner des réponses proches