Enquête de satisfaction liée à l'organisation des essais d ...ªte-de-satisfaction.pdf · ETI 2 Taille des laboratoires participants Le premier groupe de questions de cette enquête

0

Enquêtedesatisfactionliéeàl'organisationdesessaisd'aptitudesousl’accréditationISO17043

ParFr.Balthasart&A.JorisRapportn°2018‐01774

Remarque : Ce rapport ne peut être reproduit, sinon en entier, sauf accord de l’Institut

1

Tabledesmatières1. Objectifs et méthodologie ...................................................................................................................................................................................... 2 2. Profil des enquêtés ................................................................................................................................................................................................. 5 3. Matrices et paramètres proposés ............................................................................................................................................................................ 8 4. Consignes et documents fournis .......................................................................................................................................................................... 11 5. Rapports ............................................................................................................................................................................................................... 16 6. Site internet .......................................................................................................................................................................................................... 22 7. Conclusions et axes d’amélioration ..................................................................................................................................................................... 25 8. Références ............................................................................................................................................................................................................ 27

2

1. Objectifsetméthodologie

3

1.1 Contexteetobjectifs Les essais d’aptitude réalisés par l’Institut Scientifique deService Public via le Laboratoire de Référence (ISSeP), sontactuellementdemandésparleServicePublicdeWallonie(SPW)danslecadredesagrémentssuivants:

agrément des laboratoires d’analyse de déchets et desdéchets toxiques pour la Direction de la Politique desDéchets(DPD–ServicePublicdeWallonie):deuxessaissontréalisésparan,lepremiersurunsédimentdecoursd’eaunavigableet lesecondsurunautretypededéchetpourlesparamètresreprisdansl’agrémentafférent.

agrément des laboratoires d’analyse en matière deprotectiondeseauxdesurfaceetpotabilisablescontrelapollutionpour leDépartementde l’environnementetdel’eau (DEE),DirectiondesOutilsFinanciers (DOF): unàdeuxessaissontréalisésparansuruneeauuséepourlesparamètresreprisdansl’agrémentafférent.

Depuis la fin de l’année 2016, l’ISSeP est accrédité en tantqu’organisateur d’essai d’aptitude selon la norme ISO17043:2010«Evaluationdelaconformité–Exigencesgénéralesconcernant les essais d’aptitude». L’enquête de satisfaction ci‐dessousestréaliséedanslecadredecetteaccréditationselonleparagraphesuivant:«5.7.2L'organisateurd'essaisd'aptitudedoit s'efforcerd'obtenirdesretoursd'information,tantnégatifsquepositifs,desesclients.Ces retours d'information doivent être utilisés et analysés afin

d'améliorer le systèmedemanagement, lesprogrammesd'essaisd'aptitudeetleserviceauclient.»Lesobjectifsdecetteenquêtedesatisfactionsontlessuivants:Objectifs(queva‐t‐onmesurer?)

ConnaitreConnaitre les attentes et les motifséventuels d’insatisfaction des participantsauxessaisd’aptitudes.

Mesurer

La satisfaction quant aux matrices etparamètres proposés, la performanceorganisationnelle des essais d’aptitude etla satisfaction quant à la production desrapports(intermédiairesetfinaux).

Trouver/manager

Trouver des explications et des axesd’amélioration quant à l’organisation desessais d’aptitude. Se servir de l’enquêtecommeoutildegestion.

Tableau 1:Objectifs de l'enquête de satisfaction liés à l'organisation d'essaisd’aptitudeparl'ISSePselonlanormeISO17043

4

1.2 MéthodologieL’enquête de satisfaction était structurée en plusieurs volets, àsavoir:

Les informations générales sur les participants àl’enquête;

Lestypesd’essaisd’aptitudeproposésparleLaboratoiredeRéférence(matrices/paramètres);

L’organisation des essais (communication,planification,…);

Les rapports établis par le Laboratoire de Référence(intermédiairesetfinaux);

Lesiteinternet.Le questionnaire a été créé en ligne via la plateforme«LimeSurvey». Ilétait composédequestionsà choixmultiplesdetypeéchelle(toutàfaitd’accord,partiellementd’accord,pasdutoutd’accord,sansavis)etdequestionsouvertes.Lapopulationcibléeparl’enquêtedesatisfactionétaitconstituéedes personnes de contact avec lesquelles l’ISSeP communiquelorsdel’organisationdesesessaisd’aptitudes.Cettepopulationcomprenaitcinquantepersonnesetreprésentait l’ensembledeslaboratoires participants aux essais d’aptitudes organisés parl’ISSeP.Lequestionnaireleuraétéenvoyéviaune‐mailgénéréautomatiquement par «LimeSurvey». Le questionnaire étaitaccessibleunmois,du15novembreau15décembre2017.Surles cinquante personnes visées, vingt‐cinq ont répondu etreprésentaient vingt‐deux laboratoires. Les résultats ont étéexportésdansunfichierExcelafindepouvoirêtretraités.

Lesdifférentessectionsduprésentrapportreprennentlesaxesde l’enquêtede satisfactionmais égalementune sectiondédiéeauxpropositionsd’améliorations.Cetteenquêteétantlapremièreàêtreorganiséeparl’ISSeP,elleconstitueraunebasedecomparaisonpourlesenquêtesfutures.

5

2. Profildesenquêtés

6

Agrément Déchets

6

Agrément Eaux10

Agréments Déchets et

eaux9

Agréments détenus par les laboratoires participants

TPE6

PE12

ME5

ETI2

Taille des laboratoires participants

Lepremiergroupedequestionsdecetteenquêtedesatisfactionavait pour but d’établir un profil des laboratoires participantsauxessaisd’aptitudes.Pourcettepartie,25participantsontrépondu.

2.1 AgrémentsenRégionWallonneParmilesrépondants:

10 possèdent uniquement un agrément pour lamatriceEAU;

6 possèdent uniquement un agrément pour la matriceDECHETS;

9possèdentàlafoisunagrémentpourlamatriceEAUetpourlamatriceDECHETS.

2.2 Tailledesentreprises Sur l’ensemble des répondants, 6 font partie d’une très petiteentreprise (TPE; < 10 employés), 12 d’une petite entreprise(PE;10à50employés),5d’unemoyenneentreprise(ME;50à250 employés) et 2 d’une entreprise de taille intermédiaire(ETI;250à500employés).

7

2.3 Participationàd’autresessaisd’aptitudeSurles25répondants,22participentàd’autresessaisd’aptitudeque ceux organisés par l’ISSeP. Il est apparu que les troislaboratoiresneparticipantqu’auxEILdel’ISSePsontdespetitesstructures(TPE).Ilétaitdemandé, sous formedequestionouverte,quelsétaientles organisateurs sollicités pour des essais sur des matricessimilaires à celles proposées par l’ISSeP. Les principauxorganisateurscitéssont:

AGLAEpour14répondants; LGCstandardpour8répondants; Bipeapour7répondants; Vitopour4répondants.

8

3. Matricesetparamètresproposés

9

17

6

0 0

Tout à fait d'accord Partiellement d'accord Pas du tout d'accord Sans avis

Cohérence des matrices et des paramètres proposés

Lesmatrices et les paramètres proposés par le Laboratoire deRéférence sont choisis pour être en concordance avec lesagrémentscitésplushaut.Ilaétédemandéauxparticipantssicequi étaitproposéétait en cohérenceavec leursactivitéset s’ilsvoulaientvoird’autresessaisd’aptitudeêtreorganisés.Pourcettepartie,23participantsontrépondu.

3.1 Matricesetparamètresproposés

17laboratoiresontréponduqu’ilsétaienttoutàfaitd’accordset6 partiellement d’accords. Les matrices et les paramètressemblent donc bien convenir aux participants des essaisd’aptitude.

10

3.2 Autrestypesd’essaisd’aptitudes 6 laboratoires ont exprimé leur désir de voir l’ISSeP organiserd’autres typesd’essaisd’aptitude, en termesdematricesoudeparamètres.Ilétaitdemandé,sousformedequestionsouvertes,quelsétaientles matrices et les paramètres voulus. Les demandes sont lessuivantes:

Analysesmicrobiologiquessureauxpropresousales; Caractérisationdesdéchetsavecuntestdelixiviationen

batch; Caractérisation des déchets pour la valorisation

énergétique(Karl‐Fisher,pointéclair,halogènes,…); Cyanures, COV’s et autres éléments en traces

métalliques; Des matrices telles que les engrais, les composts et les

digestats.A ce jour, le Laboratoire de Référence a pris la décision delimiter, pour un temps, l’organisation à des essais similaires àceux qui ont déjà été proposés aux participants. Cela peuts’expliquer par deux raisons. Premièrement, une révision dedétailsdesméthodesstatistiquesestencoursafind’interpréterles résultats d’analyses fournis en interne, notamment pourl’évaluation de l’homogénéité et de la stabilité des lots et pourles interprétations de performance en terme de Z‐score.Deuxièmement,lesessaisorganisésparl’ISSePs’inscriventdansun cadre réglementaire spécifique et les paramètres sont dèslorsrelativementcontraints.

Cette option doit permettre au Laboratoire de Référence derenforcersonexpériencedansl’élaborationdesessaisd’aptitudepourlesmatricesrelativesauxagrémentscitésplushaut.

11

4. Consignesetdocumentsfournis

12

19

21

0

Tout à fait d'accord Partiellementd'accord

Pas du tout d'accord Sans avis

Les consignes envoyées sont claires

Dans le cadre de son accréditation en tant qu’organisateurd’essaisd’aptitude, l’ISSePesttenudesuivredesrèglesstrictesquant à l’organisation des essais d’aptitude (informationsdonnées aux participants, planification, consignes, formulairesderésultats...). L’objectif de cette série de questions est de vérifier si lesconsignessoumisesauxparticipantsétaientclairesetsuffisantespourleurpermettredebienappréhenderlesessaisd’aptitudeetdepouvoirlesréaliserdanslesmeilleuresconditionspossibles.Pourcettepartie,22participantsontrépondu.

4.1 Clartédesconsignes 19 participants estiment que les informations transmises aupréalablesontclairesetprécises.Pour les autres répondants (2partiellementd’accords et 1pasdutoutd’accord),lespointsàaméliorersontlessuivants:

Deserreursontétédétectéeslorsdelatransmissiondelagammeauxparticipants;

Il manque l’information sur certains paramètres quipourraientavoiruneinfluencesurlesmesures(exemple:pH,conductivité,…).

Depuis l’audit d’accréditation du mois de septembre 2017, ladétermination de la gamme a été revue afin, d’une part, decaractériser l’échantillon proposé et, d’autre part, d’éviter leserreurs.

Des informations complémentaires peuvent être apportées parleLaboratoiredeRéférencepourdesquestionsdesécurité.Parcontre, en ce qui concerne les informationsmanquantes quantauxéventuellesinfluencessurlesmesures,ilestrappeléquelesconsignes précisent bien que les échantillons fournis doiventêtre traités comme tout autre échantillon inconnu arrivant aulaboratoire.Lesgammes fournies représententdéjàunesourced’information.

13

20

1 10


Les consignes envoyées sont suffisantes

4.2 Consignessuffisantes 20 participants estiment que les informations transmises aupréalablesontsuffisantes.Pourlesautresrépondants(1partiellementd’accordet1pasdutout d’accord), le point à améliorer est identique à un de ceuxcités dans le paragraphe précédent, à savoir le manqued’information sur les paramètres pouvant avoir une influencesurlesmesures.

14

17

4

10

Tout à faitd'accord

Partiellementd'accord

Pas du toutd'accord

Sans avis

Le délai entre l'envoi des consignes et la prise en charge est suffisant

4.3 Délaientrel’envoidesconsignesetlapriseenchargedeséchantillons

17participantsestimentqueledélaifixéà15joursestsuffisant.Pour les autres répondants (4partiellementd’accords et 1pasdu tout d’accord), plusieurs actions pourraient être mises enœuvre afin de mieux planifier la prise en charge deséchantillons:

Allongerledélaientrel’envoidesconsignesetlapriseenchargedeséchantillonsà1moisaulieudes15jours;

Assouplirl’horairedepriseenchargedeséchantillons; Emettre un planning en début d’année reprenant les

différentsessaisd’aptitudeprévusdansl’année.Pourpermettreauxlaboratoiresparticipantsdemieuxanticiperlapriseenchargedeséchantillons, ilestprévude les informersurleplanningannueldesessaisd’aptitudesdel’annéeencours.Eneffet,leprogrammedetravailestétablienconcertationavecle Service Public de Wallonie. Il s’agit de faire un compromisentrelesattentesdelaRégionWallonneentermesdematriceset de paramètres et la possibilité de lamise enœuvre de telsessaisauseindel’Institut.Leplanningannuelseraitpubliésurlesiteinternetwww.issep.be(voir§5).En ce qui concerne le délai entre l’envoi des consignes et leretrait des échantillons par les participants, il a été décidéd’allongercelui‐cià3semaines.Ils’agitlàd’uncompromisentrela proposition de certains répondants et la capacité duLaboratoiredeRéférencepourlamiseenœuvredetouslestestspréalables au démarrage de chaque essai (caractérisation de

l’échantillon,déterminationdelagamme,testd’homogénéitéetdestabilité,…).Ilestenvisagéquelapriseenchargedeséchantillonspourraitsefairetoutaulongdelajournéeetnonplusuniquementlematin.

15

16

3

12


L'utilisation des résultats des essais d'aptitude organisés par l'ISSeP est possible dans un autre cadre que celui des agréments en Région Wallonne

4.4 Utilisationdesrésultatsdesessaisd’aptituderéalisésparl’ISSeP dansunautrecadrequeceluidesagrémentsenRégionWallonne

16 participants estiment que, de par l’accréditation ISO 17043del’ISSeP,ilestpossiblepoureuxd’utiliserlesrésultatsobtenuslors de leur participation dans un autre cadre que celui desagrémentsenRégionWallonne.3 sont partiellement d’accords, 1 pas du tout d’accord et 2restentsansavis.

16

5. Rapports

17

L’ISSePestégalementsoumisàdesrèglesquantàlaréalisationet l’émission des différents rapports transmis aux participantsdes essais d’aptitude. Ces rapports ont été remodelés afin decorrespondreauxconstatsétablislorsdesauditsBELACetpouréclaircirlesméthodesdecalculdesdifférentsZ‐scores(Z,Z’,Z’’etZ’’’).De plus, l’ISSeP a mis en place des rapports intermédiaires,permettant aux participants de pouvoir se situer quant à leursperformancesavantl’émissiondurapportfinal.Pourcettepartie,21participantsontrépondu.

5.1 Clartédesrapports 19 participants estiment que les informations reprises dans lerapportfinaldesessaisd’aptitudesontclairesetprécises.1participantn’estpasdutoutd’accordaveccetteaffirmation.1participantestsansavisconcernantcettequestion.Lastatistiquemiseenplacedans lecadredesessaisd’aptitudeafin de déterminer l’homogénéité et la stabilité des lots, ainsique l’évaluation de la performance (Z‐score) suit la norme ISO13528: 2015 «Méthodes statistiques utilisées dans les essaisd’aptitudeparcomparaisond’aptitudes».Lerapportcomprendtouteslesétapesetlesprescriptionsreprisesdansladitenorme.Le Laboratoire de Référence envisage différentes options pourrendre la théorie statistique plus claire comme, par exemple,l’extractionde cettepartiehorsde ses rapports et d’éditerunguided’interprétationdesrésultats.

5.2 Informationsdonnéesdanslesrapportssuffisantes

19 participants estiment que les informations reprises dans lerapportfinaldesessaisd’aptitudesontsuffisantes.1participantn’estpasdutoutd’accordaveccetteaffirmation.1participantestsansavisconcernantcettequestion.Lelaboratoireestimantqu’ilmanquedesinformationsvoudraitsevoirdévelopperlecalculdezeta‐scoresvialetraitementdesincertitudesfourniesparlesparticipants.Danslecadredeleursdossiersd’agrément,leServicePublicdeWallonie utilise notamment les résultats des participants.Jusqu’àprésent, seule laperformanceen termesdeZ‐score estutilisée. Cependant, certains laboratoires participantsmentionnent, comme il est demandé dans les consignes, lesincertitudes attribuées à leurs résultats. Ces informationspourraientêtreutiliséesàl’avenirpourcalculerdesZeta‐scores.Cetteperspectiveestenaccordaveccequiest indiquéau§3.2,relativementàlarévisiondesméthodesstatistiques.

18

19

01 1


Les informations présentes dans les rapports émis par l'ISSeP sont claires et suffisantes

19

19

01 1


Les représentations graphiques présentes dans les rapports émis par l'ISSeP sont claires

5.3 Clartédelaprésentationdesrésultatssouslaformedetableauxetdegraphiques

19participantsestimentque laprésentationdes résultats sousformedetableauxetdegraphiquesestclaireetprécise.1participantn’estpasdutoutd’accordaveccetteaffirmation.1participantestsansavisconcernantcettequestion.Le laboratoire quimarque son désaccord sur cette affirmationestimeque lareprésentationgraphiquenepermetpasde jugerde l’exactitude des résultats, à savoir qu’elle ne permet pas dedéterminers’ilyunproblèmederépétabilitéoude justesseoulesdeux.LeLaboratoiredeRéférenceestimequelesparticipantspossèdent les informations suffisantes sur les représentationsgraphiques présentes dans les rapports émis. En effet, dansl’annexe I des rapports d’essais d’aptitude, l’ensemble desrésultatsdesparticipantsest représentésainsique lamoyenneconsensuelle obtenues via un algorithme utilisant desstatistiques dites robustes. Il est dès lors possible pour unparticipant de vérifier si la répétabilité et la justesse de leursrésultats sont similaires à celles des autres participants.Cependant,laremarquequiestsoumiseestbienpriseencompteparleLaboratoiredeRéférence.

20

19

10

1


Les représentations graphiques présentes dans les rapports émis par l'ISSeP sont suffisantes

5.4 Tableauxetgraphiquesderésultatssuffisants19participantsestimentque laprésentationdes résultats sousformedetableauxetdegraphiquesestsuffisante.1participantestpartiellementd’accordaveccetteaffirmation.1participantestsansavisconcernantcettequestion.

21

15

5

01


Le rapport intermédiaire constitue une information utile

5.5 Rapportintermédiaire Lorsdesderniers essais d’aptitude, un rapport intermédiaire aété édité. Ce rapport comprend une estimation de laperformance des participants entre la remise du document derésultatspar lesparticipantset l’émissiondurapport final.LesZ‐scores sont donnés à titre informatif aux participants afinqu’ils puissent se positionner et déjà démarrer des constatsd’anomalielecaséchéant.Ilfautégalementsoulignerlefaitquel’évaluation de la performance des laboratoires peut évoluerentre le rapport intermédiaire et le rapport final suite auxvérifications et corrections d’usage dans le plan statistiqueétabli.

15participantsestimentquelerapport intermédiaireconstitueuneinformationintéressanteetutile.5participantssontpartiellementd’accords.1participantestsansavisconcernantcettequestion.

22

6. Siteinternet

23

14

4

0

3

Tout à fait d'accord Partiellement d'accordPas du tout d'accord Sans avis

Une page internet sur le site internet de l'ISSeP doit être mise en place

Dans un souci d’amélioration de la communication entre lesparticipantsauxessaisd’aptitude,l’Administrationetl’ISSeP,ilaété proposé de créer sur le site internet de l’ISSeP une pagedédicacéeàl’organisationdesessaisd’aptitude.Pourcettepartie,21participantsontrépondu.18 répondants sont intéressés (14 tout à fait d’accords et 4partiellementd’accords)parlamiseenplaced’unepageinternetdédiée aux essais d’aptitude. Ils voudraient y trouverprincipalementlesinformationssuivantes:

Une planification annuelle: comme cité au §4.2, leprogramme des essais d’aptitude est discuté avec leService Public de Wallonie. 17 participants sontintéressés par la diffusion de ce programme afin d’êtretenuaucourantsuffisammentàl’avancedelaréalisationde certains essais et de pouvoir plus facilements’organiser en interne. Le planning qui serait diffuséreprendrait au minimum les matrices, les paramètresainsiquelapériodedeladistributiondeséchantillons.

Lesdocumentsrelatifsàl’organisationdesEIL:bienqueles documents de consignes, de gammes et de résultatssoient envoyés au préalable de chaque essai d’aptitude,15 participants estiment qu’ils devraient égalementapparaîtresurlesiteinternetdel’ISSeP.

Le rapport final: le rapport final est envoyé à tous leslaboratoires participants via un e‐mail personnalisé.Cependant, 11 participants estiment qu’il seraitintéressantd’égalementlemettreàdispositionvialesiteinternet.

Encequiconcernelerapportintermédiaire,peudeparticipantsseraient intéressés à le voir sur le site internet. Il n’y sera dèslorspasajouté.

24

17

15

8

11

1

3

10

7

3 3 3 3

Planification annuelle Documents de consignes Rapports intermédiaires Rapports finaux

Documents demandés par les participants sur le site internet de l'ISSeP

Oui

Non

N/A

25

7. Conclusionsetaxesd’amélioration

26

7.1 Synthèsedesrésultats Cette enquête avait pour but demieux connaitre l’opinion despersonnes principalement concernées par l’organisation desessais d’aptitude, à savoir les participants. L’enquête a étéréalisée au moyen d’un questionnaire en ligne. Le taux deréponseestde50%.Les résultats obtenus indiquent que la grande majorité desrépondants est satisfaite des types d’essais d’aptitude réalisés(entermesdematriceetdeparamètre),del’organisationetdesrapportsémisparleLaboratoiredeRéférence.

7.2 Axesd’amélioration Bien que, globalement, les participants aux essais d’aptitudesoientsatisfaitsdelaprestationduLaboratoiredeRéférenceentantqu’organisateur,saqualitépourraitêtreamélioréepar:

L’augmentation du catalogue d’essais d’aptitude via desnouvellesmatricesoudesnouveauxparamètres.

L’amélioration du processus de détermination de lagammeafind’éviter leserreursquiontpu survenir lorsd’essaisd’aptitudeprécédents.

L’allongementdesdélaisentrel’envoidesconsignesetlapriseenchargedeséchantillonsparlesparticipants.

L’assouplissement des heures de prise en charge de cesmêmeséchantillons.

L’enrichissement de la partie statistique des essaisd’aptitudeendéveloppantparexemplelecalculdeZeta‐scores,l’estimationdelarépétabilitéetdelajustesse.

Lamiseenplaced’unepageinternetdédicacéeauxessaisd’aptitudesurlesitedel’ISSeP.

Il s’agit ici d’une proposition de différents axes d’améliorationque l’ISSeP pourrait mettre en place au cours des prochainesannées. LeLaboratoiredeRéférenceremercieleslaboratoiresagréésquiontparticipéàl’enquêtedesatisfaction.

27

8. Références

8.1 Référencesdocumentaires

ISO 17043:2010: Évaluation de la conformité ‐‐Exigencesgénéralesconcernantlesessaisd'aptitude

Sysfal ASBL, Enquête de satisfaction (Guideméthodologique), disponible sur:http://www.parkdatabase.org/files/documents/0000_Enquete‐de‐satisfaction‐guide‐methodologique_Sysfal.pdf

8.2 Sourcesimages

http://ludotek2gaves.over‐blog.com/page‐1599306.html www.dreamtime.com www.lesaffaires.com www.shutterstock.com https://oggipro.com http://www.fontecsys.com http://benchaida.unblog.fr