Procédure d’évaluation des dispositifs de surveillance ... · instance comme le ministère de l’Agriculture. Une évaluation peut aussi être demandée par les responsables,

Procédure d’évaluation des dispositifs de surveillance épidémiologique avec OASIS Page 1

Procédure d’évaluation des dispositifs de surveillance avec

l’outil OASIS, dans le cadre des activités de la Plateforme ESA


Introduction ................................................................................................................................................................................................

Le cycle d’utilisation d’OASIS – Vision globale ................................................................................................................................

Le cycle d’utilisation d’OASIS – Présentation détaillée ................................................................................................................................

Phase 1. Préparation ........................................................................................................................... 6

1.1. Demande d’évaluation ............................................................................................................. 6

1.2. Equipe d’évaluation .................................................................................................................. 6

1.3. Termes de références et recevabilité ....................................................................................... 7

1.4. Bases de l’évaluation ................................................................................................................ 8

1.5. Acceptation des bases de l’évaluation ..................................................................................... 9

Phase 2 : Mise en oeuvre .................................................................................................................... 9

2.1. Adapter les termes utilisés dans OASIS à la réalité du dispositif évalué .................................. 9

2.2 Préparer les rencontres ............................................................................................................. 9

2.3. Réunion d’évaluation centrale ............................................................................................... 10

2.4. Réunion bilan au sein de l’équipe d’évaluation ..................................................................... 11

2.5. Rencontres sur le terrain ........................................................................................................ 11

2.6. Réunion de notation ............................................................................................................... 12

2.7. Réunion de concertation ........................................................................................................ 12

2.8. Réunion bilan au sein de l’équipe d’évaluation ..................................................................... 12

2.9. Réunion de restitution centrale ............................................................................................. 13

Phase 3 : Finalisation ......................................................................................................................... 13

3.1. Rédiger le rapport final de l’évaluation .................................................................................. 13

3.2. Diffuser le rapport final de l’évaluation ................................................................................. 13

3.3. Suivre la mise en place des recommandations ...................................................................... 14

3.4. Préparer la prochaine évaluation ........................................................................................... 14

Le cycle d’utilisation d’OASIS - Illustration par l’exemple de l’évaluation du dispositif de

surveillance de la tuberculose bovine................................................................................................................................................................

Phase 1. Préparation ......................................................................................................................... 15

1.2. Equipe d’évaluation ................................................................................................................ 15

1.3. Termes de référence et recevabilité ...................................................................................... 15

1.4. Bases de l’évaluation .............................................................................................................. 17

1.5. Acceptation des bases de l’évaluation ................................................................................... 18

Phase 2. Mise en œuvre .................................................................................................................... 19

2.1. Adaptation des termes utilisés dans OASIS à la réalité du dispositif évalué .......................... 19


2.2 .Préparation des rencontres .................................................................................................... 19

2.5. Rencontres sur le terrain ........................................................................................................ 20

Phase 3. Finalisation .......................................................................................................................... 23

3.1 Rédiger le rapport final de l’évaluation ................................................................................... 23


L’évaluation des dispositifs de surveillance réalisée dans le cadre des activités de la Plateforme nationale de

surveillance épidémiologique en santé animale doit, autant que possible, être standardisée. Pour cela, il est

proposé qu’un un même outil (OASIS) soit utilisé et qu’une procédure soit suivie pour son utilisation.

Cette procédure pour l’utilisation d’OASIS complète le document de présentation de l’outil d’OASIS. Elle

comporte trois sections :

- Le cycle d’utilisation d’OASIS, vision globale, qui peut servir d’aide mémoire auquel les évaluateurs

peuvent se reporter à tout moment ;

- Le cycle d’utilisation d’OASIS, présentation détaillée, qui précise la démarche à adopter à chaque

étape de l’évaluation ;

- Le cycle d’utilisation d’OASIS, illustration par un exemple, qui explicite certaines étapes de l’utilisation

d’OASIS à travers l’exemple de l’évaluation du dispositif de surveillance de la tuberculose bovine en

France, en 2011.

Il est recommandé qu’au moins une personne de l’équipe d'évaluation ait une bonne connaissance préalable

de l’outil OASIS et que les autres reçoivent une formation spécifique à cet outil et à son utilisation.

La procédure proposée est destinée à être complétée et aménagée au fur et à mesure des retours d’expérience

sur son utilisation dans le cadre des activités de la Plateforme.

Introduction


1. PREPARATION

2.

M

I

S

E

E

N

O

E

U

V

R

E

3. FINALISATION

1.2 Demande d'évaluation

1.2 Equipe d’évaluation

1.3 Termes de référence et recevabilité

1.4 Bases de l’évaluation

1.5 Acceptation des bases de l’évaluation

2.1 Adaptation des termes OASIS

2.2 Préparation des rencontres

2.3 Réunion(s) d’évaluation

centrale

2.4 Première réunion bilan

2.5 Rencontres sur le terrain

(facultatif)

2.6 Réunion de notation

2.7 Réunion de concertation

2.8 Seconde réunion bilan

2.9 Réunion de restitution centrale

- Membres externes - Interlocuteurs privilégiés

Termes de références - Contexte - Justification - Objectifs - Suites possibles - Délais - Diffusion des résultats - Financement Recevabilité : acceptabilité par l’équipe d’évaluation de la demande

- Parties prenantes - Planning - Base documentaire - Préparation des entretiens

- Acceptation par les demandeurs et les parties prenantes des bases de l’évaluation - Possibilité d’organiser une réunion de lancement

Le cycle d’utilisation d’OASIS – Vision globale

Réception par les chargés d’évaluation de la Plateforme

Langage commun entre les évaluateurs et les parties prenantes

Information détaillées des parties prenantes qui seront rencontrées sur le processus

Rencontre des : animateur, demandeurs, comité de pilotage, coordinateur, unité centrale, représentants des échelons

Point de l’équipe d’évaluation sur les information recueillies par la réunion d’évaluation centrale

Rencontre des : fournisseurs et collecteurs de données (responsables d’abattoirs vétérinaires praticiens, vétérinaires inspecteurs, éleveurs, etc.), responsables d’unités intermédiaires (DDPP, GDS, etc.), laboratoires, etc.

Membres de l’équipe d’évaluation

Présentation interactive et discussion des notes, des résultats et des recommandations avec les parties prenantes, décideurs, et interlocuteurs privilégiés

Point de l’équipe d’évaluation sur la réunion de consultation Notes et recommandations définitives

Présentation des conclusions aux demandeurs

Plan de communication Différents publics cibles

Rédaction par les membres de l’équipe d’évaluation Validation par l’ensemble de l’équipe d’évaluation (y compris interlocuteurs privilégiés)

3.1 Rédaction du rapport d’évaluation

3.2 Diffusion du rapport d’évaluation

3.3 Mise en place des recommandations

3.4 Prochaine évaluation


Phase 1. Préparation

1.1. Demande d’évaluation L’évaluation d’un dispositif de surveillance peut avoir été planifiée dans le programme de travail de la

Plateforme nationale de surveillance épidémiologique en santé animale ou peut-être recommandée par une

instance comme le ministère de l’Agriculture. Une évaluation peut aussi être demandée par les responsables,

maîtres d’œuvre, bailleurs de fond ou partenaires d’un dispositif de surveillance ressentant le besoin d’évaluer

leur dispositif. La demande d’évaluation peut être formulée par ces derniers auprès du comité de pilotage du

dispositif de surveillance considéré ou bien, s’il n’existe pas de comité de pilotage, auprès du ou des décideurs.

Cette demande est ensuite relayée aux chargés d’évaluation de la Plateforme nationale de surveillance

épidémiologique en santé animale qui centralisent les demandes et évaluent la suite à leur donner. Si la

réalisation d’une évaluation est jugée pertinente, ils initient la première étape de la procédure qui consiste à

former une équipe d’évaluation.

1.2. Equipe d’évaluation OASIS est prévu pour être utilisé par des évaluateurs externes (les « membres de l’équipe d’évaluation »), en

lien et de manière participative avec les personnes responsables du dispositif étudié (les « interlocuteurs

privilégiés »).

� Membres de l’équipe d’évaluation

Il est souhaitable que les membres de l’équipe d’évaluation soient externes au dispositif de surveillance, c'est-

à-dire qu’ils n’occupent pas de fonction dans le pilotage, l’animation ou la coordination. Afin d’éviter tout

conflit d’intérêt, ils ne doivent pas être salariés du dispositif lui-même ou de l’un de ses partenaires.

Il est recommandé de nommer a minima deux membres (quatre au maximum), de préférence des

épidémiologistes, qui participeront à l’ensemble des étapes de l’évaluation. Il est important qu’au moins l’un

des membres aient une expérience sur le terrain dans le domaine de la surveillance épidémiologique

(inspecteur de santé publique vétérinaire, directeur de DD(CS)PP ou de GDS, coordinateur de dispositif de

surveillance, etc.).

Les membres de l’équipe d’évaluation doivent tous maîtriser l’outil OASIS. Au moins un membre doit déjà avoir

conduit une évaluation complète. Si certains membres n’ont jamais utilisé OASIS, une formation préalable à

l’outil doit leur être dispensée.

La répartition des tâches se fait en fonction de l’expérience et des compétences des membres. Les personnes

ayant le plus d’expérience en termes d’évaluation ont la plus forte légitimité pour animer les phases de récolte

d’information auprès de l’unité centrale. Celles ayant le plus d’expérience pratique pourront en revanche

animer les phases de récolte d’information auprès des unités locales, des unités intermédiaires et des

laboratoires.

Enfin, un chef d’équipe est nommé. Il est responsable du suivi complet de l’évaluation et de la répartition des

tâches entre les membres de l’équipe. Il se charge également de la coordination de la rédaction du rapport

final d’évaluation et de la présentation des recommandations. Le chef d’équipe est responsable de tenir les

parties prenantes informées tout au long du processus d’évaluation.

� Interlocuteurs privilégiés

Afin de garantir une bonne appropriation de l’évaluation et de favoriser son acceptabilité par les responsables

du dispositif de surveillance, il est important d’inclure tout au long du processus une ou deux parties prenantes

en position d’« interlocuteurs privilégiés ». Toute personne ayant un rôle dans le traitement des données ou la

coordination de la surveillance aux échelons centraux ou intermédiaires et intéressée par l’évaluation peut être

un interlocuteur privilégié.

Les interlocuteurs privilégiés participent à toutes les étapes de l’évaluation (préparation, réunion(s)

d’évaluation centrale(s), visites sur le terrain, réunion de concertation, réunion de restitution). En revanche,

pour des raisons d’objectivité, ils ne participent pas à l’étape de notation, mais ils peuvent être consultés a

posteriori pour discuter des notes attribuées. Ils ne disposent pas non plus d’un rôle lors de la rédaction du

Le cycle d’utilisation d’OASIS – Présentation détai llée


rapport final et de la formulation de recommandations mais peuvent être consultés pour la validation du

rapport avant sa diffusion. Le dernier mot de l’évaluation revient aux membres de l’équipe d’évaluation.

1.3. Termes de références et recevabilité � Définir les termes de référence de l’évaluation

Pour qu’un consensus puisse être obtenu sur les résultats de l’évaluation, il doit y avoir un consensus en amont

entre les demandeurs et l’équipe d’évaluation sur les termes de référence de l’évaluation, à savoir :

- le contexte dans lequel s’inscrit l’évaluation,

- la justification du besoin d’évaluation,

- les objectifs de l’évaluation,

- les suites possibles de l’évaluation,

- les délais souhaités pour le rendu des résultats,

- le schéma de diffusion des résultats,

- les aspects financiers.

Les termes de références sont formalisés sous la forme d’un document de demande d’évaluation qui définit

les points suivants :

Contexte dans lequel s’inscrit l’évaluation

- Demandeurs de l’évaluation (rôle, fonction dans le dispositif, …),

- Dispositif à évaluer,

- Maladie(s) surveillée(s),

- Etc.

Justification du besoin d’évaluation

- Dysfonctionnements du système de surveillance,

- Modifications fonctionnelles des systèmes (nouveau logiciel, programme de formation…),

- Demande de la part du ministère de tutelle,

- Augmentation du niveau de priorité de la maladie,

- Etc.

Objectifs de l’évaluation

- Mise en évidence des points forts et des points faibles du dispositif,

- Amélioration du dispositif de surveillance sur la base des résultats de l’évaluation,

- Formulation de recommandations,

- Etc.

Suites possibles de l’évaluation

Il est important de préciser quelles pourront être les suites de l’évaluation, c’est-à-dire les décisions qui

- Redéfinition des responsabilités au niveau des différents échelons,

- Amélioration de certains outils,

- Mise en place d’un plan de formation,

- Etc.

Schéma de diffusion des résultats d’évaluation

- Limitation de la diffusion des résultats à un nombre restreint de personnes,

- Ne pas faire figurer certains éléments sur les rapports remis,

- Limitation de l’information diffusée en fonction des destinataires.

Les éventuelles restrictions sont formalisées sous la forme d’une clause de confidentialité signée entre les

décideurs et l’équipe d’évaluation. Il est important que le public cible apparaisse dans les termes de référence.

Délais souhaités pour le rendu des résultats d’évaluation

Les demandeurs proposent les délais à respecter pour le rendu des conclusions de l’évaluation. Les dates de

début et de fin de l’évaluation figurent dans le document de demande d’évaluation.


Aspects financiers

- Rémunération éventuelle des experts,

- Prise en charge des frais de déplacement,

- Budget maximal alloué à l’évaluation.

� Déterminer la recevabilité de la demande

L’équipe d’évaluation, sur la base des termes de références formalisés, juge de la recevabilité de la demande :

- Les objectifs formulés sont-ils cohérents ?

- La méthode d’évaluation utilisée par l’équipe permettrait-elle de répondre à ces objectifs ?

- Au regard des moyens humains, matériels, techniques et financiers, l’évaluation peut-elle être

effectuée dans les délais souhaités ?

Si la demande n’est pas recevable en l’état, une discussion peut avoir lieu entre les évaluateurs et les

demandeurs et les termes de référence peuvent être aménagés jusqu’à obtenir une demande recevable. Sinon

elle est abandonnée.

L’acceptation de la demande peut se faire selon diverses modalités. Le document de demande d’évaluation

peut être signé de manière formelle entre le responsable de l’équipe d’évaluation et le demandeur. Un simple

accord peut suffire si ces personnes disposent d’une délégation de pouvoir pour le suivi de l’évaluation et la

mise en place des éventuelles recommandations.

1.4. Bases de l’évaluation � Parties prenantes

L’équipe d’évaluation identifie l’ensemble des personnes susceptibles d’être intéressées par l’évaluation

(=parties prenantes). Il peut s’agir :

- des demandeurs de l’évaluation,

- des principaux décideurs (coordinateur du dispositif, président du comité de pilotage…),

- de personnes externes au dispositif prenant les décisions sur la base des informations générées par le

système de surveillance que l’on peut nommer « utilisateurs »,

- de personnes responsables de la collecte, du traitement et de la diffusion des informations à tous les

échelons (départemental, régional, national) : vétérinaires sur le terrain, laboratoires, DDPP, GDS,

DGAL, Anses etc. que l’on peut appeler « acteurs ».

- de partenaires financiers du dispositif de surveillance.

Une liste des parties prenantes est dressée à l’aide des responsables du dispositif et celles qui seront

rencontrées dans le cadre de l’évaluation sont identifiées.

Toutes les parties prenantes de terrain ne sont pas forcément à rencontrer ou à interroger. Il revient à l’équipe

d’évaluation de déterminer quelles parties prenantes seront rencontrées et le nombre de personnes à

solliciter, en fonction du contexte, du budget alloué et des délais impartis. L’équipe d’évaluation détermine

également les zones à visiter en fonction de la problématique que pose le dispositif de surveillance, de sa

structure (pour un dispositif très ramifié, il est intéressant de rencontrer un grand nombre de parties

prenantes) et de déterminer les modalités des rencontres (présentielles ou téléphoniques).

� Planning de l’évaluation

Selon la taille et la nature du dispositif, une évaluation peut durer une à plusieurs semaines.

Sur la base des dates de début et de fin d’évaluation fixées dans le document de demande d’évaluation, le

planning de l’évaluation est défini en faisant figurer les activités de chaque semaine ou jour, les parties

prenantes rencontrées ainsi que le(s) membre(s) de l’équipe d’évaluation chargé(s) de la dite activité.

� Base documentaire

Une liste de documents utiles est dressée préalablement à la mise en œuvre de l’évaluation. Il peut s’agir de la

législation, de cartes de zones de surveillance, d’une liste du personnel du dispositif avec une description des

différents postes existants, de la documentation sur les logiciels utilisés, des copies de rapports de surveillance

de l’année précédente ou en cours, des exemples de décisions prises sur la base des résultats générés par le

dispositif, d’articles scientifiques. Des copies de formulaires utilisés par les collecteurs de données, des


documents de procédures utilisées dans les laboratoires, unités intermédiaires, les résultats d’éventuels

indicateurs de performance ainsi que les résultats d’éventuelles évaluations précédemment conduites sont

également des documents intéressants.

L’unité d’animation centrale du dispositif est généralement en mesure de fournir la plupart de ces documents.

Les unités intermédiaires pourront quant à elles fournir les résultats de la surveillance au niveau local ou tout

autre document utilisé spécifiquement à leur échelon (département ou région). Certains documents sensibles

peuvent être fourni à l’équipe d’évaluation sous réserve de respect d’une close de confidentialité.

Ces documents constituent une base sur laquelle les évaluateurs s’appuieront tout au long du processus. Ils

permettent à l’équipe d’évaluation de pré-remplir certaines sections du questionnaire OASIS et également de

l’adapter à la situation particulière du dispositif considéré (certaines rubriques pouvant s’avérer inutiles dans

certaines situations). Cette base documentaire est également un appui utile lors de la formulation des

recommandations.

� Préparation des entretiens

L’outil OASIS comprend un grand nombre de questions destinées à la plupart des parties prenantes du

dispositif. Cependant, plutôt que de suivre le questionnaire d’OASIS, il peut être plus pratique et plus aisé de

rédiger des guides d’entretien pour chacun des groupes de parties prenantes que l’équipe interrogera. Ces

guides doivent permettre de remplir les sections OASIS (par exemple la section « laboratoire central » lorsque

le laboratoire central est interrogé) et de récolter toute information complémentaire que l’équipe d’évaluation

juge utile dans la conduite de l’évaluation.

1.5. Acceptation des bases de l’évaluation Cette étape vise à formaliser le consensus entre l’équipe d’évaluation, les demandeurs et toutes les parties

prenantes identifiées, sur les termes de référence et le déroulement de l’évaluation. Il revient à l’équipe

d’évaluation de décider sous quelle forme l’accord est concrétisé ; l’une des options est la tenue d’une réunion

formelle appelée « réunion de lancement ».

La réunion de lancement est avant tout une réunion explicative. Elle est l’occasion pour l’équipe d’évaluation

de présenter aux demandeurs et aux parties prenantes, les objectifs de l’évaluation, les moyens mis en œuvre

(planning des visites,…) et la méthode OASIS. Son but est d’obtenir l’accord des parties prenantes sur les

« bases de l’évaluation » définies précédemment et, si nécessaire, de le concrétiser par la signature d’un

document. Il est recommandé que l’équipe d’évaluation soit présente au complet. Toutes les parties prenantes

identifiées doivent être informées des termes de référence ainsi que des modalités de déroulement de

l’évaluation, mais toutes ne doivent pas forcément être présentes à la réunion de lancement. Les demandeurs

et l’ensemble des décideurs du dispositif (unité d’animation centrale, comité de pilotage, coordinateurs) y

compris à l’échelon intermédiaire (coordinateurs de la surveillance régionaux ou départementaux) doivent être

conviés en priorité à participer à la réunion de lancement. Un document d’information peut être soumis aux

parties prenantes non conviées à la réunion de lancement.

Phase 2 : Mise en oeuvre

2.1. Adapter les termes utilisés dans OASIS à la ré alité du dispositif évalué Cette étape consiste à adapter les termes utilisés dans le questionnaire OASIS pour décrire les dispositifs de

surveillance à ceux véritablement utilisés dans le cadre du dispositif de surveillance évalué. L’adoption d’un

langage commun entre les évaluateurs et les parties prenantes rencontrées est indispensable. L’équipe

d’évaluation doit soumettre l’adaptation proposée aux demandeurs pour validation.

2.2 Préparer les rencontres Les réunions d’évaluation centrale avec les décideurs et/ou animateurs du dispositif (et les rencontres sur le

terrain nécessitent un travail préparatoire.


Avant tout, afin de favoriser leur participation, il est important que toutes les personnes que l’équipe

rencontrera soient informées des principaux objectifs de l’évaluation et des moyens mis en œuvre. Si certaines

n’ont pas participé à la réunion de lancement, il est recommandé de leur faire parvenir un court descriptif de

l’évaluation reprenant le contexte de l’évaluation, ses objectifs et un résumé du protocole qui sera suivi.

Afin que les interlocuteurs ne soient pas pris au dépourvu, il est également possible, en complément des

informations données lors de la réunion de lancement, de les informer du contenu du questionnaire OASIS, par

exemple en leur faisant parvenir un échantillon de questions représentatives de chacune des dix sections

d’OASIS. En effet, rencontrer les parties prenantes sans que celles-ci ne connaissent le contenu global du

questionnaire OASIS pourrait s’avérer contre-productif et occasionner des pertes de temps et d’efficacité.

Par ailleurs, la constitution d’une feuille guide sur laquelle les interlocuteurs peuvent se baser pour structurer

leurs réponses permet d’instaurer un fil conducteur aux réunions d’évaluation. Cette feuille guide peut

également servir de support aux responsables du dispositif pour présenter leur dispositif. Il n’est pas

obligatoire que les parties prenantes rencontrées en fassent usage et préparent des réponses structurées, mais

ce document peut au minimum satisfaire les personnes désirant s’informer plus précisément sur la méthode

d’évaluation. C’est à l’équipe d’évaluation de déterminer quel type de document elle souhaite faire parvenir à

ses interlocuteurs. Il est même tout à fait envisageable selon les situations de ne pas faire parvenir de feuille

guide.

C’est à l’équipe d’évaluation de se charger de faire parvenir ces documents aux parties prenantes. Afin qu’ils

aient suffisamment de temps pour se préparer, ces documents peuvent être soumis à l’ensemble des

interlocuteurs qui seront rencontrés après la « réunion de lancement » et au moins une semaine avant la

tenue des entretiens. Pour préparer la rencontre de parties prenantes locales, il est possible de passer par les

unités intermédiaires pour leur faire parvenir les documents. En effet, les unités intermédiaires en tant que

coordinateurs de la surveillance à l’échelon local sont les plus à même de contacter et motiver leurs

partenaires.

2.3. Réunion d’évaluation centrale � Personnes rencontrées

Lors de la rencontre de l’unité centrale, l’animateur du dispositif de surveillance doit être interrogé. Il bénéficie

d’une vision globale du dispositif et peut apporter la plupart des éléments demandés dans le questionnaire

OASIS. Peuvent également être représentés les demandeurs, les principaux décideurs, des représentants des

échelons centraux et éventuellement des représentants d’une ou plusieurs unités intermédiaires si des

déplacements sur le terrain ne sont pas prévus (aux échelons départementaux ou régionaux selon le dispositif).

Il peut être plus aisé, pour des raisons pratiques, de rencontrer les décideurs et les différents échelons

séparément. Il est également envisageable de rencontrer les différents décideurs séparément (comité de

pilotage, coordinateur, unité centrale). C’est à l’équipe d’évaluation de déterminer ce qui est le plus pratique et

le plus cohérent par rapport aux objectifs poursuivis.

� Format de la réunion

Deux formats sont possibles quant à l’animation de la réunion :

- Une réunion directive durant laquelle l’équipe d’évaluation mène la discussion en suivant toutes les

rubriques du questionnaire OASIS,

- Une réunion libre durant laquelle les responsables du dispositif de surveillance décrivent leur système

avec ou sans l’appui d’une feuille guide.

Bien qu’une réunion directive ait l’avantage de permettre de remplir toutes les rubriques du questionnaire, une

réunion libre est plus appropriée pour évaluer un dispositif. En effet, une réunion libre permet de soulever des

points qui seraient laissés de côté au cours d’une réunion directive. Par ailleurs, cela permet d’impliquer

beaucoup plus les parties prenantes que lors d’une réunion directive qui peut être perçue par ces derniers

comme un interrogatoire. En revanche, une réunion libre impose que les évaluateurs aient une parfaite

connaissance du contenu du questionnaire OASIS afin de n’omettre aucune rubrique. Le chef d’équipe peut

être chargé de recadrer la discussion ou de la réorienter pour remplir les sections manquantes.


� Déroulement

En préambule, l’outil OASIS doit être présenté aux parties prenantes, si cela n’a pas été effectué dans le cadre

d’une « réunion de lancement ». De même, les modalités de l’évaluation peuvent être exposées brièvement :

délais, planning des réunions et des visites sur le terrain.

Au cours de la réunion, un ou plusieurs autres membres de l’équipe peuvent, au grès des éléments apportés,

commencer à remplir les différentes sections d’OASIS.

� Durée

La durée des réunions d’évaluation centrale dépend du dispositif considéré et de la teneur des discussions mais

peut s’étaler sur une ou plusieurs journées. Afin de prévenir toute fatigue et lassitude de la part des parties

prenantes, il peut être judicieux de l’organiser par demi-journées (de 3 à 4 heures) plutôt que par journées

complètes. Il est même envisageable d’entrecouper deux demi-journées de réunion par des visites sur le

terrain.

2.4. Réunion bilan au sein de l’équipe d’évaluation Immédiatement après la ou les réunion(s) d’évaluation centrale(s), les membres de l’équipe d’évaluation se

réunissent pour effectuer un premier bilan. C’est l’occasion de faire le point sur les sections manquantes : si

tout n’a pas été renseigné, il est peut être nécessaire de recontacter, voire de rencontrer à nouveau, les

interlocuteurs.

2.5. Rencontres sur le terrain � Intérêt des rencontres sur le terrain

Les rencontres sur le terrain sont l’occasion pour les évaluateurs de s’imprégner de la « réalité du terrain » et

permettent de remplir plus précisément certaines sections du questionnaire OASIS comme celles concernant

l’organisation institutionnelle de terrain, le laboratoire de diagnostic et l’équipe mobile. Ces rencontres

permettent également de vérifier les informations qui ont été communiquées lors de la réunion d’évaluation

centrale et de confronter la vision centrale avec celle des parties prenantes de terrain.

� Choix des unités intermédiaires à visiter

En ce qui concerne le choix des visites de terrain à réaliser, si la situation épidémiologique est homogène dans

tous les départements et que les unités intermédiaires fonctionnent de la même manière, une seule unité

intermédiaire peut être visitée (en considérant qu’elle est représentative de toutes les autres). En revanche, si

la maladie a une disparité géographique ou que le mode de fonctionnement diffère d’une zone à l’autre, il peut

être intéressant de visiter plusieurs unités intermédiaires.

� Interlocuteurs

Il est intéressant de rencontrer un large panel de parties prenantes et plus particulièrement les fournisseurs de

données (généralement des éleveurs ou leurs représentants), les collecteurs de données (souvent les

vétérinaires praticiens ou leurs représentants) et des responsables des unités intermédiaires (DDPP, GDS, etc.).

D’autres acteurs peuvent apporter un éclairage supplémentaire. La rencontre de responsables d’abattoirs (si

les abattoirs sont impliqués dans la surveillance de la maladie considérée), de vétérinaires praticiens,

vétérinaires inspecteurs et d’éleveurs, premier chaînon de la surveillance, permet de visionner comment

s’articule la surveillance au niveau local. Ces mêmes parties prenantes peuvent être interrogées sur leur

perception du dispositif, sur la pertinence de leur action et sur leurs propositions d’améliorations du dispositif.

Ces éléments peuvent mettre en lumière l’acceptabilité du dispositif par les parties prenantes. Enfin, des visites

de laboratoires départementaux ainsi que du laboratoire national de référence de la maladie surveillée

permettent de compléter la section « laboratoire » d’OASIS.


� Planning

Il est préférable que les rencontres sur le terrain s’effectuent après la réunion d’évaluation centrale. En effet,

pour une meilleure compréhension du dispositif il semble plus logique de rencontrer les échelons «

supérieurs » en premier afin de disposer d’une vision globale, avant de rencontrer les interlocuteurs locaux.

� Animation

Comme pour les réunions d’évaluation centrale, deux solutions s’offrent à l’équipe d’évaluation pour conduire

les entretiens sur le terrain et il revient à l’équipe d’évaluation de déterminer quelle est la meilleure manière

de procéder :

- Des entretiens libres durant lesquels les interlocuteurs exposent leur implication dans la

surveillance de la maladie étudiée. L’équipe d’évaluation se contente alors de rebondir sur

certaines réponses et, si besoin, intervient pour recadrer la conversation.

- Des entretiens directifs ; en utilisant des modèles de questionnaire à utiliser sur le terrain. Les

entretiens peuvent être téléphoniques.

Dans les deux cas, les évaluateurs doivent garder à l’esprit que l’objectif est avant tout de remplir les dix

sections de l’outil OASIS.

� Valorisation

Le questionnaire OASIS doit être rempli au fur et à mesure des rencontres. Il est également important que tous

les entretiens fassent l’objet de compte-rendu afin de garder la trace de certaines informations pertinentes qui

ne peuvent pas être intégrées dans questionnaire (comme par exemple des propositions d’amélioration de la

part des parties prenantes).

2.6. Réunion de notation Une fois toutes les parties prenantes interrogées, le questionnaire OASIS doit être complet. La réunion de

notation est l’occasion de faire le bilan des visites. Sur la base des informations récoltées, les membres de

l’équipe d’évaluation notent les critères OASIS en se référant à la grille de notation.

Dans un second temps, les interlocuteurs privilégiés qui ont suivi toutes les étapes de l’évaluation, peuvent être

sollicités pour discuter des notes attribuées.

2.7. Réunion de concertation Les notes attribuées sont présentées par l’équipe d’évaluation à toutes les parties prenantes ayant assisté aux

réunions d’évaluation, aux demandeurs et aux interlocuteurs privilégiés. Les principaux résultats commentés.

La réunion de concertation doit être la plus interactive possible. Si besoin, les parties prenantes peuvent

modifier certaines de leurs réponses. L’équipe d’évaluation se tient également à leur disposition pour répondre

à leurs éventuelles interrogations.

L’équipe est chargée d’expliquer et commenter les résultats OASIS et peut éventuellement modifier certaines

notes en tenant compte des remarques des parties prenantes.

Les recommandations sont également discutées avec les parties prenantes, notamment en termes de

pertinence et de faisabilité.

A l’issue de cette réunion, l’équipe d’évaluation et les parties prenantes sont d’accord sur les résultats d’OASIS

et leur interprétation. Cette réunion est également l’occasion d’obtenir un accord oral sur les conclusions de

l’évaluation et les éventuelles recommandations.

2.8. Réunion bilan au sein de l’équipe d’évaluation C’est l’occasion pour l’équipe d’évaluation d’effectuer un bilan de la réunion de concertation de décider quelles

remarques des parties prenantes peuvent être prises en compte et éventuellement modifier certaines de leurs

notes. A l’issue de cette réunion, les notes sont définitives et une liste de recommandations est constituée. Sur


la base des discussions avec les parties prenantes, l’équipe peut hiérarchiser les recommandations en fonction

de leur importance et de leur faisabilité.

2.9. Réunion de restitution centrale La réunion de restitution centrale est l’occasion de présenter aux demandeurs et aux principaux décideurs, les

principales conclusions de l’évaluation. Plus particulièrement, l’équipe d’évaluation présente succinctement les

principales conclusions et commente les trois sorties OASIS. C’est également l’occasion d’insister sur les

principales recommandations effectuées. L’accent peut-être est mis sur les moyens à mettre en œuvre par les

décideurs pour mettre en œuvre les recommandations.

Toutes les questions relatives aux recommandations et aux suites de l’évaluation y sont abordées.

Phase 3 : Finalisation

Ce sont les membres externes de l’équipe d’évaluation qui sont responsables de la finalisation de l’évaluation,

avec éventuellement une consultation des interlocuteurs privilégiés.

3.1. Rédiger le rapport final de l’évaluation Le rapport final d’évaluation présente et justifie les principaux résultats et les principales recommandations.

Il est nécessaire que le rapport d’évaluation soit validé à la fois par l’ensemble des membres de l’équipe mais

aussi par les interlocuteurs privilégiés avant sa diffusion. Selon la configuration, il est envisageable de le faire

valider par les demandeurs eux-mêmes.

3.2. Diffuser le rapport final de l’évaluation Les étapes suivantes peuvent servir de guide pour le développement d’un plan de communication visant à

valoriser le rapport (en accord avec les demandeurs).

� Message

Le message est le résumé des principales recommandations découlant de l’évaluation.

� Public cible et mode de communication

Le contenu diffusé peut être adapté à différents publics cibles, en fonction de ce que souhaite le demandeur :

- les décideurs du dispositif, c'est-à-dire l’unité centrale, les coordinateurs à l’échelon national,

- les parties prenantes (du collecteur de données aux unités intermédiaires, en passant par les

laboratoires),

- les partenaires du dispositif,

- les financeurs du dispositif.

Le mode de communication peut être adapté au public cible : par exemple un rapport complet aux décideurs et

une synthèse aux acteurs, partenaires et financeurs.

Un public large peut également être visé : toutes les personnes impliquées dans la surveillance de cette

maladie, voire d’autres maladies, pourraient être intéressées par les conclusions de l’évaluation. Ce peut être

notamment l’occasion de faire la promotion de l’outil OASIS et de l’importance d’une évaluation auprès

d’autres responsables de dispositifs de surveillance. Cela peut être décidé entre les demandeurs et l’équipe

d’évaluation à l’issue de l’évaluation. Pour une communication large, plusieurs modes de diffusion sont

envisageables :

- Site internet ou intranet de la Plateforme nationale de surveillance épidémiologique en santé animale,

- Article de vulgarisation,

- Article dans la presse vétérinaire,

- Article dans une revue scientifique.

L’équipe en charge du dispositif de surveillance doit être associée à toute écriture d’article scientifique ou de

vulgarisation. Tout cela doit être effectué en accord avec la clause de confidentialité signée au préalable.


3.3. Suivre la mise en place des recommandations En fonction des suites possibles définies dans les termes de référence, l’évaluation peut comprendre un appui

à la concrétisation des recommandations. Un plan d’action pour la mise en œuvre des recommandations doit

alors être défini. L’équipe d’évaluation se doit de fournir (avec l’appui éventuel des parties prenantes) des

lignes directrices suffisamment détaillées pour qu’un expert technique soit capable de les suivre. Les

personnes responsables de la mise en place des mesures doivent également être identifiées. Des indicateurs

d’avancement de la mise en place des recommandations peuvent être définis afin de permettre leur suivi

ultérieur.

Le suivi de la mise en place des recommandations relève de la responsabilité du chef de l’équipe d’évaluation

qui sollicite régulièrement les responsables du dispositif de surveillance. Dans cette configuration, il est

important que l’équipe d’évaluation soit identifiée par les parties prenantes comme un support technique sur

lequel ils peuvent compter lors de la mise en place des mesures. Ce rôle de l’équipe d’évaluation en tant

qu’appui technique pour le suivi et la mise en place des recommandations est à distinguer de

l’accompagnement au changement qui relève de la responsabilité d’autres spécialistes et qui est une technique

managériale indépendant du travail d’évaluation. En effet, l’équipe d’évaluation n’a pas pour fonction la

gestion pas à pas de la mise en œuvre des changements préconisés mais s’assure plutôt que les conclusions de

l’évaluation sont prises en compte.

3.4. Préparer la prochaine évaluation L’évaluation est un processus cyclique. Un dispositif de surveillance doit être évalué tout au long de son

fonctionnement à intervalles de temps réguliers, tous les 2 à 5 ans par exemple.

La fin d’une évaluation est l’occasion de planifier la prochaine.

Un bilan de l’évaluation identifiant les points qui ont fonctionné et ceux qui n’ont pas fonctionné peut être

établi et permettre d’aménager cette procédure. Enfin, à l’issue de cette évaluation des formations pour les

membres de l’équipe d’évaluation peuvent être proposées si certains manques sont identifiés.


Le cycle d’utilisation d’OASIS - Illustration par l ’exemple de l’évaluation du dispositif de surveillance de la tuberculose bov ine

Phase 1. Préparation

1.2. Equipe d’évaluation � Membres externes

Deux épidémiologistes expérimentés de l’Anses ayant déjà conduit des évaluations de dispositifs de surveillance :

- Connaissance parfaite de l’outil OASIS (l’un des deux en étant le concepteur)

- Expérience acquise sur le terrain (Anciens inspecteurs de santé publique vétérinaire, vétérinaire sanitaire)

- Externes au dispositif (Anses)

Un stagiaire/épidémiologiste junior

� Interlocuteurs privilégiés

Un coordinateur à l’échelon central (DGAl)

Un coordinateur à l’échelon intermédiaire (Chargé de mission tuberculose bovine au Service Régional d'Aides et

d'Informations Bourgogne)

- Connaissance parfaite de la situation épidémiologique de la tuberculose bovine en France et en Bourgogne,

- Connaissance parfaite des modalités de surveillance de la maladie et des acteurs de terrain.

� Répartition des tâches

Au moins un membre externe et un interlocuteur privilégié participaient aux rencontres de terrain.

- Rôle des membres externes : assister à toutes les étapes, conduire les entretiens, noter les critères OASIS,

proposer des recommandations, présenter les résultats aux parties prenantes ;

- Rôle des interlocuteurs privilégiés : assister à toutes les visites, poser des questions aux interlocuteurs, fournir

des documents aux membres externes. Ils ont été consultés pour discuter des notes attribuées aux critères de

l’outil OASIS mais le dernier mot est revenu aux membres externes de l’équipe d’évaluation.

1.3. Termes de référence et recevabilité

� Document de demande d’évaluation

La demande d’évaluation reprenant les termes de référence a été rédigée par la DGAl (demandeur) à destination de

l’Anses (prestataire). Le demandeur faisant partie des interlocuteurs privilégiés de l’équipe d’évaluation, un simple accord

de principe entre les deux parties a suffit.


Document de demande d’évaluation

MINISTERE DE L’AGRICULTURE, DE L’ALIMENTATION, DE LA PECHE, DE LA RURALITE ET DE L’AMENAGEMENT DU TERRITOIRE

Direction générale de l’alimentation Service de la prévention des risques sanitaires de la production primaire Sous-direction de la santé et de la protection animales Bureau de la santé animale Adresse : 251, rue de Vaugirard 75732 Paris cedex Dossier suivi par : A. Fediaevsky Tél. : 01.49.55.84.57 / Fax : 01.49.55.43.98 Réf. Interne :

Madame Pascale Briand, Directrice générale de l'alimentation

A

Monsieur Marc Mortureux, Directeur Général de l'Agence nationale de sécurité sanitaire de l'alimentation, de l'environnement et du

travail

Paris, le

Objet : Application de la méthode OASIS au dispositif d'épidémiosurveillance de la tuberculose bovine

Monsieur le Directeur, Je sollicite la participation de la mission épidémiosurveillance de la direction scientifique pour la réalisation d'une mission d'évaluation technique du dispositif de surveillance de la tuberculose bovine. Ce travail s'inscrit dans le cadre des activités prioritaires pressenties pour la future plateforme nationale d'épidémiosurveillance en santé animale et répond à plusieurs objectifs. Tout d'abord, la finalisation de la méthode d'évaluation technique des dispositifs de surveillance, OASIS, mise au point par l'unité d'épidémiosurveillance de la direction scientifique, nécessite l'élaboration d'une procédure de mise en œuvre de la méthode. Ce développement fait l'objet d'un stage de Master qui doit s'achever au 31 août 2011 et pour lequel une phase d'expérimentation terrain doit être entreprise. La méthode OASIS sera une des méthodes génériques mise à contribution dans le cadre de la plateforme d'épidémiosurveillance. D'autre part, l'évaluation du dispositif de surveillance de la tuberculose bovine permettra de compléter le plan d'action national sur la tuberculose bovine par une analyse formalisée du dispositif de surveillance mettant en perspective ses caractéristiques techniques, ses défauts, ses qualités et les pistes d'améliorations pouvant être raisonnablement proposées compte tenu des contraintes techniques, réglementaires et économiques. Compte tenu de l'avancée des groupes de travail technique animés par la DGAl dans le cadre du plan d'action national, il importe que les résultats de cette évaluation soient rapidement disponibles afin de pouvoir être valorisés dans cette perspective. L'évaluation pourrait être conduite dans les 4 départements de Bourgogne qui illustrent la diversité des situations rencontrées en France. La généralisation des résultats à l'ensemble du territoire national, sera assurée par la réalisation de missions ultérieures dans d'autres zones (Camargue, Sud-Ouest) en fonction des besoins rencontrés à l'issu de la première mission. Compte tenu des contraintes de temps, il me semble important d'organiser la mission cet été sans attendre la signature de la convention cadre relative à la plateforme d'épidémiosurveillance et l'adoption du programme de travail définitif dans le cadre du CNESA, structure de gouvernance de la plateforme. Je souhaite que les résultats de cette première évaluation me soient transmis et soient présentés à mes services au plus tard dans le courant du mois d'octobre 2011. En fonction des résultats de l'évaluation et des propositions d'amélioration, des missions complémentaires d'aide à la mise en place et de suivi de ces améliorations pourront être confiées à la Plateforme, dans le cadre du mandat qui lui aura été défini par le


CNESA. Par ailleurs, les modalités de diffusion des résultats de ce type d'évaluation seront définis au sein du CNESA et dans l'attente de la définition collective d'une stratégie de communication, toute diffusion des résultats sera soumise à l'accord préalable de la DGAl. Je vous prie d'agréer, Monsieur le Directeur, l'assurance de ma considération.

1.4. Bases de l’évaluation � Planification de l’évaluation

� Guide d’entretiens

Section 1 : Objectifs et contexte de la surveillance

• Quels sont les objectifs du dispositif de surveillance ?

• Quels sont tous les partenaires du dispositif ?

• Quelles sont les attentes du grand public, des partenaires quant au dispositif ?

• Quelles sont les maladies surveillées et quelles sont les mesures de surveillance et de contrôle ?

Section 2 : Organisation institutionnelle centrale

• Description de l’organisme responsable de la surveillance.

• Description de l’unité d’animation centrale : rôle, personnel, attribution des rôles.

• Description du comité de pilotage ou de l’instance responsable des orientations stratégiques) : rôle, personnel,

attribution des rôles.

• Description du comité technique et scientifique ou de l’instance responsable de l’appui technique) : rôle,

personnel, attribution des rôles.

Section 3 : Organisation institutionnelle de terrain

• Description des unités intermédiaires s’il y en a : personnel, attribution des rôles, rôle de l’unité, organisation sur

le terrain.

• Collecteurs de données : nombre, rôle.

• Sources de données : nombre, rôle.


Section 4 : Laboratoire de diagnostic et équipe mobile

• Description des laboratoires : techniques de diagnostic utilisées, personnel.

• Description du laboratoire central s’il en existe un : personnel, fonctionnement, gestion des données sur les

prélèvements.

• Description des laboratoires locaux : nombre, type d’expertise.

• Comment s’articulent les laboratoires locaux avec le laboratoire central ?

Sections 5 et 6 : Outils et modalités de surveillance

• Définition du cas.

• Description détaillée des protocoles de surveillance programmée (active) et événementielle (passive).

Section 7 : Gestion des données

• Description détaillée du protocole de gestion des données

o Base de données.

o Saisie, validation et interprétation des données : personnes responsables, logiciels utilisés, mode de

diffusion des données.

Section 8 : Formation

• Compétences du personnel de l’unité d’animation centrale.

• Modalités de formation des agents sur le terrain, et du personnel des unités intermédiaires.

Section 9 : Communication

• Modalités de communication entre les membres du réseau.

• Diffusion des résultats : à qui et comment ?

Section 10 : Evaluation

• Lister les indicateurs de performances utilisés.

• Indiquer les évaluations déjà réalisées.

1.5. Acceptation des bases de l’évaluation

Une réunion de lancement à l’échelon régional a eu lieu.

Participants

En tant que coordinateurs de la surveillance de la maladie à l’échelon départemental, les chefs de santé animale des DDPP

des quatre départements bourguignons (Côte d’Or, Yonne, Nièvre, Saône-et-Loire) ont été conviés. L’équipe d’évaluation

était présente au complet ainsi que les deux interlocuteurs privilégiés.

Objet de la réunion

Cette réunion a été l’occasion pour l’équipe d’évaluation de :

• Présenter les objectifs de l’évaluation,

• Présenter la méthode d’évaluation OASIS,

• Présenter le planning de l’évaluation et proposer le protocole d’évaluation (et plus particulièrement les parties

prenantes que l’équipe souhaitait rencontrer).

Cette réunion a permis d’obtenir un accord de principe sur l’évaluation de la part des coordinateurs de la surveillance de

la maladie en région Bourgogne. Les DDPP ont ainsi pu donner leur point de vue sur les parties prenantes locales à

rencontrer pour la tenue des audits et ont pu orienter l’équipe d’évaluation vers les interlocuteurs les plus appropriés.


Phase 2. Mise en œuvre

2.1. Adaptation des termes utilisés dans OASIS à la réalité du dispositif évalué

Terme utilisé dans le questionnaire Identification de la correspondance pour le dispositif analysé

Comité de pilotage Inexistant

Comité scientifique et technique Groupe d’experts de la DGAl sur la tuberculose bovine

Unité centrale DGAl

Unité intermédiaire Pour chaque département, la DDPP ou DDCSPP

Coordonnateur Chargé de mission tuberculose bovine à la DGAl

Animateur Chargé de mission tuberculose bovine à la DGAl

Collecteur de données Vétérinaires sanitaire, vétérinaires inspecteurs des abattoirs

Source de données Elevages, abattoirs

Unité épidémiologique Cheptel bovin

Laboratoire central LNR Maisons-Alfort

Laboratoires locaux LDV21, Laboratoire de l’ENVL

Tableau 1 : Adaptation du langage OASIS au dispositif de surveillance de la tuberculose bovine

2.2 .Préparation des rencontres A la suite à la réunion de lancement à laquelle les quatre DDPP de la région Bourgogne ont participé, des documents

d’information ont été fournis aux DDPP qui se sont chargées de les faire parvenir à leurs partenaires locaux (abattoirs,

laboratoires, GDS, GTV, FDC, ONCFS, lieutenant de louveterie). Ce mode de fonctionnement a permis d’obtenir une bonne

participation et une bonne adhésion des parties prenantes de terrain.

� Exemple de note d’information

A l’intention des parties prenantes impliqués dans la surveillance de la tuberculose bovine dans les cheptels et la faune

sauvage

Contexte

La France, pays officiellement indemne de tuberculose bovine par décision de la commission européenne CE/2001/26,

connaît une recrudescence de la maladie depuis 2004. Le taux de prévalence cheptel est passé de 0,02% en 2004 à 0,07%

en 2010. Cette recrudescence, si elle se poursuit, pourrait compromettre le statut de la France comme pays indemne.

La répartition de la maladie sur le territoire français est hétérogène, avec 4 zones géographiques infectées dont la Côte

d’Or et une incertitude sur la situation dans d'autres zones.

La découverte d’animaux sauvage infectés, dans plusieurs zones où l'infection bovine est présente, pose la question de

l’existence de réservoirs dans la faune sauvage capables d’entretenir le cycle épidémiologique.

Les modalités de dépistage ont évolué avec l'arrêt progressif des dépistages systématiques et l'arrêt de la plupart des

contrôles d'introduction. La détection repose de plus en plus sur la détection de stades lésionnels avancés à l'abattoir et

sur les investigations ciblées des élevages à risque,

Ces constats, ainsi que les travaux menés par des groupes d’experts dans le cadre du plan d’action national organisé par la

DGAl, ont démontré le besoin d’évaluer le dispositif national de surveillance de la tuberculose bovine. La DGAl, en tant

qu’animateur du dispositif, a donc récemment effectué une demande auprès de l’Anses pour que le dispositif soit évalué.

Objectif de l’évaluation

L’objectif principal de cette évaluation est de rendre un rapide bilan des points forts et des points à améliorer dans la

surveillance de la maladie (surveillance chez les bovins et surveillance de la faune sauvage) afin qu’ils soient pris en

compte dans le plan d’action national.


Déroulement de l’évaluation

L’évaluation se déroulera au cours de la période estivale (fin juin à fin août).

L’équipe responsable de la conduite de cette évaluation est composée des membres suivants :

• Trois membres externes au dispositif :

o Didier Calavas, directeur du laboratoire Anses de Lyon,

o Pascal Hendrikx, chargé de mission transversale surveillance épidémiologique à l’Anses,

o Sébastien Gorecki, stagiaire IGS de l’EHESP de Rennes à l’Anses de Lyon

• Deux membres internes au dispositif :

o Alexandre Fediaevsky, DGAl,

o Fabrice Chevalier, Service Régional de l’Alimentation de Bourgogne.

L’évaluation du dispositif de surveillance de la tuberculose bovine sera conduite dans un premier temps dans la région

Bourgogne avant d’être étendue à d’autres régions françaises. La région présente en effet une diversité de situations

assez représentative du contexte national avec le département de la Côte d’Or largement touché par la maladie, l’Yonne

concernée par une contamination en bordure de la Côte d’Or, la Saône-et-Loire où quelques cas sont régulièrement

déclarés et la Nièvre indemne de la maladie. L’évaluation prendra également en compte la surveillance de la faune

sauvage.

Cette évaluation repose sur l’utilisation la méthode OASIS (Outil d’Analyse des Systèmes de surveillance) dont une

description plus détaillée figure dans le document ci-joint. Cet méthode, développée par un groupe de travail de l’Anses

en 2010 permet de réaliser une analyse approfondie du fonctionnement et de la qualité du dispositif de surveillance.

OASIS est fondé sur un questionnaire qui permet de collecter toutes les informations nécessaires à une description

précise du fonctionnement et des résultats opérationnels du dispositif de surveillance. L’évaluation nécessite donc une

phase de récolte d’information auprès des acteurs impliqués dans la surveillance de la maladie.

Ainsi, il est prévu qu’à l’échelon régional et dans chacun des quatre départements soient interrogés, à l’occasion de

visites, réunions ou entretiens téléphoniques un certain nombre d’acteurs impliqués dans la surveillance de la maladie :

DDPP, GDS, FRGDS, vétérinaires sanitaires, abattoirs, ONCFS, lieutenants de louveterie, FDC, GTV, laboratoires. Cette

phase de récolte d’informations se déroulera durant la période de fin-juin à mi-août.

En tant qu’acteur du dispositif, il est donc probable que vous soyez sollicité cet été. Vos remarques, informations sur le

dispositif permettraient d’éclairer l’équipe dans leur travail d’évaluation ; ainsi, l’équipe d’évaluation serait

reconnaissante que vous puissiez participer à ces entretiens.

Si vous avez des questions relatives au déroulé de cette évaluation, n’hésitez pas à prendre contact auprès de la DDPP.

2.5. Rencontres sur le terrain

� Zone géographique

La Bourgogne a été choisie par l’équipe par rapport à sa situation épidémiologique. La région présente en effet une

diversité de situations assez représentative du contexte national de la tuberculose bovine avec le département de la Côte

d’Or largement touché par la maladie, l’Yonne concernée par une contamination en bordure de la Côte d’Or, la Saône-et-

Loire où quelques cas sont régulièrement déclarés et la Nièvre indemne de la maladie.

� Parties prenantes rencontrées

Les parties prenantes rencontrées figurent dans le tableau 2. Dans un souci d’exhaustivité, les principaux groupes

d’acteurs impliqués dans la surveillance de la maladie (bovins et faune sauvage) ont été audités. Les DDPP, en tant que

coordinateurs de la surveillance au niveau départemental ont été rencontrées dans chaque département en premier. Les

GDS et les présidents de GTV ont été rencontrés dans les quatre départements du fait de leur forte implication dans la

surveillance de la maladie (financement de la prophylaxie, mise en place de formations…). Les autres parties prenantes

ont été ventilées dans les quatre départements en fonction de leur implication et de l’importance de la maladie dans la

zone. En effet, un moins grand nombre de parties prenantes a été rencontré dans la Nièvre, indemne, qu’en Côte d’Or

infectée.


� Questionnaires à utiliser sur le terrain selon le type de parties prenantes rencontrées

Collecteurs de données (vétérinaires inspecteurs…)

- Quelle est la définition de cas ?

- Cette définition vous paraît-elle facile à utiliser sur le terrain ?

- Avez-vous des difficultés à déterminer les cas, les suspicions et les non cas ?

- Votre rôle est-il bien défini ? Est-il formalisé ? (cf. rubrique 3.5.4 OASIS)

- Les moyens qui vous sont alloués sont-ils suffisants ? (cf. rubrique 3.5.5 OASIS)

o Matériels

o Humains

o Financiers

- Quels types de difficultés rencontrez-vous dans votre travail de surveillance de la maladie ?

- Quels types d’informations relayez-vous à l’échelon supérieur et à qui ?

- Comment relayez-vous cette information ?(formulaires, base de données…)

- Quel est le délai de la transmission de l’information ?

- Les formulaires ou BDD sont-ils suffisamment clairs, faciles à remplir ?

- Les informations que vous relayez sont-elles suffisamment prises en compte ?

Abattoirs


- La trouvez-vous suffisamment sensible ?

- La trouvez-vous suffisamment spécifique ?


- Quels types d’informations relayez-vous à l’échelon supérieur et à qui ?

- Comment relayez-vous cette information?

- Quel est le délai de la transmission de l’information ?

- Les formulaires ou BDD sont-ils suffisamment clairs, faciles à remplir ?

- Comment définiriez-vous votre rôle dans la surveillance de la maladie ?

Laboratoires départementaux



Parties prenantes Interlocuteurs Nombre Modalité de l’entretien

DDPP Chef de service santé animale

Service d’inspection des

abattoirs

DDPP 21,DDPP 89, DDPP 71,

DDPP 58

3 abattoirs Bourguignons

Rencontre sur place

Laboratoires Directeurs et/ responsable

analyses tuberculose

LDV 21, LNR Maisons-Alfort,

ENVL

Rencontre sur place

GTV Président GTV 21, 58, 71, 89 Rencontre sur place

GDS Directeur et/ou chargés de

surveillance tuberculose

GDS 21, GDS 89, GDS 71, GDS

58

+ FRGDS

Rencontre sur place

Vétérinaires sanitaires 5 à 10 vétérinaires conseillés

par les DDPP

Rencontre sur place

Acteurs surveillance faune

sauvage

Chargés de surveillance

maladies faune sauvage,

techniciens

ONCFS (garderies

départementales)

FDC 21, 71, 89

1 lieutenant de louveterie 21

Rencontre sur place

Tableau 1 : Liste des parties prenantes rencontrées

� Conduite des entretiens

Toutes les rencontres ont été effectuées sous la forme d’entretiens libres ce qui a permis de récolter de nombreuses

informations complémentaires dont la trace a été gardée dans les comptes rendus de visites.




- Le rôle de votre laboratoire au sein du dispositif de surveillance est-il bien établi ? Est-il formalisé ? (cf

question 4.1 OASIS)

- Quel genre d’analyses/diagnostics effectuez-vous ?

- Les ressources qui vous sont allouées sont-elles suffisantes à votre travail de diagnostic ? (cf question

4.2 OASIS)

o Humaines

o Matérielles

o Financières

- Quelles techniques analytiques utilisez-vous ?

- Les jugez-vous suffisamment pertinentes ?

- Qui vous-fourni les échantillons à analyser ?

- Comment sont gérés les échantillons et les résultats ? (BDD, assurance qualité) (cf. rubrique 4.6.1 et

4.6.3 OASIS)

- Quel est le délai d’analyse des résultats (entre la réception des échantillons et la transmission des

résultats) (cf. rubrique 4.6.2 OASIS)

- A qui transmettez-vous les résultats ? (cf. rubrique 4.6.4 OASIS)

- Qualité des résultats (cf. rubrique 4.6.4 OASIS)

Laboratoire national de référence


- Comment sont gérés les échantillons et les résultats ? (cf. rubrique 4.5.1 OASIS)

- Quel est le délai de traitement des échantillons ? (cf. rubrique 4.5.2 OASIS)

o entre la réception du prélèvement et le rendu du résultat

o entre le rendu du résultat et la transmission à l’unité centrale

- Existe-t-il une procédure d’assurance qualité ? (cf. rubrique 4.5.3 OASIS)

- Quel est le coût des analyses ? (cf. rubrique 4.5.4 OASIS)

- A qui sont transmis les résultats ? (cf. rubrique 4.5.5 OASIS)

- Quelle est la qualité des résultats ? (cf. rubrique 4.5.6 OASIS)

Unités intermédiaires (DDCSPP, GDS…)





- Quel est votre rôle ? Est-il bien défini, formalisé ? (cf. rubrique 3.1.2 OASIS)

- Certaines de vos activités sont-elles harmonisées entre l’ensemble des unités intermédiaires ?

Lesquelles ? (cf. rubrique 3.1.3 OASIS)

- Comment est organisée la coordination au niveau des unités intermédiaires ? Qui est en charge de

cette coordination ? (cf. rubrique 3.2 OASIS)

- Avez-vous un rôle de supervision des collecteurs de données ? Comment les supervisez-vous ? ((cf.

rubrique 3.3 OASIS)

- Les moyens qui vous sont alloués sont-ils suffisants ? (cf. rubrique 3.4 OASIS)

o Humaines

o Matérielles

o Financières


Phase 3. Finalisation

3.1 Rédiger le rapport final de l’évaluation

Trame du rapport

I. Résumé du rapport

Description du dispositif de surveillance évalué

- Contexte et justification de l’évaluation

- Identité des demandeurs et de l’équipe d’évaluation

- Principaux résultats

- Principales conclusions et recommandations

II. Introduction et contexte

Dans l’introduction le contexte dans lequel s’inscrit l’évaluation est rappelé ainsi que le demandeur, la

justification ainsi que les principaux objectifs de l’évaluation.

III. Méthode

L’approche suivie par l’équipe d’évaluation est présentée. Afin de favoriser la compréhension par un lecteur

non familier avec OASIS, une brève description de l’outil doit figurer, quitte à insérer le document présenté en

annexe 4 de la procédure dans l’annexe du rapport final d’évaluation.

IV. Description du dispositif de surveillance

Pour décrire le dispositif de surveillance, il peut être intéressant de clarifier son fonctionnement grâce à un

diagramme fonctionnel du dispositif dans lequel figurent toutes les étapes de la surveillance (de la collecte des

données sur le terrain jusqu’à la prise de décision avec les différentes parties prenantes impliquées à chaque

étape ainsi que les ressources utilisées).

V. Résultats et observations

Les principaux résultats sont présentés de manière simple et synthétique. En complément, les différentes

« sorties » de l’outil OASIS sont commentées en soulignant les points forts et points à améliorer du dispositif.

VI. Recommandations

Cette partie n’est à compléter que si les demandeurs souhaitent que des recommandations leurs soient

proposées. Les recommandations peuvent être hiérarchisées par ordre d’importance et doivent être réalistes.

Toutes les recommandations doivent être accompagnées de justifications et de suggestions constructives

quant à la manière de les mettre en place en précisant :

- Le temps nécessaire à leur mise en place,

- Le cout approximatif pour leur mise en œuvre

- Les ressources nécessaires pour leur mise en place (personnel, etc.),

- La nécessité ou non d’intégrer une formation (si par exemple un changement de logiciel est suggéré

…),

- L’impact possible de la mise en place des recommandations (sur le fonctionnement du dispositif

comme par exemple l’organisation du travail).

Documents

Procédure d’évaluation des dispositifs de surveillance ... · instance comme le ministère de l’Agriculture. Une évaluation peut aussi être demandée par les responsables,