Évaluation de la qualité des données des indicateurs … · a été soutenue par le peuple américain à travers le Projet de l’Application de la Science pour le Renforcement

Évaluation de la qualité des données des indicateurs d’amélioration du projet ASSIST de l’USAID en Côte d’Ivoire

R A PPORT D E R ECHERCHE E T D’É VA LUAT ION

DÉCEMBRE 2017

Ce dossier technique a été préparé par University Research Co., LLC (URC) pour une revue par l’Agence des États-Unis pour le

développement international (l’USAID). Ses auteurs sont : Ehouman Serge-Barthélémy Assoa et Astou Coly de URC. Le rapport

a été soutenue par le peuple américain à travers le Projet de l’Application de la Science pour le Renforcement et l’Amélioration

des Systèmes (ASSIST) de l’USAID.

RAPPORT DE RECHERCHE ET D’ÉVALUATION

Evaluation de la qualité des données des indicateurs d’amélioration du projet ASSIST de l’USAID en Côte d’Ivoire DÉCEMBRE 2017 Ehouman Serge-Barthélémy Assoa, University Research Co., LLC

Astou Coly, University Research Co., LLC

AVERTISSEMENT

Le contenu de cette synthèse est de la seule responsabilité de University Research Co., LLC (URC) et ne reflète pas nécessairement les vues de l’Agence des États- Unis pour le développement international ou du gouvernement des États-Unis.

Remerciements

La réalisation de ce rapport a été possible grâce au concours de plusieurs personnes à qui nous voudrions témoigner toute notre reconnaissance. Nous voudrons tout d'abord adresser toute notre gratitude à la Chief of Party du projet ASSIST de l’USAID en Côte d’Ivoire, Dr. Melly Traore et toute l’équipe de ASSIST en Côte d’Ivoire, pour leur disponibilité et leurs judicieux conseils, qui ont contribué à la rédaction de ce rapport. Nous désirons aussi remercier les membres des équipes d’amélioration de la qualité des sites inclus dans ce rapport pour leur disponibilité, leur aide pour la collecte des données et qui ont fourni à cœur ouvert des informations permettant de comprendre la réalité du terrain.

Nous voudrons exprimer notre reconnaissance envers les points focaux qualité des différents partenaires de mise en œuvre du PEPFAR et les districts pour avoir facilités notre accès aux sites pour la collecte des données.

Ce rapport technique a été préparé par le Projet de l’Application de la Science pour le Renforcement et l’Amélioration des Systèmes (ASSIST) de l’Agence des États-Unis pour le Développement International (USAID). Ce projet est financé par le peuple américain à travers le Département des Systèmes de Santé du Bureau de la Santé Mondiale de l’USAID. Le projet est géré par University Research Co., LLC (URC) conformément aux termes de l’Accord de Coopération no. AID-OAA-A-12-00101. Les partenaires mondiaux d’URC pour le projet ASSIST de l’USAID sont : EnCompass LLC ; FHI 360 ; Ecole T. H. Chan de Santé Publique de Harvard ; HEALTHQUAL International ; Initiatives Inc. ; Institute for Healthcare Improvement ; le Centre pour les programmes de communication de Johns Hopkins ; et WI-HER, LLC.

Pour de plus amples informations, veuillez visiter le site www.assist.org ou écrire à [email protected].

Citation recommandée

Assoa S E-B, Coly A. 2017. Evaluation de la qualité des données des indicateurs d’amélioration du projet ASSIST de l’USAID en Côte d’Ivoire. Rapport de Recherche et d’Évaluation. Publié par le Projet ASSIST de l’USAID. Chevy Chase, MD: University Research Co., LLC (URC).

Evaluation de la qualité des données des indicateurs d’amélioration en Côte d’Ivoire i

TABLE DES MATIERES

Liste des Figures et Tableaux ........................................................................................................ i

Abréviations .................................................................................................................................. ii

RESUME EXECUTIF ................................................................................................................... III

I. INTRODUCTION .................................................................................................................... 1

II. METHODOLOGIE .................................................................................................................. 3

Echantillonnage ..................................................................................................................... 3

Collecte de données .............................................................................................................. 3

Analyses des données .......................................................................................................... 4

III. RESULTATS .......................................................................................................................... 5

Concordance entre les indicateurs rapportés par le projet et ceux recalculés ...................... 5

1. Pourcentage de dossiers patients ayant tous les items renseignés (documentation) .... 5

2. Pourcentage de clients dépistés séropositifs et nouvellement enrôlés dans les soins (couverture) ............................................................................................................................ 8

3. Pourcentage de patients en vie et sous traitement ARV 6 mois après l’initiation ........... 8

4. Pourcentage d’enfants nés de mères VIH positifs ayant bénéficié du prélèvement DBS et initié le cotrimoxazole avant 2 mois d’âge .......................................................................... 9

5. Pourcentage d’enfants hospitalisés VIH positifs mis sous traitement ARV .................. 10

Concordance entre les indicateurs rapportes par le projet et ceux au niveau du district et de PMO ............................................................................................................................................ 10

Connaissances des équipes d’amélioration de la qualité .................................................... 11

Répartitions des sites en termes de surévaluation, sous-évaluation et exactitude ............. 11

Sources de différences entres les données de l’évaluation et les données rapportées ...... 12

IV. DISCUSSION ....................................................................................................................... 13

V. CONCLUSION ET RECOMMENDATIONS ......................................................................... 15

APPENDICES ............................................................................................................................. 17

I. Registre de dépistage par les tests rapides ............................................................................. 17

II. Registre TARV ........................................................................................................................ 18

III. Dossier du patient .................................................................................................................. 19

Liste des Figures et Tableaux

Figure 1 : Circuit de transmission des données du projet ASSIST de l'USAID en Côte d’Ivoire .. 2

Evaluation de la qualité des données des indicateurs d’amélioration en Côte d’Ivoire ii

Tableau 1 : Liste des indicateurs évalués ..................................................................................... 3

Tableau 2 : Pourcentage des dossiers patients ayant tous les items renseignes : Comparaison des indicateurs rapportés et ceux recalculés en utilisant les même 20 dossiers .......................... 5

Tableau 3 : Pourcentage des dossier patients ayant tous les items renseignes : Comparaison des indicateurs rapportés et ceux calculés en tirant 20 dossiers de manière aléatoire ................ 6

Tableau 4 : Pourcentage des dossier patients ayant tous les items renseignes : Comparaison des indicateurs calculés en utilisant l’ensemble des dossiers de manière aléatoire et ceux rapportés en utilisant les par le projet ........................................................................................... 6

Tableau 5 : Taux de remplissage du dossier patient .................................................................... 7

Tableau 6 : Comparaison des indicateurs calculés et ceux rapportés sur la couverture .............. 8

Tableau 7 : Taux de remplissage du registre de dépistage par les tests rapides ......................... 8

Tableau 8 : Comparaison des indicateurs calculés et ceux rapportés la rétention à 6 mois ........ 8

Tableau 9 : Taux de remplissage du registre TARV ..................................................................... 9

Tableau 10 : Comparaison des indicateurs calculés et ceux rapportés sur la rétention des enfants exposés ............................................................................................................................ 9

Tableau 11 : Comparaison des indicateurs calculés et ceux rapportés sur le traitement ARV ... 10

Tableau 12 : Données sur l’évaluation des connaissances des EAQ ......................................... 11

Tableau 13 : Répartition des sites en fonction des trois catégories ............................................ 11

Tableau 14 : Sources d’erreurs des données rapportées ........................................................... 12

Abréviations

ARV Antirétroviral

ASSIST Application de la Science pour le Renforcement et l’Amélioration des Systèmes

DBS Dried Blood Spot (Tache de sang séché)

EAQ Equipe d’Amélioration de la Qualité

MSHP Ministère de la Santé et de l’Hygiène Publique

PEPFAR U.S. President’s Emergency Plan for AIDS Relief

PMO Partenaire de Mise en Œuvre PTME Prévention de la transmission du VIH de la mère à l’enfant

PVVIH Personne vivant avec le VIH

SIDA Syndrome d’Immuno Déficience Acquis

TARV Traitement antirétroviral

URC University Research Co., LLC

USAID Agence des Etats Unis pour le Développement International

VIH Virus d’Immunodéficience Humaine

Evaluation de la qualité des données des indicateurs d’amélioration en Côte d’Ivoire iii

Resume Executif

Introduction

Les données représentent une composante essentielle de l’approche de l’amélioration de la qualité car elles guident les décisions des EAQ. L’objectif de cette évaluation était de déterminer la qualité des données du projet ASSIST de l’USAID en Côte d’Ivoire dans les domaines de la documentation, la couverture, et la rétention des patients sous le traitement antirétroviral (ARV). Nous avons cherché à vérifier si les données issues des activités d’amélioration de la qualité transmises par les structures sanitaires sur la période de juillet 2016 à septembre 2016 étaient exactes et conformes à celles recalculées à partir des outils primaires dans les structures sanitaires, au district, au niveau des partenaires de mise en œuvre et dans la base de données du projet ASSIST de l’USAID par des personnes externes aux sites. Nous avons également cherché à déterminer si les indicateurs obtenus en utilisant un échantillon sont conformes aux indicateurs obtenus en utilisant toutes les données disponibles.

Les objectifs spécifiques étaient :

1. Comparer la valeur de 5 indicateurs (sur 16) rapportés par le projet ASSIST de l’USAID à ceux recalculés par des personnes externes aux sites.

2. Déterminer l’impact de l’échantillonnage sur la qualité des données rapportées par le projet ASSIST de l’USAID.

3. Déterminer le niveau de compréhension des indicateurs par les équipes d’amélioration de la qualité.

4. Déterminer les causes de écarts entre les données rapportées et les données recalculées.

5. Déterminer le taux de complétude des dossiers des patients.

Méthodologie

Cette évaluation s’est déroulée du 6 au 23 décembre 2016. Au total, 12 sites ont été sélectionnés parmi les 60 inscrits dans le collaboratif. Il s’agit d’un centre anti tuberculeux, deux centres de protection maternelle et infantile, une infirmerie d’entreprise, quatre centres de santé urbains, une formation sanitaire urbaine, un centre de santé rural et un centre hospitalier universitaire (CHU). Ces sites sont répartis dans les quatre régions où le projet ASSIST est présent.

Pour mener à bien cette validation des indicateurs, des données rétrospectives ont été collectées pour la période de juillet 2016 à septembre 2016. Au total cinq indicateurs parmi ceux qui ont été rapportés par ASSIST Cote d’Ivoire durant la vie du projet ont été recalculés dans le cadre de cette évaluation. Quatre d’entre eux ont été validés dans 11 sites et l’indicateur sur le traitement a été validé dans un site car cet indicateur n’est collecté qu’à cet échelon du système de santé.

Résultats

Quatre aspects ont été analysés au cours de cette validation des indicateurs dont les résultats sont les suivants.

Evaluation de la qualité des données des indicateurs d’amélioration en Côte d’Ivoire iv

1) La comparaison des données rapportées et celles recollectées et impact de l’échantillonnage

L’examen des données des données de juillet à septembre 2016 des cinq indicateurs ayant trait à la documentation, la couverture et la rétention des adultes, des enfants du projet ASSIST en Côte d’Ivoire a révélé que les taux d’erreur étaient 0 ou minimes pour les indicateurs ayant trait à la rétention des adultes et aux enfants exposés au VIH et la mise sous traitement ARV des nourrissons hospitalisés mais surévalués de manière importante pour l’indicateur ayant trait à la documentation et à la couverture. En effet, l’évaluation des données sur la documentation est celle qui montre le plus grand écart entre les données recalculées et celles déjà transmises. Concernant la documentation, trois méthodes ont été utilisées pour la validation. Le recalcule de l’indicateur en utilisant les mêmes 20 dossiers patients. Les résultats montrent que les indicateurs rapportés ont été surévaluées dont l’écart varie entre -140,0% à -201,8% entre Juillet et Septembre 2016 par rapport à celles recalculées. Le recalcule de l’indicateur en utilisant 20 autres dossiers patients sélectionnés de manière montre que les données rapportées par le projet sont supérieures à celles recalculées avec pour écart d’erreur qui varie de -171,2% à 185,3%. Il faut noter que nous n’avons pas observé de différence notable entre la sélection des mêmes 20 dossiers initiaux et 20 autres dossiers sélectionnés de manière aléatoire. Enfin, le recalcule de l’indicateur en utilisant l’ensemble des dossiers patients dans deux sites montre un très faible taux de dossiers correctement renseignés dont le taux d’erreur est très important et varie entre 2771,4% et 3583,4%. Pour l’indicateur sur la couverture évaluée, les comparaisons montrent un taux d’erreur entre les données recalculées et celles rapportées par ASSIST qui varie en moyenne entre 9% et 32%. Concernant la rétention a 6 mois, la comparaison des indicateurs recalculés et ceux rapportés sur la rétention à 6 mois montre un faible taux d’erreur entre ceux rapportes et recalcules de moins de 3%. La comparaison des données sur les enfants exposés montre un taux d’erreur inférieur à 1%. L’indicateur % d’enfants hospitalisés VIH positifs mis sous traitement ARV n’a montré aucun écart entre les donnes rapportées et celles recalculées.

2) Complétude des items d’outils de collecte de données

Concernant le dossier patient, le taux de remplissage était de 89,1% pour la fiche de suivi, 92,2% pour le cotrimoxazole, 27,5% pour les constantes, 96,3% pour le traitement ARV et 97,8% pour le CD4 et la stadification. Pour le registre de dépistage par les tests rapides, Nous constatons que les items attrait au résultat sérologique sont renseignés à 100%. Le taux de complétude des autres variables varie entre 74% et 99%. Quant au registre TARV, l’on note qu’environ 82% des informations sur le suivi mensuel de chaque patient sont notifiées et 100% des items sur les informations personnelles à l’enregistrement des patients, la situation au commencement du traitement et le régime initial sont renseignés.

3) Concordance des indicateurs au long du circuit de l’information

Les données présentes au long de la chaine de rapportage à savoir site, district, Partenaire de Mise en Œuvre (PMO) et ASSIST, ne présentaient pas de discordance tout au long des différentes étapes.

4) Connaissances des équipes d’amélioration de la qualité

Evaluation de la qualité des données des indicateurs d’amélioration en Côte d’Ivoire v

33 membres des EAQ des 11 sites interviewés sur la méthode d’échantillonnage, les sources de données et la définition des indicateurs ont été à mesure de répondre manière correcte aux différentes questions.

Sources de différences entres les données de l’évaluation et les données rapportées

Les sources de différence entre les données recalculées et celles rapportées ont varié selon l’indicateur. En ce qui concerne l’indicateur sur la documentation, les différences sont dues à un échantillonnage incorrect et à une mauvaise application de la définition de l’indicateur en ce qui concerne les items à considérer pour déclarer le dossier correctement renseigné. Concernant l’échantillonnage, le problème de surévaluation est lié à la prise en compte des dossiers de patients transférés dans le centre alors que ceux-ci devraient être exclus du calcul de l’indicateur. Pour les items des dossiers patients à considérer, le remplissage de la fiche de suivi du dossier patient pose problème à cause de différentes versions qui existent (2008, 2010, 2012, 2015 et 2016). Pour chaque version, des items sont ajoutés et d’autres retranchés. De ce fait, les personnes qui calculent l’indicateur appliquent la méthode d’évaluation des versions 2008 ou 2010 aux autres dossiers. Pour la couverture, des erreurs tels que la prise en compte de patients dépistés dans d’autres sites ou de patients dépistés les mois précédents ainsi que la non prise en compte tous les registres expliquent les différences. Il faut aussi noter que cet indicateur a été parfois confondu à celui rapporté au ministère de la santé dont la méthode de calcul diffère sur le calcul du numérateur. En ce qui concerne la rétention dans les soins à 6 mois, nous avons noté des erreurs dans la constitution de la cohorte de patients, et l’inclusion de patients ayant transféré vers d’autres sites. Pour les enfants exposés, les erreurs sont dues à la prise en compte d’enfants non attendus le mois concerné, d’erreur de saisie, et d’omission d’enfants éligibles.

Conclusion et Recommandations

L’évaluation des 5 indicateurs sur les 12 sites au cours de la période de juillet à septembre 2016 a permis d’apprécier la qualité des données des évaluations mensuelles des structures sanitaires. Il ressort que les données rapportées et celles collectées et comporte des écarts pour l’indicateur sur la documentation et la couverture bien que la complétude des items qui ont servi au calcul est de plus de 90%. Il a été également constaté que les données rapportées par les sites sont restées identiques tout au long du circuit de rapportage (Site – District - PMO – ASSIST). Concernant le niveau de compréhension de l’échantillonnage, la source de données et la définition des indicateurs pour leur calcul, les personnes interviewées disposent d’une bonne connaissance même si seuls 33% des membres des EAQ ont été interviewés.

Pour pallier les insuffisances constatées qui ont entrainé des écarts entre les données il convient de faire des recommandations afin de garantir des données justes les mois avenir. Pour ce faire, nous recommandons :

A l’endroit du projet ASSIST de l’USAID

Organiser une session de formation sur les indicateurs à l’endroit de tous les membres des EAQ afin de garantir leur bonne compréhension pour une meilleure analyse des données

Mettre à disposition des EAQ un dictionnaire des indicateurs comme référentiel

Evaluation de la qualité des données des indicateurs d’amélioration en Côte d’Ivoire vi

Créer un cadre de validation de données au niveau district. Cela consisterait à faciliter l’intégration de la présentation des performances et les bonnes pratiques des EAQ au cours des réunions d’équipe cadre de district et réunions trimestrielles.

Continuer à utiliser les outils d’espace virtuel (Facebook, Viber, WhatsApp, etc.) en vue d’assister régulièrement les EAQ en dehors des visites de coaching. L’utilisation des réseaux brise la barrière de la distance et permet aux EAQ qui rencontrent des problèmes de les poster sur la page afin que les autres sites réagissent pour suggérer des solutions.

A l’endroit du PMO et du District

Contrôler régulièrement les données transmises afin de s’assurer de leur exactitude

Impliquer le chargé de la surveillance épidémiologique dans le contrôle des données

A l’endroit des EAQ

Valider les données par les membres de l’EAQ avant de les transmettre au niveau supérieur. Cela consistera à présenter les données à tous les membres de l’EAQ et autres prestataires du centre afin que chacun apprécie la performance des actions. De ce fait, des corrections pourraient être faites en cas d’erreur avant transmission

S’assurer de la disponibilité de tous les outils au moment du calcul des indicateurs

Intégrer les gestionnaires des données des sites dans les EAQ

Evaluation de la qualité des données des indicateurs d’amélioration en Côte d’Ivoire 1

I. Introduction

Avec le financement de PEPFAR, le projet ASSIST de l’USAID en Côte d’Ivoire apporte une assistance technique aux sites fournissant les services de soins et traitement aux personnes vivants au travers des partenaires de mise en œuvre du PEPFAR dans plusieurs régions sanitaires depuis 2012. Grâce au financement du PEPFAR, le projet travaille en collaboration avec le Ministère de la Santé et de l’Hygiène Publique (MSHP) pour :

1) Fournir une assistance technique aux partenaires de mise en œuvre du PEPFAR dans l’amélioration de la qualité de la prise en charge des Personnes Vivant avec le VIH (PVVIH) dans les établissements sanitaires soutenus par le PEPFAR. Depuis 2013, les nouvelles instructions de l'USAID ont mené le projet ASSIST à faire une dévolution des activités d’amélioration aux six (06) partenaires cliniques du PEPFAR qui fournissent un soutien direct aux établissements de santé. Ainsi dans le COP15, ASSIST a fourni une assistance technique à ACONDA-VS, ICAP Global Health Action, Health Alliance International (HAI), Fondation ARIEL Glaser, Elizabeth Glaser Pediatric AIDS Foundation (EGPAF), Santé Espoir Vie – Côte d’Ivoire (SEV-CI). Par ailleurs cette assistance s’est étendue au Programme National de Lutte contre le SIDA sur dix sites dans le Sud –Comoé et au Private Sector Health Project (PSHP) sur cinq (5) cliniques privées.

2) Renforcer les capacités de la Direction Générale de la Santé (DGS) à travers la Direction de la Médecine Hospitalière (DMH) dans sa gestion de la qualité des soins et services de santé au niveau central par la mise en place d’un système de d’amélioration de la qualité des soins VIH dans les quatre (04) Centres Hospitaliers Universitaires du pays et le développement de documents de politique d’amélioration de la qualité des soins et services et santé.

3) Renforcer les capacités de FANTA III et le programme national de nutrition dans l’amélioration de la prise en charge nutritionnelle des PVVIH sur 10 sites.

Pour atteindre ces objectifs, des équipes d’amélioration de la qualité (EAQ) sont mises en place au sein des formations sanitaires pour identifier et mettre en œuvre des changements pour améliorer la qualité des soins et collecter des données afin de de déterminer si les objectifs d’amélioration des équipes d’amélioration de la qualité ont été atteints. Les données représentent donc une composante essentielle de l’approche de l’amélioration de la qualité car il est important que les données recueillies dans ces activités d'amélioration soient de bonne qualité afin de guider les décisions des EAQ. C’est dans ce cadre que le projet ASSIST de l’USAID a inclus trois obligations contractuelles afin de déterminer la validité des données collectées, l’impact de l’approche d’amélioration de la qualité sur les indicateurs liés aux objectifs d’amélioration, mais aussi la rentabilité de l’approche.

En Côte d’Ivoire, les équipes d’améliorations de la qualité calculent les indicateurs à partir des documents primaires (dossiers patients, registres) contenant les informations sur les services fournis aux personnes vivant avec le VIH (PVVIH). Une fois ces indicateurs calculés, ils sont ensuite transmis au district pour vérification. Le district à son tour les transmet au PMO pour une autre vérification. Lorsque toutes ces vérifications sont faites, les données sont alors transmises à ASSIST qui procède aussi à une vérification avant la saisie dans la base de données (figure 1).


Figure 1 : Circuit de transmission des données du projet ASSIST de l’USAID en Côte d’Ivoire

Administration des soins aux patients / clients

Enregistrement les données des patients / clients dans les outils

Calcul des indicateurs à partir des outils primaires par l’EAQ

Transmission des données au niveau district

Transmission des données au niveau PMO

Transmission des données au niveau ASSIST

Durant tout ce circuit, il peut arriver des distorsions au niveau des données dû à plusieurs facteurs. Il est donc utile d’évaluer la qualité des données afin de développer des solutions pour améliorer la qualité des données.

L’objectif de cette évaluation était de déterminer la qualité des données du projet ASSIST de l’USAID en Côte d’Ivoire dans les domaines de la documentation, la couverture, et la rétention des patients sous ARV. Nous avons cherché à vérifier si les données issues des activités d’amélioration de la qualité transmises par les structures sanitaires sur la période de juillet 2016 à septembre 2016 étaient exactes et conformes à celles recalculées à partir des outils primaires dans les structures sanitaires, au district, chez les partenaires de mise en œuvre et dans la base de données ASSIST par des personnes externes aux sites. Nous avons également cherché à déterminer si les indicateurs obtenus en utilisant un échantillon sont conformes aux indicateurs obtenus en utilisant toutes les données disponibles.

Les objectifs spécifiques étaient :

1. Comparer la valeur des indicateurs rapportés par le projet ASSIST de l’USAID à ceux recalculés par des personnes externes aux sites.

2. Déterminer l’impact de l’échantillonnage sur la qualité des données rapportées par le projet ASSIST de l’USAID.

3. Déterminer la compréhension des indicateurs par les équipes d’amélioration de la qualité.

4. Déterminer les causes de écarts entre les données rapportées et les données recalculées.

5. Déterminer le taux de complétude des dossiers des patients.


II. Méthodologie

La présente validation des données s’est effectuée du 6 au 23 décembre 2016 sur des données rapportées par ASSIST de la période de juillet 2016 à septembre 2016 dans douze structures sanitaires.

Echantillonnage

Un tirage aléatoire a permis de sélectionner 12 sites de validation parmi les 60 que comptent le projet (tableau 1). Il s’agit d’un centre anti tuberculeux, deux centres de protection maternelle et infantile, une infirmerie d’entreprise privée, quatre centres de santé urbains, une formation sanitaire urbaine, un centre de santé rural et un centre hospitalier universitaire (CHU). Ces sites sont répartis dans les quatre régions où le projet ASSIST est présent. Un effort a été fait afin de sélectionner 12 sites représentatifs de l’ensemble des sites ASSIST.

Collecte de données

Au total cinq indicateurs sur les 16 rapportés par le projet ASSIST de l’USAID en Côte d’Ivoire soit 31% des indicateurs qui ont été rapportés durant la vie du projet ont été recalculés dans le cadre de cette évaluation (tableau 1). Quatre indicateurs ont été validés dans 11 sites et l’indicateur sur le traitement a été validé dans un site (centre hospitalier universitaire) car cet indicateur n’est collecté qu’à cet échelon du système de santé. Les indicateurs qui ont été systématiquement rapportés tous les trimestres par ASSIST Cote d’Ivoire durant l’année fiscale en cours ont été sélectionnés pour être validés. Les données ont été recalculés pour les mois de Juillet, Aout et Septembre 2016.

Tableau 1 : Liste des indicateurs évalués

Domaine Indicateurs Source de données

11 sites

Documentation % de dossiers patients ayant tous les items renseignés

Dossiers patient

Couverture % de clients dépistés séropositifs et nouvellement enrôlés dans les soins

Registre de dépistage par les tests rapides

Registre d’enrôlement

Rétention des patients adultes

% de patients en vie et sous traitement ARV 6 mois après l’initiation

Registre TARV

Rétention des enfants dans les soins

% d’enfants nés de mères VIH positifs ayant bénéficié du prélèvement DBS et initié le cotrimoxazole avant 2 mois d’âge

Agenda

Registre de DBS

CHU Traitement % d’enfants hospitalisés VIH positifs mis sous traitement ARV

Registre TARV

Afin de déterminer les différentes raisons qui pourraient être à la base d’éventuelles discordances entre les données rapportées et celles recalculées, les étapes suivantes ont été suivies :


Etape 1 : Collecte des données et calcul des indicateurs et comparaison avec les données transmises par le site au cours du mois concerné.

Etape 2 : Administration d’un questionnaire au personnel du site pour comprendre les procédures de collecte et calculs des indicateurs ainsi que toutes sources de différences entres les données collectées et les données rapportées.

Etape 3 : Déterminer la concordance des indicateurs collectés par les sites et ceux transmis au district, PMO et ASSIST

Etape 4 : Déterminer le taux de complétude des items des outils utilisés (registre TARV, registre de dépistage par les tests rapides et le dossier patient)

De plus, pour les indicateurs calculés par le projet en utilisant un échantillon de 20 et non l’ensemble des patients, cette évaluation a cherché à identifier les potentielles sources de biais liés à l’utilisation d’un échantillonnage pour calculer ces indicateurs.

Les méthodes de collecte de données pour chaque indicateur sont décrites ci-dessous :

1. % de dossiers patients ayant tous les items renseignés

Calculer l’indicateur à partir des mêmes 20 dossiers utilisés par le site

Calculer l’indicateur à partir de 20 autres dossiers tires au sort

Calculer l’indicateur à partir de tous les dossiers des patients attendus et vus au cours de la période de revue (pour deux sites)

2. % de clients dépistés séropositifs et nouvellement enrôlés dans les soins

Faire la liste de tous les clients dépistés séropositifs du centre au travers des registres de dépistage par les tests rapides de la structure sanitaire et déterminer s’ils ont été enrôlés dans les soins le même mois de dépistage

3. % de patients en vie et sous traitement ARV 6 mois après l’initiation

Faire la liste des patients sous ARV qui ont initié le traitement en janvier, février, mars de 2016 afin de déterminer leur statut (en vie et sous traitement, décédé, transféré hors du site, arrêt de traitement)

4. % d’enfants nés de mères VIH positifs ayant bénéficié du prélèvement DBS et initié le cotrimoxazole avant 2 mois d’âge

Faire la liste des enfants exposés de moins de deux mois attendus pour le prélèvement DBS et initiation du cotrimoxazole et qui ont bénéficié effectivement de ces soins à la période indiquée

5. % d’enfants hospitalisés VIH positifs mis sous traitement ARV

Faire la liste des enfants hospitalisés et dépistés séropositifs dans les services de pédiatrie et déterminer s’ils ont été mis sous traitement ARV

Analyses des données

Les indicateurs seront recalculés selon leurs formules respectives. Le pourcentage d’erreur entre les donnes recalculées et celles rapportées seront calculées en utilisant la formule


suivante : % erreur= (% calculé- %rapporte) /calculé*100. Les données qualitatives issues des entretiens avec les prestataires seront résumées.

III. Résultats

Concordance entre les indicateurs rapportés par le projet et ceux recalculés

1. Pourcentage de dossiers patients ayant tous les items renseignés (documentation)

Cet indicateur est rapporté par le projet à partir d’un échantillon de 20 dossiers patients par site et par mois. L’évaluation a déterminé les différences entre la valeur rapportée par le projet et la valeur recalculée en utilisant trois différentes méthodes : i) les même 20 dossiers dans chacun des 11 sites de l’évaluation ; ii) 20 dossiers sélectionnés de manière aléatoire dans chacun des 11 sites de l’évaluation ; iii) L’ensemble des dossiers disponibles durant le mois en cours dans deux sites de l’évaluation.

Recalcul de l’indicateur en utilisant les mêmes 20 dossiers patients

La récollette des données dans les 11 sites de l’évaluation en utilisant les mêmes dossiers que ceux rapportés par le projet a révèle que les indicateurs rapportés ont été surévaluées. En effet, le % d’’écart entre les deux types de données est de -140,0% à -201,8% entre Juillet et Septembre 2016 par rapport à celles recalculées (tableau 2).

Tableau 2 : Pourcentage des dossiers patients ayant tous les items renseignes : Comparaison des indicateurs rapportés et ceux recalculés en utilisant les même 20 dossiers

Recalculé Rapporté

% % Num Deno Num Deno % Erreur


Juillet 81 216 37,5% 198 220 90,0% -140,0%

Août 77 218 35,3% 194 220 88,2% -149,7%

Septembre 68 213 31,9% 212 220 96,4% -201,8%

Recalcul de l’indicateur en utilisant 20 autres dossiers patients

La récollette des données dans les 11 sites de l’évaluation en choisissant 20 dossiers patients par site de manière aléatoire a également montré un écart similaire entre les données transmises et celles recalculées. Les données rapportées par le projet sont supérieures à celles recalculées. Le pourcentage d’erreur varie de -171,2% à -185,3% (tableau 3).


Tableau 3 : Pourcentage des dossier patients ayant tous les items renseignes : Comparaison des indicateurs rapportés et ceux calculés en tirant 20 dossiers de manière aléatoire




Juillet 73 220 33,2% 198 220 90,0% -171,2%

Août 68 220 30,9% 194 220 88,2% -185,3%

Septembre 71 210 33,8% 212 220 96,4% -185,0%

Recalcul de l’indicateur en utilisant l’ensemble des dossiers patients

Cette méthode utilisée sur 2 sites (un centre de sante privé, et un centre de sante de référence) montre que sur l’ensemble des dossiers patients passés en revue montrent un très faible taux de dossiers correctement renseignés. Le centre de santé de référence comptait très peu de dossiers (en moyenne 20 par mois) mais avaient presque tous les dossiers correctement renseignés (environ 98%). Cependant le centre sante prive comportait la grande majorité des dossiers. Cependant cette structure, la seule structure privée de l’évaluation, n’a renseigné les informations telles que le poids, la tension et la température dans aucun dossier. La valeur de l’indicateur est donc de 0 dans ce site, aucun dossier n’ayant été entièrement renseigné. Comme l’indique le tableau 4, les taux d’erreur sont donc très importants (entre -2771% et -3583 %).

Tableau 4 : Pourcentage des dossier patients ayant tous les items renseignes : Comparaison des indicateurs calculés en utilisant l’ensemble des dossiers de manière aléatoire et ceux rapportés en utilisant les par le projet




-Juillet 17 759 2,2% 33 40 82,5%

3583,4%

-Août 22 851 2,6% 36 40 90,0%

3381,4%

-Septembre 24 745 3,2% 37 40 92,5%

2771,4%

De manière générale, les résultats de la recollecte de données pour l’indicateur sur la documentation montrent des écarts importants entre les données transmises et celles


collectées selon les trois méthodes utilisées lors de la validation de l’indicateur ; les données transmises au cours de la période juillet à septembre 2016 sont supérieures à celles collectées. Le taux d’erreur était particulièrement important lorsque l’ensemble des dossiers de deux sites a été pris en compte. Il faut cependant noter que le site qui comportant la majorité des dossiers pour cette méthode de calcul était un le seul site prive de l’évaluation et ne renseignait pas certaines informations dans les dossiers. Dans cet exercice de validation des données un seul item non renseigné est suffisant pour le dossier pas correctement renseigne bien que les items le soient.

Le taux de remplissage des dossiers variait selon la section du dossier. Le taux de remplissage était de 89,1% pour la fiche de suivi, 92,2% pour le cotrimoxazole, 27,5% pour les constantes, 96,3% pour le traitement ARV et 97,8% pour le CD4 et la stadification. Plus spécifiquement, nous avons constaté que les items suivants n’étaient pas toujours renseignés : la durée de prescription du Cotrimoxazole, la durée de prescription du traitement ARV, les constantes (poids, taille, Indice de masse corporel, tension artérielle, Température), le tableau du bilan CD4 (Taux de CD4 et date de réalisation) et le taux de CD4 sur la fiche de suivi (tableau 5).

Tableau 5 : Taux de remplissage du dossier patient

Données sociodémographiques

Personne de soutien

Antécédents ARV et/ou PTME

Autres Antécédents

Examen physique

Traitement Bilans

Juillet (n=1115)

100% 100% 100% 100% 100% 100% 97,4%

Août (n=1031) 100% 100% 100% 100% 100% 100% 97,6%

Septembre (n=1088)

100% 100% 100% 100% 100% 100% 98,2%

Fiche de suivi Constantes Tuberculose Cotrimoxazole Grossesse et allaitement

Traitement ARV

CD4 et Stadification

Juillet (n=1115)

89,1% 32% 100% 94,9% 100% 97% 98,3%

Août (n=1031) 88,4% 18,3% 100% 94,1% 100% 96,3% 98,1%

Septembre (n=1088)

89,8% 32,1% 100% 93,5% 100% 95,6% 97,5%

Adhérence au traitement ARV Prochain rendez-vous

Juillet (n=1115) 100% 100%

Août (n=1031) 100% 100%

Septembre (n=1088) 100% 100%


2. Pourcentage de clients dépistés séropositifs et nouvellement enrôlés dans les soins (couverture)

Le deuxième indicateur évalué, le pourcentage de clients dépistés séropositifs et nouvellement enrôlés dans les soins est calculé en utilisant l’ensemble des patients concernes durant le mois. Les comparaisons montrent un taux d’erreur beaucoup moins important entre les données recalculées et celles rapportées par ASSIST que l’indicateur précèdent. En effet, on note un taux d’erreur inférieur entre -9% et -32% au cours de la période de juillet à septembre 2016 (tableau 6).

Tableau 6 : Comparaison des indicateurs calculés et ceux rapportés sur la couverture


% % % Num Deno Num Deno

Recalculé Rapporté Erreur

Juillet 105 130 80.8% 117 133 88.0% -8.9%

Août 159 190 83.7% 167 169 98.8% -18.1%

Septembre 109 144 75.7% 128 128 100.0% -32.1%

Quant à la complétude des items du registre de dépistage par les tests rapides, 11 058 clients dépistés au cours de la période juillet à septembre 2016 ont été évalués. Nous avons constaté que les items ayant trait au calcul de cet indicateur ont été renseignés à 100% permettant ainsi de disposer du résultat sérologique des clients dépistés pour le VIH (tableau 7). Seuls les items de la section sociodémographique ont fait défaut dans quelques sites (taux de remplissage de 74% et 79% respectivement dans deux sites, et 99% dans deux autres)

Tableau 7 : Taux de remplissage du registre de dépistage par les tests rapides

% d’items remplis pour la section « socio démographique »

% d’items remplis pour la section « Type de test »

% d’items remplis pour la section « Résultat final »

Juillet (n =3519) 100% 100% 100%

Août (n = 4248) 100% 100% 100%

Septembre (n = 3291) 100% 100% 100%

3. Pourcentage de patients en vie et sous traitement ARV 6 mois après l’initiation

La comparaison des indicateurs recalculés et ceux rapportés sur la rétention à 6 mois montre une plus grande cohérence entre les deux sources de données. En effet, nous ne notons qu’un très faible taux d’erreur entre les données rapportées et recalculées (moins de 3%) comme l’indique le tableau 8.

Tableau 8 : Comparaison des indicateurs calculés et ceux rapportés la rétention à 6 mois



Num Deno % Recalculé

Num Deno % Rapporté

% Erreur

Juillet 184 211 87,2% 178 201 88,6% -1,6%

Août 171 201 85,1% 186 213 87,3% -2,6%

Septembre

150 178 84,3% 153 184 83,2% 1,3%

Le recueil des données pour le calcul de l’indicateur sur la rétention des patients à 6 mois sous traitement ARV a été possible grâce à la bonne complétude des items. L’on note qu’environ 82% des informations sur le suivi mensuel de chaque patient (statut des patients à la fin du mois) sont notifiées et 100% des items sur les informations personnelles à l’enregistrement des patients, la situation au commencement du traitement et le régime initial sont renseignés dans le registre (tableau 9).

Tableau 9 : Taux de remplissage du registre TARV

% d’items remplis dans la section « enregistrement et informations personnelles »

% d’items remplis dans la section « situation au commencement du TARV »

% d’items remplis dans la section « Régime TARV »

% d’items remplis dans la section « Suivi à la fin de chaque mois »

Juillet (n = 210) 100% 100% 100% 83%

Août (n = 202) 100% 100% 100% 85%

Septembre (n = 179)

100% 100% 100% 78%

4. Pourcentage d’enfants nés de mères VIH positifs ayant bénéficié du prélèvement DBS et initié le cotrimoxazole avant 2 mois d’âge

La comparaison des données pour cet indicateur montre un taux d’erreur de 0% durant les mois de Juillet et Aout même si on note de petites différences entre les dénominateurs et les numérateurs rapportés et ceux calculés. L’indicateur était cependant légèrement sous-évalué en Septembre avec un taux d’erreur de 5% (tableau 10).

Tableau 10 : Comparaison des indicateurs calculés et ceux rapportés sur la rétention des enfants exposés



Num Deno % Recalculé

Num Deno % Rapporté

% Erreur

Juillet 43 44 98,0% 42 43 98,0% 0,0%

Août 50 50 100,0% 54 54 100,0% 0,0%

39 39 100,0% 41 43 95,0% 5,0%

Septembre

5. Pourcentage d’enfants hospitalisés VIH positifs mis sous traitement ARV

La collecte de données sur l’indicateur % d’enfants hospitalisés VIH positifs mis sous traitement ARV n’a montré aucun écart avec celles rapportées au cours du trimestre juillet à septembre 2016 comme l’indique le tableau 11. Il faut noter que cet indicateur n’est rapporté qu’au niveau du centre hospitalier universitaire et ne concerne que très peu de patients (1 à 4 selon le mois).

Tableau 11 : Comparaison des indicateurs calculés et ceux rapportés sur le traitement ARV




Juillet 1 1 100% 1 1 100% 0%

Août 2 2 100% 2 2 100% 0%

Septembre 4 4 100% 4 4 100% 0%

Total 7 7 100% 7 7 100% 0%

En examinant le registre TARV pour apprécier la complétude des items, nous avons constaté que toutes les informations pour les 7 patients concernes était renseignes dans le registre.

Concordance entre les indicateurs rapportes par le projet et ceux au niveau du district et de PMO

Concernant la vérification des données présentes au long de la chaine de rapportage à savoir site, district, PMO et ASSIST, nous n’avons pas constaté d’écart tout au long des différentes étapes. Le circuit de données établit est que lorsque les sites finissent à la fin du mois les évaluations, ils les transmettent au district, le district a son tour au PMO et du PMO a USAID ASSIST. A chaque niveau de transmission, une vérification de la concordance des données est faite. Lorsqu’une erreur est constatée, un retour est fait à chaque niveau pour correction.


Connaissances des équipes d’amélioration de la qualité

Au cours de la collecte, une évaluation de la connaissance sur les indicateurs des membres des équipes d’amélioration de la qualité a été conduite. Il faut noter qu’en moyenne sur 72 personnes que comptent les équipes d’amélioration de la qualité sur les 11 sites, 33 (32%) ont été interviewés sur la méthode d’échantillonnage, les sources de données et la définition des indicateurs. Il ressort que ceux-ci ont été en mesure de donner de façon correcte les réponses aux différentes questions comme l’indique le résume le tableau 12. Il en est de même pour les 2 personnes sur 7 (29%) pour le CHU.

Tableau 12 : Données sur l’évaluation des connaissances des EAQ

INDICATEURS Nombre de personnes dans les EAQ

Nombre de personnes interviewées

% de membres interviewés

Echantillonnage correct

Sources de données correctes

Définition de l’indicateur correct

1. % de dossiers patients ayant tous les items renseignés

72 33 32% 100% 100% 100%

2. % de clients dépistés séropositifs et nouvellement enrôlés dans les soins

72 33 32% 100% 100% 100%

3. % de patients en vie et sous traitement ARV 6 mois après l’initiation

72 33 32% 100% 100% 100%

4. % d’enfants nés de mères VIH positifs ayant bénéficié du prélèvement DBS et initié le cotrimoxazole avant 2 mois d’âge

72 29 28% 100% 100% 100%

5. % d’enfants hospitalisés VIH positifs mis sous traitement ARV

7 2 29% 100% 100% 100%

Répartitions des sites en termes de surévaluation, sous-évaluation et exactitude

A l’examen des indicateurs recalculés et ceux rapportés au cours de la période de juillet à septembre 2016, sur les 11 sites soutenus par les partenaires de mise en œuvre du PEPFAR, nous constatons au travers des ratios qu’il existe parfois des incohérences au niveau des mois rapportés. Ainsi donc nous pouvons les classer en 3 catégories à savoir : la sous-évaluation de l’indicateur par le site, la surévaluation par le site (ratio<1) et exactitude de l’évaluation (ratio égal à 1) comme nous le montre le tableau 13.

Tableau 13 : Répartition des sites en fonction des trois catégories


Domaine Période

Surévaluation

(Nombre de sites)

Sous-évaluation

(Nombre de sites)

Exactitude de l’évaluation

(Nombre de sites)

Documentation

Juillet 11 0 0

Aout 11 0 0

Septembre 10 0 1

Rétention à M6

Juillet 0 2 9

Aout 2 1 8

Septembre 4 2 5

Enfants exposés

Juillet 0 0 10

Aout 0 0 10

Septembre 0 2 8

Couverture

Juillet 2 2 7

Aout 3 1 7

Septembre 4 0 4

On note un fort taux de surévaluation des données de la documentation (de 10 à 11 sites/11 selon le mois). Cependant, les autres domaines montrent que plus de la moitié des sites ne présentent pas de discordance entre les indicateurs recalcules et ceux rapportes.

Sources de différences entres les données de l’évaluation et les données rapportées

L’évaluation a révélé que les causes des différences entre les données calculées et celles reportées varient selon l’indicateur. Le tableau 14 résume les sources d’erreurs des données rapportées.

Tableau 14 : Sources d’erreurs des données rapportées

Documentation Couverture Rétention adulte Soins enfants exposés

Erreur de définition

Dossiers des patients transférés inclus

Dossiers des patients pris en compte deux fois

La prise en compte de clients dépistés séropositifs sur d’autres sites et référés dans le centre pour l’enrôlement

Prise en compte dans le calcul de patients

Erreur de définition de la cohorte

Les patients qui ont transféré vers d’autres sites non soustraits du calcul

Enfants exposés non attendus pris en compte,

Erreur de saisie dans le rapport transmis


Documentation Couverture Rétention adulte Soins enfants exposés

Erreurs de calcul dépistés les mois Registre non à jour Age du client non (items non précédents lors du calcul de spécifié lors du calcul, renseignés comptes comme renseignés)

Non prise en compte de tous les patients

l’indicateur

omission d’un enfant

enrôlés

La non prise en compte de tous les positifs du centre (non prise en compte de tous les registres de dépistage par les tests rapides du centre)

La prise en compte de clients dépistés séropositifs sur le site mais référés sur d’autres sites pour la prise en charge

IV. Discussion

L’examen des données des données de juillet à septembre 2016 des cinq indicateurs ayant trait à la documentation, la couverture et la rétention des adultes, des enfants du projet ASSIST en Côte d’Ivoire a révélé que les taux d’erreur étaient 0 ou minimes pour les indicateurs ayant trait à la rétention des adultes et aux enfants exposés au VIH mais surévalués de manière importante pour l’indicateur ayant trait à la documentation et à la couverture. En effet, l’évaluation des données sur la documentation est celle qui montre le plus grand écart entre les données recalculées et celles déjà transmises. Pour cet indicateur, le taux d’erreur a varié de -140 % (lorsque les même 20 dossiers ont été sélectionnés) à -3583% (lorsque tous les dossiers patients ont été pris en compte). Il faut noter que nous n’avons pas observé de différence notable entre la sélection des mêmes 20 dossiers initiaux et 20 autres dossiers sélectionnés de manière aléatoire. Pour les indicateurs liés à la mise sous soins des clients séropositifs, la rétention a six mois et la mise sous traitement des enfants exposes au VIH, les taux d’erreur ont varié de -5 à 3% selon le mois. Il faut noter que la complétude des documents sources des indicateurs calcules a varié entre 98,25% et 98,50%. Les données rapportées par les sites sont restées identiques tout au long du circuit de rapportage (Site – District - PMO – ASSIST).

Pour l’indicateur sur la documentation, le taux d’erreur était particulièrement important lorsque l’ensemble des dossiers de deux sites a été pris en compte. Il faut cependant noter que le site qui comportant la majorité des dossiers pour cette méthode de calcul était un le seul site prive de l’évaluation et ne renseignait pas certaines informations dans les dossiers. Les raisons


avancées pour la non prise des constantes est que les patients VIH reçoivent les soins gratuitement or les constantes sont prises pour les patients qui paient pour les soins.

Les sources de différence entre les données recalculées et celles rapportées ont varié selon l’indicateur. En ce qui concerne l’indicateur sur la documentation, les différences sont dues à un échantillonnage incorrect et à une mauvaise application de la définition de l’indicateur en ce qui concerne les items à considérer pour déclarer le dossier correctement renseigné. Concernant l’échantillonnage, le problème de surévaluation est lié à la prise en compte des dossiers de patients transférés dans le centre alors que ceux-ci devraient être exclus du calcul de l’indicateur. Pour les items des dossiers patients à considérer, le remplissage de la fiche de suivi du dossier patient pose un problème à cause des différentes versions qui existent (2008, 2010, 2012, 2015 et 2016). Pour chaque version, des items sont ajoutés et d’autres retranchés. De ce fait, les différents prestataires qui réalisent les évaluations ne pratiquent pas l’exercice en évaluant le dossier patient en fonction des items que présente le dossier mais le font applique la méthode d’évaluation des versions 2008 ou 2010 aux autres dossiers. Pour la couverture, des erreurs tels que la prise en compte de patients dépistés dans d’autres sites ou de patients dépistés les mois précédents ainsi que la non prise en compte tous les registres du expliquent les différences. En effet, s’agit pour l’indicateur de la qualité sur les clients enrôlés au cours du même mois de dépistage et non l’ensemble des clients enrôlés au cours du mois quel que soit leur mois de dépistage. Il faut aussi noter que cet indicateur a été parfois confondu à celui rapporté au ministère de la santé dont la méthode de calcul diffère sur le calcul du numérateur. En ce qui concerne la rétention dans les soins à 6 mois, nous avons note des erreurs dans la constitution de la cohorte de patients, et l’inclusion de patients ayant transféré vers d’autres sites. Pour les enfants exposés, les erreurs sont dues à la prise en compte d’enfants non attendus le mois concernes, d’erreur de saisie, et d’omission d’enfants éligibles.

Il est également important de souligner pour la collecte des données et le calcul des indicateurs rapportés à la fin de chaque mois est parfois assurée par des prestataires ne faisant pas partie de l’EAQ mais se trouvant dans la chaine de réalisation de l’activité. Ne maitrisant pas les méthodes de calcul, ces derniers peuvent fournir des données qui comportent des erreurs. De ce fait, les résultats obtenus peuvent impacter négativement l’orientation des EAQ dans la mise en place d’idées de changement pour d’améliorer les soins et services offerts aux PVVIH. En effet, la validation des données en équipe avant leur transmission selon le circuit est nécessaire pour déceler les différentes incohérences dans le calcul des indicateurs. Pour pallier cela, ASSIST a proposé aux différents sites de faire intégrer les gestionnaires de données dans les différentes équipes d’amélioration de la qualité vue leur familiarité aux données et leur niveau de compréhension des indicateurs (définition, mode de calcul, etc.). A la suite de leur intégration, une session de renforcement de capacités a été organisé par ASSIST afin de mettre à niveau ces derniers sur le concept de la qualité, les indicateurs, méthode de calcul, outils de rapportage. Ces gestionnaires de données peuvent ainsi apporter un soutien à la collecte mensuelle des données et vérifier leur qualité avant la transmission.

En outre, l’évaluation de la connaissance de 35 sur 79 membres des équipes d’amélioration de la qualité a permis de constater que ceux-ci ont été en mesure de donner des réponses correctes aux question ayant trait à l’échantillonnage, les sources de données et la définition des cinq indicateurs. Ce bon niveau de connaissance n’était pas en cohérence avec les erreurs détectées. Cela pourrait être justifié par le fait qu’avant le processus de collecte en vue de la validation des données, en novembre et décembre 2016, l’ensemble des sites pilotes du


collaboratif parmi lesquels sont issus les 11 ont bénéficié d’une visite de coaching au cours de laquelle l’on a renforcé les capacités des EAQ sur la méthode d’échantillonnage, la définition et les sources de données de chaque indicateur.

Les EAQ ont été invitées à corriger les données avec les nouvelles explications données afin de pourvoir évaluer la situation réelle des sites en termes de performance. Cela permettrait d’apprécier atteinte l’effet exact des idées de changement initiées, testées et mise en œuvre.

V. Conclusion et Recommendations

L’évaluation des 5 indicateurs sur les 12 sites au cours de la période de juillet à septembre 2016 a permis d’apprécier la qualité des données des évaluations mensuelles des structures sanitaires. Il ressort que les données rapportées et celles collectées et comporte des écarts pour l’indicateur sur la documentation et la couverture bien que la complétude des items qui ont servi au calcul est de plus de 90%. Il a été également constaté que les données rapportées par les sites sont restées identiques tout au long du circuit de rapportage (Site – District - PMO – ASSIST). Concernant le niveau de compréhension de l’échantillonnage, la source de données et la définition des indicateurs pour leur calcul, les personnes interviewées disposent d’une bonne connaissance même si seuls 33% des membres des EAQ ont été interviewés.

Pour pallier les insuffisances constatées qui ont entrainé des écarts entre les données il convient de faire des recommandations afin de garantir des données justes les mois avenir. Nous recommandons :

A l’endroit du projet ASSIST

Organiser une session de formation sur les indicateurs à l’endroit de tous les membres des EAQ afin de garantir une bonne compréhension et une meilleure analyse des données.

Mettre à disposition des EAQ un dictionnaire des indicateurs comme référentiel.

Créer un cadre de validation de données au niveau district. Cela consisterait à faciliter l’intégration de la présentation des performances et les bonnes pratiques des EAQ au cours des réunions d’équipe cadre de district et réunions trimestrielle afin de détecter les erreurs et procéder à des corrections.

Continuer à utiliser les outils d’espace virtuel (Facebook, Viber, Whatsapp, etc.) afin de créer un espace virtuel en vue d’assister régulièrement les EAQ en dehors des visites de coaching. L’utilisation des réseaux brise la barrière de la distance et permet aux EAQ qui rencontrent des problèmes de les poster sur la page afin que les autres sites réagissent pour suggérer des solutions.

A l’endroit du PMO et du District

Contrôler régulièrement les données transmises afin de s’assurer de leur exactitude.

Impliquer le chargé de la surveillance épidémiologique dans le contrôle des données.

A l’endroit des EAQ


Valider les données par les membres de l’EAQ avant de les transmettre au niveau supérieur. Cela consisterait à présenter les données à tous les membres de l’EAQ et autres prestataires du centre afin d’apprécier la performance des sites mais aussi déceler et corriger toute erreur.

S’assurer de la disponibilité de tous les outils au moment du calcul des indicateurs.

Intégrer les gestionnaires des données des sites dans les EAQ.


Appendices

I. Registre de dépistage par les tests rapides


II. Registre TARV


III. Dossier du patient

Fiche adulte



Tableau de bilans


Fiche de traitement antirétroviral


Fiche de suivi

USAID Projet de l’Application de la Science pour le Renforcement et l’Amélioration des Systèmes (ASSIST)

University Research Co., LLC

5404 Wisconsin Avenue, Suite 800

Chevy Chase, MD 20815

Tel: (301) 654-8338

Fax: (301) 941-8427

www.usaidassist.org

Documents

Évaluation de la qualité des données des indicateurs … · a été soutenue par le peuple américain à travers le Projet de l’Application de la Science pour le Renforcement