30/07/2010 4:11 PM

Une approche intégrée à la mesure du rendement pour le Programme d'établissement de CIC

Présenté à la conférence de l'Association des Agences au Service des immigrantsde la région Atlantique (AASIRA)

22 septembre 2010

Objectif de la présentation

L'objectif de cette présentation est de:

1. Donner un aperçu du cadre intégré de mesure du rendement pour le programme d’établissement de CIC.

2. Faire un bref compte rendu des travaux du Groupe consultatif de mesure du rendement (GCMR)

3. Recueillir vos commentaires et suggestions quant aux différentes méthodes de collecte de données

2

3

Vision

Ensemble, nous faisons une différence dans l’établissement et l’intégration des nouveaux

arrivants

Nous pouvons mesurer et évaluer l’impact de nos actions

Nous agissons en fonction de l’information obtenue pour améliorer de façon constante les

services

Le continuum programme-politique

ContrôleDéveloppement Politiques/Programmes

Mesures du rendement

Recherche& Évaluation

Rapports & Planification

• Niveau de programme• Extrants• Résultats• Rétroaction des clients• Sondage d’opinion

public sur les performances

• Planification ministérielle & rapports du rendement

• Revue stratégique

• Objectifs• Résultats planifiés• Améliorations• Conception & livraison• Mise en œuvre

• Activités• Financiers• Opérations• Système

• Contexte général• Impact, efficience,

efficacité, & solutions possibles

• Évaluations périodiques

Prise de décisions fondée sur des preuves

4

La mesure du rendement a un rôle unique et complémentaires dans le continuum programme-politique

5

Qu’est-ce que la mesure du rendement? Il s'agit de la collecte systématique

d'éléments probants concernant les extrants (produits et services) et les résultats d'un programme ou d’une politique

Il s'agit d'un processus cyclique de mesure, de collecte, d'analyse et de rapports d'information pour évaluer les résultats d'un programme ou d’une politique et pour faciliter la prise de décision éclairée.

Elle répond aux questions clés:• Que voulons-nous accomplir sur la durée du programme?• Comment saurons-nous dans quelle mesure le programme est efficient?• Quelle preuve existe pour soutenir l'existence du programme?• Qu’est-ce qui doit être entrepris pour améliorer le programme?

Qu'est-ce qui doit être fait pour

améliorer la politique et la programmation?

Quels sont les objectifs et les résultats escomptés?

Comment allons-nous mesurer le succès?

Quels sont les indicateurs?

Comment allons-nous recueillir l'information?

Quand allons-nous recueillir l’information?

Qu'est-ce que les données et l’information

nous apprennent?

Comment allons-nous communiquer les résultats?

Quelle est l'histoire de rendement?

Mesure du rendementCollecte d'information continue quant aux résultats de programme (extrants et résultats) pour guider la prise de décision et permettre de faire rapports sur les résultats du programme

Programme d’établissement• Modèle logique et résultats attendus• Modalités• Financement

Services d’établissementFondés sur les priorités pour les services et la programmation et les directives pour gérer les accords de contribution (côté gauche du modèle logique)

Extrants

Résultats immédiats

Résultats intermédiaires

Résultats finaux

ContrôleActivités financières et opérationnelles exercées par les agents d'établissement sur les accords de contribution des FS.

Cadre d’imputabilité, de risques et de vérification (CIRV)

6

AuditPour déterminer si la stratégie du Ministère et les pratiques liées à la gestion des risques, de contrôle et de gouvernance sont adéquats.

ÉvaluationLa collecte et l'analyse continue de l’efficacité du programme dans le but de

vérifier sa pertinence, ses progrès, son succès et sa rentabilité afin d'éclairer des décisions futures sur sa conception et sa mise en œuvre.

Représentation visuelle de l'interaction entre les éléments du CIRV de juin 2008 liés à la mesure du rendement du programme d‘établissement de CIC.

7

ExtrantsLes extrants sont les produits ou services directs offerts en vertu d'une politique, d’un programme ou d’une initiative, qui servent à obtenir des résultats pour un groupe ou une population cible.

La responsabilité de la collecte de données:• Les fournisseurs de services (FS) sont chargés de fournir les extrants du programme de CIC

Les données sont saisies par le biais de ces sources:• iSMRP (Système de mesure pour la reddition des comptes concernant les programmes de contributions

de l’immigration): recueillir des données quantitatives sur la plupart des services d'établissement• ARS (Système automatique de réservation): recueillir des données auprès des fournisseurs de services

de l'Ontario sur les services de langue, qui est transféré à l'iSMRP• Outils de collecte de données pour les Cours de langue de niveau avancé: recueillir des données sur le

programme de Cours de langue de niveau avancé Rapports annuels de la Colombie-Britannique, du Manitoba et du Québec

Autres méthodes qui pourraient être utilisées:• La rétroaction initiée par des FS pour obtenir les opinions des clients et autres stratégies de collecte de

données• Visites de site Web et publications produites et distribuées

Les résultats immédiats représentent les résultats immédiats obtenus, et souvent observables pendant ou immédiatement après l'achèvement d'une activité; ils sont directement attribuables à des interventions.

8

Résultats immédiats

La responsabilité de la collecte de données:• La responsabilité incombe principalement aux FS, puisque les résultats immédiats sont liés à des

projets

Les données sont saisies par le biais de ces sources:• Rapports narratifs: pour faire rapport sur les résultats des projets à des fins de contrôle et de mesure

du rendement qui ont été indiqués à l'annexe 1 des accords de contribution. Les rapports narratifs permettent de spécifier les résultats du projet et d'identifier les liens des résultats du programme

• Sondage auprès des clients à la suite des cours de langue de niveau avancé : évaluer les résultats des cours de langue de niveau avancé

• Rapports annuels de la Colombie-Britannique, du Manitoba et du Québec

Autres méthodes qui pourraient être utilisées:• La rétroaction initiée par des FS pour obtenir les opinions des clients et autres stratégies de collecte de

données– Les formulaires de rétroaction des clients (distribué au moment de la prestation de services)

• Enquête de satisfaction initié par CIC auprès des clients– Sondage auprès des clients en général (téléphone, en ligne)

• Enquête après les interventions• Test de connaissances et de compétences

Les résultats intermédiaires sont logiquement attendus une fois que l'un ou plusieurs résultats immédiats ont été atteints. Leurs effets s'étendent au-delà des participants au programme.

9

Résultats intermédiaires

La responsabilité de la collecte de données:• CIC est responsable de la collecte de données et de mesurer les résultats intermédiaires

Les données sont saisies par le biais de ces sources:• Sondage auprès des clients de cours de langue de niveau avancé

Autres méthodes qui pourraient être utilisées:• Enquêtes auprès des clients: recueillir des informations auprès des clients sur les résultats

intermédiaires à la suite de la réception de services• La recherche sur l'opinion publique: Vaste enquête sur des clients et le grand public• Suivi des enquêtes• Essai auprès de groupes cibles

Les résultats finaux sont ceux obtenus au plus haut niveau et qui peuvent être raisonnablement attribués à une politique, un programme ou une initiative de façon naturelle, et sont la conséquence de la réalisation d'un ou de plusieurs résultats intermédiaires.

10

Résultats finaux

La responsabilité de la collecte de données:• CIC est responsable de faire la collecte de données à partir des sources de données existantes

Les données sont saisies par le biais de ces sources:• Les sources de données: les données de Statistique Canada, les études longitudinales, enquêtes, etc.

But:• Pour mesurer les résultats à long terme des nouveaux arrivants au Canada

Défi:• Difficile d'attribuer directement les résultats finaux au Programme d'établissement• Les résultats finaux devraient être utilisés comme point de comparaison

• Le GCMR a été créé en février 2010 à la réunion du Conseil mixte des politiques et du programme en matière d’établissement et d’intégration

• Le mandat : Fournir à CIC des conseils sur l'élaboration de sa stratégie de mesure du rendement

• Le groupe inclut : Des représentants des fournisseurs de services de partout au Canada et le personnel de CIC (Régions et l'AC)

11

Montrer l’impact de nos

actions sur l’établissement

et l’intégration des clients

Groupe conseil de mesure de rendement (GCMR)

Note: Ce groupe peut également être appelé à donner des conseils sur l'élaboration et la mise en œuvre de méthodes pour la saisie de données.

Livrables et les échéances

• Recommander des indicateurs pour évaluer les résultats - Juin 2010• Recommander des extrants - Septembre 2010• Améliorer les pratiques de gestion et la prestation de services et raffiner les méthodes

pour recueillir les extrants et des résultats immédiats (rapports narratifs, rétroaction de la clientèle)

Vous faites partie du succès... Nous avons besoin de votre contribution pour avancer

• Avez-vous des exemples d'instruments de collecte de données / mécanismes que vous utilisez actuellement qui montrent des résultats des programmes d'établissement?

• Quels types de rapport vous sont utiles? Pas utiles?

• Quel type d'information voulez-vous partager quant à vos projets / services?

• Comment pouvons-nous améliorer sur la collecte de données sur les extrants et les résultats immédiats?

12

Discussion

Prochaines étapes

• Continuer le travail avec les GCMR, en tenant compte de vos commentaires

• Consulter des méthodologistes pour confirmer l'approche proposée pour la collecte de données pour:– Les extrants– Les résultats

• Finaliser et appliquer la stratégie de mesure du rendement

• Recueillir des données et les analyser et rapporter sur les extrants et les résultats

14

Évaluation des besoins et aiguillage Services de soutien Information et

sensibilisation Services liés à l’employabilité

Évaluation des besoins immédiats et courants (y compris éval. linguistiques)

Aiguillage vers des services d’établissement communautaires et financés par CIC

Services habilitants : - Services de

garde - Aide au transport - Dispositions

concernant les handicaps

Autres services de soutien : - Services

d’accueil aux PDE

- Traduction - Interprétation - Conseils

Produits d’information

Séances d’orientation

Promotion et rayonnement

Intégration au marché du travail

Formation aux techniques de recherche d’emploi

Renseignements sur le marché du travail

Orientation en milieu de travail

3e résultat stratégique de CIC

Résultats finaux

Outcomes

6. Besoins d’établissement des nouveaux arrivants connus des FS, des clients et de CIC

7. Aiguillage et plans personnalisés fondés sur l’évaluation des besoins d’établissement

8. La population cible connaît les services d’établissement de CIC 9. Des services d’établissement adéquats, utiles et opportuns sont offerts dans la langue officielle choisie (conformément à

l’esprit et à l’intention de la Loi sur les langues officielles). 10. Les clients obtiennent les services de soutien dont ils ont besoin pour surmonter les difficultés qui se présentent.

Développement des compétences linguistiques

et autres aptitudes

Formation linguistique

Autres aptitudes/ dynamique de vie

Éléments du programme

Résultats immédiats

Extrants

Résultats intermédiaiIre

Élaboration des politiques, conception et gestion des programmes Services d’établissement

Liens avec la communauté

Intégration individuelle et communautaire, p. ex. : - jumelage hôte/

mentor - mobilisation,

formation et soutien des bénévoles

Services de sensibilisation culturelle, antiracisme et de collectivités accueillantes

Élaboration des politiques et des programmes

Mise en œuvre et gestion des programmes

1. Les politiques et les programmes cadrent avec les priorités ministérielles et gouvernementales.

2. Les modèles de programme reposent sur les preuves et les observations des intervenants et tiennent compte des besoins des nouveaux arrivants et des collectivités, ainsi que des obstacles qu’ils doivent surmonter.

3. Les normes, les outils, les ressources et la coordination du programme appuient la prestation efficace des services

4. Prestation efficace des services 5. Services d’établissement offerts partout au Canada et

obtenant des résultats comparables

Plans stratégiques Politique, priorités, normes et

résultats Stratégie de mesure du

rendement et rapports nationaux

Coordination horizontale Consultation des intervenants Rapports de recherche et

d’analyse Affectation des fonds Accord F-P-T, protocoles

d’entente et autres arrangements

Plans opérationnels Matériel et outils d’exécution

des programmes Directives et formation

fonctionnelles Collecte des données et

rapports régionaux/locaux/FS Coordination régionale, locale

et des FS Renforcement des capacités

de prestation des services Pratiques exemplaires et

échange de renseignements Ententes de contribution

E

11. Les clients reçoivent des renseignements utiles, précis et opportuns pour prendre des décisions d’établissement éclairées

12. Les clients savent ce que signifie vivre au Canada (lois, droits, responsabilités et accès aux ressources communautaires).

13. Les clients ont les compétences nécessaires en langue officielle pour fonctionner dans la société canadienne

14. Les clients ont les compétences/ aptitudes courantes nécessaires pour fonctionner dans la société canadienne.

15. Les clients connaissent le milieu de travail canadien et ont des liens avec le marché local du travail.

16. Les clients savent comment trouver un emploi et présenter leur candidature.

17. Les clients ont des liens avec les grands réseaux communautaires et sociaux

18. Les participants au programme connaissent les besoins et l’apport des nouveaux arrivants et participent à leur établissement.

A B C D

19. Les nouveaux arrivants trouvent un emploi à la mesure de leurs compétences et de leur expérience. 20. Les nouveaux arrivants jouissent de leurs droits et assument leurs responsabilités dans la société canadienne. 21. Les Canadiens forment une collectivité accueillante pour favoriser la participation pleine et entière des nouveaux arrivants à la société

canadienne. 22. Les nouveaux arrivants font leur part pour répondre aux besoins de développement économique, social et culturel du Canada.

23. Intégration réussie des nouveaux arrivants dans la société canadienne et promotion de la citoyenneté canadienne

Résultats Attendus A – Orientation B – Compétences linguistiques et autres aptitudes C – Accès au marché du travail D – Collectivités accueillantes E – Élaboration de politiques et de programmes

Modèle logique du Programme d’établissement de CIC – juin 2008