[ SEMINAIRE DE FORMATION ]Animée par Céline Delort & Jean-François Leclerc

[ Evaluation de la qualité de la formation ]

De la satisfaction à la mesure du retour sur investissement

Présentation des formateurs

Céline Delort

Consultante Formation & Performance RH

12 ans d’expérience mixte en organisme de formation et entreprises

3 activités : Formatrice (Paris 1, formation

continue, ESC Dijon,…) Conseils en organisation,

évaluation et performance RH Dirigeante société externalisation

RH

Tel : 01 60 14 48 05Portable : 06 79 59 67 33Email : c.delort@alithia.fr

Jean-François Leclerc

Directeur des études Grimmersoft Perspective123

35 ans d’expérience en consulting et études. Créateur de Perspective123

3 activités : Conduite de projet e-RH Conception de systèmes

d’évaluation Analyse de données et

recommandations

Tel : 01 55 95 98 76Ligne directe : 01 55 95 98 70Email : jeanfrancois.leclerc@grimmersoft.com

Groupe Grimmersoft / Perspective123 :

• Quelques chiffres :+ Plus de 25 ans / 21 collaborateurs. / 5 000 clients.+ 2007 fusion Grimmersoft - Perspective123.

• Des outils reconnus :+ Obseo : Plate-Forme Full-Web d’évaluation.+ Question Data : logiciel de traitement d’enquête.

• Des prestations de services :+ Conseil et accompagnement + Hébergement de questionnaires+ Saisie de questionnaires papier.

www.Grimmersoft.com

www.Perspective123.com

Programme de la formation

Présentation et tour de table

Pourquoi et comment évaluer la formation ? L’évaluation à chaud : définition, mise en œuvre et pratiques

d’entreprises L’évaluation des connaissances : objectifs, pertinence et

techniques L’évaluation à froid ou comment transférer des connaissances en

compétences ? Comment mesurer le retour sur investissement de la formation ?

1. Pourquoi et comment évaluer la formation ?

Qu’est-ce que la formation?

Une des solutions pour optimiser la gestion des ressources humaines et résoudre les dysfonctionnements

[ EVALUATION DE LA FORMATION ]

Définition et objectifs de l’évaluation

Qu’est ce que l’évaluation ?

Une détermination de la valeur, du prix, de l’importance (Petit Larousse)

Un acte basé sur la production d’un jugement ou l’estimation d’une valeur (Jean-Marie Barbier)

Une aide à prendre une décision, à analyser une situation (Marc Dennery)

Les objectifs de l’évaluation Analyser une situation, prendre une décision et effectuer des arbitrages Produire un retour d’information pour les commanditaires Vérifier si les objectifs de la formation sont atteints Valider si les connaissances ont été acquises Identifier les changements chez la personne en formation sur son poste de

travail Mesurer la qualité, la pertinence et l’efficacité de la formation Déterminer les effets globaux de la formation sur la performance de l’entreprise Préparer le suivi de la formation pour les apprenants ou pour le formateur Valoriser la fonction Formation

Définition et objectifs de l’évaluation

Les 4 missions de l’évaluation*

L’attribution d’une valeur scolaire au terme d’une formation pour rendre la formation « qualifiante »

Une « fonction éducative de l’évaluation » en vue de faire progresser l’apprenant

Un « double processus d’objectivation de la réalité évaluée » pour identifier les résultats de la formation et permettre la prise de décision

Une « fonction prospective » pour formuler de nouvelles idées et projets

* J.M. Barbier

Définition et objectifs de l’évaluation

Réflexion en groupe (10 minutes)

Définition de l’évaluation de la formation

« … l’ensemble des actions entreprises dans le cadre du processus formel afin d’analyser soit les effets de la formation sur les apprenants, soit la qualité d’une action ou d’un projet de formation, soit la pérennité d’un système de formation ou son impact sur la performance globale de l’entreprise, et de comparer ces effets ou cette qualité, ou encore le degré de pérennité du système au regard des investissements réalisés… »

Analysez la

définition suivante :

Que voulez-vous ou pouvez vous évaluer ?

Types d’évaluation (Cf. J.M. Barbier)

Évaluation formative : Elle se pratique au cours des apprentissages et elle a pour but de renseigner l’apprenant le plus complètement et le plus précisément possible sur la distance qui le sépare de l’objectif et sur les difficultés qu’il rencontre

L’évaluation sommative : Elle se pratique au terme d’un apprentissage et elle a pour but de vérifier si les objectifs en ont été atteints par tel ou tel apprenant.

Évaluation explicite : « le jugement de valeur ne s’explicite qu’à travers ses effets »

Évaluation spontanée : « le jugement de valeur ne s’explicite qu’à travers son énoncé, sa formulation »

Évaluation instituée : « un acte délibéré et socialement organisé aboutissant à la production d’un jugement de valeur »

Évaluation interne :

« effectuée par rapport aux objectifs fixés au sein même de l’action de formation »

Évaluation externe :

Fixée « par rapport aux objectifs économiques, sociaux ou professionnelles qui justifient l’action de formation elle-même

Formative / sommative Explicite / spontanée / instituée Interne / externe

Quels éléments évaluer ?

4 éléments à évaluer selon M. Dennery

l’apprenant et les équipes

apprenantes

les actions et les projets de formation

la fonction formation

les coûts de la formation et le retour sur investissement

4 niveaux selon D.L. Kirkpatrick

Réactions des stagiaires et mesure de la satisfaction

Acquisition de connaissances / de savoirs

Transfert sur les situations de travail

Effets de la formation sur les résultats de l’entreprise

Que voulez-vous ou pouvez vous évaluer ?

Les différentes qualités à évaluer

Que voulez-vous ou pouvez vous évaluer ?

Qui est concerné par l’évaluation et quelles sont les attentes des acteurs ?

Que voulez-vous ou pouvez vous évaluer ?

Les acteurs de l’évaluation de la formation

En externe : Les organismes de formation Les formateurs externes Les financeurs

En interne : La direction générale Les managers Les formés Les représentants du personnel Le service Formation et les autres

acteurs RH Les actionnaires Les formateurs internes

Que voulez-vous ou pouvez vous évaluer ?

Attentes des acteurs de la formation à l’égard des systèmes d’évaluation de la formation

(10 minutes en groupe)

Objet de l’évaluation

Direction générale

Manager Stagiaire Organisme de formation

Financeur Représentant du personnel

Formateur Responsable Formation

Niveau 1Satisfaction

Niveau 2Connaissan

cesNiveau 3

Compétences

Niveau 4Résultats

Importance de l’évaluation pour le manager

Phases du processus Missions du manager

Missions du service formation

Identification du besoin de formation

Remontée d’information Mise à jour du dysfonctionnement ou du manque

Analyse du besoin et conseilsTransposition en objectifs de formation

Arbitrages Priorités à définir en fonction des objectifs opérationnels

Priorités à définir ( budget et vision générale du plan )

Conception Informations pour synchronisation et définition des résultats attendusRéunion avec le formé pour fixer les objectifs de la formation

Définition du cahier des chargesSélection du prestataireOrganisation logistique

Réalisation Présence du formé Organisation

Suivi et évaluation Feedback sur la formationAnalyse des changements post-formation et vérification de l’atteinte des résultats attendusAide au transfert des connaissances en compétences

Retour d’information sur l’évaluation à chaud et à froid aux managersVérification de l’atteinte des résultats attendus

Processus d’évaluation de la formation

Un processus en 4 phases :

Préparation Implantation / collecte Analyse Action

Le processus d’évaluation

PREPARATION

Identification des objectifs et résultats attendus

Définition du niveau d’évaluation

Définition des objectifs d’évaluation

Sélection des outils de collecte et analyse

IMPLANTATION / COLLECTE

Préparation des outils de collecte

Planification Collecte des

données Relances

ANALYSE

Mise en commun des données

Traitement statistique

Edition d’un rapport de synthèse

ACTION

Prise de décision Actions

d’amélioration / progression

Bilan de l’évaluation

4 phases :

Les étapes-clés de l’évaluation

1. Avant la formation2. Pendant la formation3. Après la formation4. A froid5. Évaluation de l’évaluation

Les 5 critères d’efficacité

La simplicité

L’acceptabilité sociale

L’opérationnalité

La fiabilité

La continuité

Exercice pratique

Objectifs de l’évaluation Niveau d’évaluation Outils utilisés

Définir dans le plan de formation ci-dessous les types d’évaluation à mettre en œuvre :

Libellé formation Cible Effectif Objectifs évaluation

Niveau évaluation

Outils

Management de proximité (5 jours)

Managers 45

Affirmation de soi (2 jours) Assistantes 24

Habilitation électrique (1 jour)

Agents de maintenance

12

Anglais au téléphone Commercial 10

Accroître les ventes de services ajoutés (3 jours)

Commercial 45

Exercice pratique

Evaluation une fois l’action de formation organisée

L’importance d’initier l’évaluationau moment de la conception de l’action :

Du lien entre les objectifs de formation et d’évaluation

De la recherche des résultats attendus et du caractère opérationnel de l’évaluation

De la préparation et de l’organisation de l’évaluation

Des évaluations préalables à mener

Les outils d’évaluation

Les outils de collecte

Les outils d’analyse

Les outils de collecte d’informations

Le questionnaire Les entretiens Les tests L’analyse des outils de

performance de l’entreprise Les méthodes d’observation

Objectif : recueillir des données quantitatives et qualitatives pour effectuer ensuite une analyse

Les outils d’analyse

Les méthodes statistiques L’isolation des effets de la formation La valorisation monétaire

Objectif : fournir au décideur des informations lui permettant de prendre une décision basée sur des faits objectifs

Les méthodes statistiques

Objectifs : Transformer des données qualitatives en

données quantitatives Mesurer les intangibles Faire de l’évaluation un outil de

communication vers l’extérieur

Méthodologies : Décompte des réponses identiquesCalcul des moyennes, écarts types,

variances et autres ratios Faire ressortir les faits marquantsFaciliter la lecture grâce à des graphiques ou camemberts

Un exemple concret d’analyse statistique

Oui Non En attente Total des réponses

62 2 1 65

39

1222

7

15

Plus d'aisance en rendez-vous Plus de facilité à contre argumenter

Plus d'écoute Plus d'informations sur l'entreprise

Capacité à dire non et à s'affirmer

Plus d'aisance en rendez-vousPlus de facilité à contre

argumenter Plus d'écoutePlus d'informations sur

l'entrepriseCapacité à dire non et à

s'affirmer

39 12 22 7 15

Un questionnaire avec une question fermée :

Selon vous, la formation a-t-elle eu un effet positif sur votre performance commerciale ?

Un questionnaire avec une question ouverte :

Si oui, pouvez-vous me citer les principaux changements ?

Deux autres méthodes à exploiter

L’isolation des effets

La valorisation monétaire

Cf. exemple du retour sur investissement de la formation

2. L’évaluation à chaud : définition, mise en œuvre et pratiques d’entreprises

[ EVALUATION DE LA FORMATION ]

Les entretiens

Objectif : recueillir auprès de la personne interrogée le maximum d’informations sur un sujet donné

Avantages

Récupérations de données sur le vif et personnelles

Approfondissement d’un sujet

Récupération de données plus nombreuses et variées

Limites

De la difficulté à compiler et analyser les données

Du coût en temps de l’entretien

Du risque de défoulement

Les méthodes d’observation

Objectif : évaluer les changements d’attitude avant et après la formation

Observation directe Visite « mystères » Observations « en décalé » Jeux de rôle 360° et 180° Acquisition des compétences FIA (Flanders Interactions Analysis)

Le questionnaire

Opportunités Facilité d’administration et

d’analyse Nombreuses possibilités de

questionnements Idéal pour des cibles

nombreuses et éloignées

Limites

Manque de souplesse

Pas de contact direct

Temps de conception et d’administration du questionnaire

Taux de retour faible

Le questionnaire post formation

Rôles et objectifs :

Déterminer la qualité des prestations de la formation Permettre d’auditer nos fournisseurs Réagir aux incidents pour mettre en place des actions correctrices Prendre en compte les remarques de nos clients pour optimiser nos

formations Valider l’implication de l’encadrant Vérifier si le formé estime avoir acquis de nouvelles connaissances et

réaliser les objectifs de la formation

Du bon usage du questionnaire à chaud

Des questions adaptées à l’objectif de l’évaluation

Poser des questions sur le respect des objectifs, la future application dans le poste de travail et l’utilité de la formation

Informer les sondés dès le départ Exploiter les données par une analyse détaillée Communiquer les résultats aux formés

Exemples concrets et analyse

[ SEMINAIRE DE FORMATION ]Animée par Céline Delort & Jean-François Leclerc

[ EVALUATION A CHAUD ] comment ?

Evaluation à chaud :

• COMMENT ? :•

– Quand ?– Quel support ?– Quel tableau de bord ?– Quel contenu ?– Avec quel outil ?– S’équiper ou sous-traiter ?

Quel support ? papier :

Support papier :+ Saisie manuelle ... ou par scanner+ Archivage.

Saisie automatisée par scanner : Data Scan & Question Data

Question Data :• Traitement des Questions Ouvertes• Mapping de satisfaction (SATIMIX)• Analyse de données

Evaluation à chaud papier :

• Circuit papier :– Saisie automatisée par scanner.– Publication industrialisée de rapports.

Data Scan+

Question DataVS

Externalisation

Exemple papier + Internet .

• Tableaux de bords Qualité :– Formulaire papier.– Rapport en ligne.

Exemple suivi web : Bull Formation

Evaluation « tiède » la plate-forme ALSTOM :

+ Evaluation objective : plus de temps pour répondre

+ Possibilité de déployer internationalement

+ Reporting instantanée et détaillée

+ Gain de temps = gain d’argent

+ Démarche qualité : 0 papierReporting

Tableau de bord, alertes

Suivi & relance

E-Mailing

Fin de stage

Le mail d’accompagnement :

Le questionnaire :

+ « L’évaluation en ligne est un vrai succès ».

+ « … Avec un taux de réponses de plus de 80% »

+ « Nous avons un système d’évaluation qui nous permets, de manière objective, de comparer entre eux les programmes fournis. »

+ « On évite toutes les erreurs et le temps passé à la ré-écriture des documents et le reporting papier, la gestion administrative est réduite au minimum »

Retour d’expérience et bénéfice de la méthode

Evaluation en ligne : Exemple de résultats

DRH, Responsable Formation, ...

Vous en rêviez OBSEO l’a fait :

CAMPUS ENTRETIENS

TOP360

BAROMETRE SOCIAL

EVALUATION FORMATION

+ 6 mois d’abonnement gratuit pour gérer vos évaluations ...

6 mois d’abonnement gratuit pour gérer vos évaluations ...

www.obseo.com

DRH, Responsable Formation, ...

Vous en rêviez OBSEO l’a fait :

Plate-forme OBSEO Full-Web :

une plate-forme Full Web :Framework .NET V2, XMLSQL Server 2003

OBSEO : Espace de création de questionnaires / formulaire:

Une interface pour : + Tous types de questions.+ Interactivité, notations, gestions des scores, langues, corrigé type, diagnostics …+ Formulaire et tests+ Sauts, filtres, limite temps, tirage aléatoire…

OBSEO : Gestion de la diffusion :

• Une interface pour : – Disposer des accès aux questionnaires.– Gérer des e.mailing (Annuaires, Pré-remplissage de la

signalétique. / limitation du nombre de passation, Modèles de messages…)

– Planification des envois et des relances, suivre les retours

OBSEO : Gestion des rapports :

• L’éditeur de rapport permet de : – Paramétrer des rapports– Sélectionner les questions à afficher.– Choisir les représentations.– Définir les sélections de population.

Quel contenu ? Exemple et « BENCHMARK » :

Grâce à l’expérience accumulée depuis 20 ans :

Des analyses comparatives pour situer vos résultats

Tableau de bord (obs250909)

S’équiper : Externaliser :

Autonomie Souplesse, « sans souci »

Développement d’un savoir -faire Pas de compétence interne mobilisée, Expertise à disposition

Cout initial + maintenance Pas d’investissement, En général, plus économique

Make or Buy ? :

INVITATION SUR LES ENTRETIENS

 Au sur les entretiens :     

> Les enjeux et objectifs du dispositif d’entretiens individuels     Panorama pour bien appréhender les entretiens et leur cadre légal.

Les quatre conditions de réussite du dispositif     Les facteurs clés de succès d'un dispositif cohérent et efficace.

> La plate-forme web CAMPUS ENTRETIENS     Du pilotage automatisé des entretiens ... à la base de connaissance RH.

17 novembre 9 H 1520 avenue de l’Opéra, 75001 Paris

3. L’évaluation des connaissances :Objectifs, pertinence et techniques

[ EVALUATION DE LA FORMATION ]

Définition d’une connaissance

Représentation immatérielle d'une partie du monde (physique, de la conscience ou mathématique) structurée pour un objectif

Les connaissances générales constituent une des ressources incorporées dans la personne et avec lesquelles celle-ci peut agir avec compétence.

Guy Le Boterf

Faculté de connaître, de se représenter. Manière de comprendre, de percevoir.

Le petit Larousse

Ensemble stabilisé de savoirs acquis par un individu et mobilisable par ce dernier.

Guide pratique de la formation

Intégration de la connaissance

ConnaissanceAffirmation assimilée pour réaliser une action

InformationDonnée mise en contexte

DonnéeElément brut en dehors de tout contexte

Première phase du processus d’acquisition des compétences

SAVOIR

SAVOIR - FAIRE

SAVOIR ETRE

La formulation d’une compétence

Que faut-il savoir ?

Que faut-il savoir-faire ?

Quelles sont les compétences comportementales pour réussir ?

Connaissances

Savoir-faire

Savoir-Etre

Les modes d’acquisition des connaissances

Education scolaire (enseignement scolaire, université,….)

Education professionnelle

Formation continue

Auto apprentissage

Mode d’emploi pour évaluer les connaissances

Identifier vos objectifs d’évaluation Evaluer les connaissances avant et après Valider le niveau et la qualité du test Effectuer un pilote Effectuer le test pour tous les participants Tenir compte des résultats dans l’apprentissage des formés, pour

l’optimisation de la formation et la progression du formateur

De l’expertise métier Du moment de l’évaluation Du degré de connaissances

nécessaires De l’interprétation des

connaissances De la rétention des

connaissances

La difficulté de l’évaluation des connaissances

Les tests

Objectif : évaluer l’acquisition de connaissances

Le test de connaissances Le test d’apprenance Le test d’aptitude

Légitimité et crédibilité auprès des opérationnels Bon outil pour l’auto-motivation Possibilité de certifications ou gratifications

[ SEMINAIRE DE FORMATION ]Animée par Céline Delort & Jean-François Leclerc

[ EVALUATION DES CONNAISSANCES ] comment ?

Evaluation des connaissances :

Mesurer les pré-requis + Evaluer les niveaux de connaissances avant la formation,+ Proposer un parcours pédagogique adapté,+ Constituer des groupes de niveau,+ Mesurer les besoins du groupe,+ Adapter et faire évoluer les programmes de formations.

Valider les acquis+ Diffuser un examen de fin de formation,+ Archiver les réponses et résultats de chacun+ Valider le parcours pédagogique de l’apprenant,+ Situer l’apprenant par rapport à un niveau de qualification+ Editer un certificat, Certification, habilitation

Comparaison « avant / après »

1. A partir des objectifs : Identifier les THEMES du questionnaires =

Indicateurs, scores, notes

2. Décomposer les thèmes en niveaux d’interrogation

3. Définir la volumétrie (confort, couverture du sujet, coût, tirage sur

banque ...)

4. Prévoir dès la conception les modalités d’analyse

Principes de construction d’un questionnaire 1/5 : structurer

Principes de construction d’un questionnaire 2/5 : formuler

1. Clarté, rigueur, lisibilité, confort du répondant.

2. Distinguer le contexte, de la question elle-même

3. Ne pas poser 2 questions dans la même

4. Pas de questions négatives dans une série affirmative

5. Cultiver la variété des questions

6. Formulation proche de la situation de travail.

7. Modalité « je ne sais pas »

8. Relecture (Groupe de travail, experts ...)

Principes de construction d’un questionnaire 3/5 : Catégorie et notation

1. Questions fermées / ouvertes (Question Data, Wordmapper)

2. V/F, QCM (distracteurs), Texte à trou, A apparier, glisser/déplacer, puzzle,

zone sensible, curseur ...

3. Renseignements signalétiques

4. Questions filtres

5. THEMES : Note, points ou % (Éviter le traumatisme, le scolaire )

6. Notation différentielle (+2+ 1 0 -1 -2) / tout juste tout faux

7. Pondération des questions, éliminatoire.

8. Fonction « re-calcul » simulation de scores

9. Créer des « cursus » de questionnaires (CAMPUS MANAGER)

Principes de construction d’un questionnaire 4/5: organiser, présenter

1. Écrans d’accueil, consignes de remplissage, annoncer les règles.

2. Questions à blanc, intercalaires, restitution.

3. Structuration/ Tirage aléatoire/ Temps limité(?)

4. Interactivité, correction

5. Mise en page, graphisme, fonds, ergonomie des écrans, apport du multimédia…

6. Bilan final = notation, diagnostic, corrigé type ?

Principes de construction d’un questionnaire 5/5 : Valider

1. S’assurer de la bonne compréhension

2. Valider la passation technique (Ecrans, navigateur ...)

3. Etalonner le questionnaire (s’assurer de sa prédictivité et de sa sensibilité).

4. Questions discriminantes, triviales ...

5. Recetter.

Effectif

Notes

Idéal

Effectif

Notes

Peu sensibleTrop facile

Effectif

Notes

Peu sensibleTrop difficile

Exemples pour les Campus Veolia

Exemples de tests

Exemples de tests

Exemple : certification milieu bancaire

Habilitation électrique :

Campus Manager :

• Gestion de comptes individuels et sécurisés Chaque répondant a son « dossier » Ressources pédagogiques & parcours

• Gestion des répondants/groupesOrganisation des répondants en groupesAffectation des ressources / des cursus

• Gestion d’évaluations/cursusOrganisation des ressources en Cursus conditionnelsAffectation à des répondants / des groupes

• Gestion du reporting Consolidation et règles d’accès Consultation des résultats par groupe Suivi individuel

4. L’évaluation à froid ou comment transférer des connaissances en compétences ?

A SUIVRE …

[ EVALUATION DE LA FORMATION ]