Méthodes de suivi et d’évaluation d’un projet...

Méthodesdesuivietd’évaluationd’unprojetpédagogique

Capte-Lille–Université

N.Mandran(LIGGrenoble),M.Vermeulen(MinesDouai)Juillet2019

Pourcitercedocument:N.Mandran,M.Vermeulen.Juillet2019.«Méthodesdesuivietd’évaluationd’unprojetpédagogique».FormationréseauCAPTE,COMUELille.

Quisommesnous?

•  NadineMandran–  Statistiques,SHS,Démarchequalité–  Ingénieurencadrantdesdoctorantssurlesméthodesdeproductionetanalysededonnées

–  Spécialiséedanslesméthodesdeconduitedelarechercheeninformatiquecentréehumain-THEDRE

•  MathieuVermeulen–  ResponsablecelluleTICE–  Spécialisédanslaconceptiondejeuxsérieuxcentréeutilisateurs– metadesign–

–  CréateurdelaméthodeALPES,apprentissageparprojet

Objectifsdecesdeuxjours

•  Suivre et Evaluer un projet avec des méthodesqualitativesetquantitativesaucoursdutemps.

•  Concevoir votre méthode pour faire évoluer ledispositif pédagogique, les outils et latechnologieassociée,ledispositifd’évaluation.

Brainstorming

•  Pourvous,dansvotrecontextedetravail,quesignifie suivre et évaluer un dispositifpédagogique?– Ecrireuneidéeparpost-it…

Nosconclusions… •  Identifierpourquoiconduireuneévaluation•  Identifierpourquiconduirecetteévaluation•  Identifieravecquifairecetteévaluation•  Identifierlesdispositifspédagogiquesàdisposition•  Organiserceprocessusd’évaluation•  Avoirdesméthodesdeproduction/collectededonnées•  Avoirdesméthodesd’analysededonnées•  Avoirdesindicateurs,desmesures‘étalonnées’etdoncdesmodèles

théoriques•  Avoirdesguidesméthodologiques•  Traceretcontrôlercequiestfaitetlesrésultats•  Faireévoluerledispositifpédagogique,lesmesures,lesquestionsde

recherche

Evaluerpourquoi?Pourqui?

Fournirdesrésultatsauxdécideurs

Produiredesdonnéespourlarecherche

Améliorerledispositiftechnique

Améliorerledispositifpédagogique

MOBILISER

L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques

•  Uncadragescientifiqueglobal,lessciencesdel’artificiel(H.Simon2004)–  Unoutilquel’humainvapouvoirmobiliser:unEIAH,undispositifd’enseignement,…–  Desconnaissancesscientifiquesbaséessurl’activitéhumaine:modèledel’apprenant,

modèledel’enseignant,modèlepédagogique,…

•  HerbertA.Simon.2004.LesSciencesdel’artificiel(traductionJ.L.LemoigneÉd.rev.etcomplétéeed.).Folio,Paris.

7

Outilspourl’humain

Connaissancesscientifiques Etudierl’humain

Expérimenteravecl’humain

Recherche

PRODUIRE

Exemple1:

•  Plateformepourl’apprentissagedessciencesexpérimentales– pourlesétudiantsdusupérieuretleslycéens.– unespacedetravailpartagépourdesprojetscollaboratifs,enseignantsetétudiants.

– cahierdelaboratoireenligneet/oucommesupportd'écriturecollaborativederapportsdeprojets.

Exemple1:

Modèled’activité

Laplateforme

Exemple2:simulateurTELEOS

10

Simulateurpourl’apprentissagedelachirurgiepercutanée:

L’outilactivableproduitparlarecherche

Exemple2:simulateurTeleos

11

SimulateurdechirurgieModèledel’apprenant Lesimulateur

Exemple2:simulateurTELEOS

12

Lebrashaptique:•  Manipulation•  Résistance•  …

L’interface:•  Terminologie•  Fonctionnalités•  …

L’outilactivableestdécomposableensous-parties

L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques

•  Uncadragescientifiqueglobal,postureépistémologique•  Constructivismepragmatique[Avenier&Thomas2015]

•  Contribution:Incrémenterdesconnaissancesexistantes•  Qualitéduconstruit:Adéquationdel’outilactivableauxactivitéshumaines•  Miseàl’épreuve:Phaseexpérimentaleoùl’outilestconstruitetévalué•  Multiplicitédesdonnées:Unelargediversitédesméthodesdeproduction

(qualitatifetquantitatif)etderaisonnement(abductif,déductifetinductif)•  Fiabilitédesdonnées:Volumeetqualitédesdonnéessuivispardesindicateurs

L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques

•  UncadrageplusspécifiquepourEducationetTechnologyEnhancedLearning•  DesignBasedResearch(DBR)&TechnologyEnhancedLearning(WangetHannafin

2004)–  7propriétés:Pragmatique,Grounded,Interactive,Integrative,Itérative,

Flexible,Contextuelle–  Associerlesutilisateurs,collaboreraveceux,mixerlesméthodesdeproduction

dedonnées,faireévoluerlaquestionderecherche,documenterletravaildeterrainetderecherche

–  Maispasdeprocessusdéfini,nid’outildeguidage,nid’indicateur(Abdallah,M.,Wegerif2014)

•  Unmodèledeconduitedelarechercheetdesguides•  TraceableHumanExperimentDesignResearch(THEDRE)(Mandran2018)

–  Pour•  lesrecherchesquiproposentdesmodèlesdel’activitéhumaineenintégrantl’humain•  desrecherchesquidéveloppentdesoutilsactivablessupportsàl’activitéhumaine

–  +deTHEDREProcessusdeguidageetoutils•  Avecunmodèledeprocessusdeconduitedelarechercheancrédansladémarche

qualitéetdesindicateursdetraçabilité(Plan,Do,Check,Act–cycledeDeming)•  Desguidespouraccompagnerl’utilisateurdeTHEDRE

–  +deTHEDREEvolution•  Avecl’intégrationdeladémarchecentréeutilisateur3tâches:

–  Observer,analyserl’activité,–  Co-construireavecl’humain,–  Evaluerledispositifavecl’humain

•  Intégrationdetroisétatssurlesoutilsactivables–  Dynamique:simulateurdechirurgie,sitewebs,…–  Statique:listedemesurespourunDashboard,maquettenoninteractive,vidéo

supportàl’activitépédagogique–  Pasencored’outils

15

L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques

•  Unmodèledeconduitedelarechercheetdesguides•  TraceableHumanExperimentDesignResearch(THEDRE)(Mandran2018)

–  Pour•  lesrecherchesquiproposentdesmodèlesdel’activitéhumaineenintégrantl’humain•  desrecherchesquidéveloppentdesoutilsactivablessupportsàl’activitéhumaine

–  +deTHEDREProcessusdeguidageetoutils•  Avecunmodèledeprocessusdeconduitedelarechercheancrédansladémarche

qualitéetdesindicateursdetraçabilité(Plan,Do,Check,Act–cycledeDeming)•  Desguidespouraccompagnerl’utilisateurdeTHEDRE

–  +deTHEDREEvolution•  Avecl’intégrationdeladémarchecentréeutilisateur3tâches:

–  Observer,analyserl’activité,–  Co-construireavecl’humain,–  Evaluerledispositifavecl’humain

•  Intégrationdetroisétatssurlesoutilsactivables–  Dynamique:simulateurdechirurgie,sitewebs,…–  Statique:listedemesurespourunDashboard,maquettenoninteractive,vidéo

supportàl’activitépédagogique–  Pasencored’outils

16

L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques

•  Démarchecentréeutilisateurs(NormeIso,Mandranetal2013)•  3tâches:

–  Observer,analyserl’activité•  Quand«aucune»connaissanceououtiln’estdisponible•  Seréféreràdesétudesexistantespourcréerunoutild’observation

•  Allersurleterrainobserver,recueillirtoutesinformationsoudocumentsutiles

–  Co-construireavecl’humain,•  Quanddesconnaissancesoudesoutilssontdisponiblesetquel’onveutlesco-construireaveclesutilisateurs

•  Nécessitedecontinuerleurdéveloppement•  Procéderparréuniondetravailcollaboratif,«interactivité»

–  Evaluerledispositifavecl’humain•  Quanddesoutilsouconnaissancessontsuffisammentaboutispourêtretestés

•  Procéderpartestsutilisateursouanalysedetraces

17

L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques

•  Troisétatsdel’outilactivable:utilisableparunhumain–  Rienn’existe

•  L’observationduterrainvapermettredecommenceràélaborerunoutil–  Statique

•  Unoutilexistemaisilestsousunformatnonnumérique.Exemples:undictionnaire,desmaquettespapier,…

–  Dynamique•  Quanddesoutilssontdisponiblessousformenumériques•  Exemples:uneapplication,unsiteweb,unrobot,…

•  Desoutilsdécomposables:découperl’outilencomposantsdemanièreàavoirdesobjetsd’étudesprécis

•  Exempleunsiteweb:uneterminologie,desfonctionnalités,unepalettegraphique,…

18

L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques

DashboardssurExempledecesnotions:•  Objectif:créerdestableauxdesuividel’activitédesétudiants

–  Identifierlesbonnesinformationspoursuivrel’activitédesétudiants–  Représentercesinformations

Dashboardssur

T0 T1 T2 T3 T4

Dictionnairedesindicateurs

N’existepas Co-construire=>Listepapier(statique)V1

Co-construire=>listepapier(statique)V2

Co-construire=>listepapier(statique)V3

Représentation N’existepas

N’existepas

Co-construire(statique)=>maquetteV1

Co-construire(statique)=>maquetteV2

Evaluer=>prototype,dynamique

Dashboardssur

C.Vacher,C.D’Ham,LAbnBook,LIG/UGA,Juin2019

Ladéfinitiondesindicateurs

Lesdistributions:del’équipe,parmissionsparclasse

Lacollaboration

Dashboardssur

C.Vacher,C.D’Ham,LAbnBook,LIG/UGA,Juin2019

LadéfinitionLesdistributions:del’équipe,parmissionsparclasse

Lacollaboration

Lesreprésentationsvisuelles

Importancedecetancragepourlesévaluations

•  Dedistinguerrechercheetterraintoutentenantcomptedeleurinterdépendance

•  Intégrertouslesacteursdelamiseenœuvred’undispositifoud’unerecherche

•  Connaissancesetoutilsactivables:Identifiercequiestmisenplace–  modèlesthéoriques:pédagogiques,d’apprenants,d’enseignants,..–  intentionsdesoutilspédagogiques–  intentionsdessituationspédagogiques–  aspectstechniquesdesoutilspédagogiques–  aspectstechniquesdesoutilsnumériques

•  Dedécouperlesoutilsàconstruireetàévaluerencomposantspourpréciserlesobjectifs

•  Detracerletravailréaliseretainsirépondreauxdifférentsacteursduprojets:ingénieurspédagogiques,enseignants,apprenants,concepteurtechnique,chercheurs,décideurs,…pardesindicateurs/mesures…

IndicateursetMesures•  Unindicateurrépondàunequestioncentrale,ouneprendunvéritablesensque

lorsqu’ilmesureunobjectifconcret.•  Unindicateuraideàprendreunedécision,àsuivreunprojet.•  Unindicateurestconstruitàpartird’uneouplusieursmesures•  Unindicateurpeutprendreplusieursformes:visualisation,tableaux,valeurs,

intervalles,seuils,….•  Lesmesuressontproduitessurleterrainavecdesméthodesdeproductionde

donnéesqualitativesouquantitatives.•  Lamesureestassociéeàunoutildemesures,uneunité•  Exemples:

–  L’indicateurestlamoyenned’uneclassepourunenseignant,lesmesuressontlesnotesdesélèves.Domainedevalidité:intervallede1à20

–  Lanoteestunindicateurpourl’élève,c’estaussilamesure.Unité:intervallede1à20–  Indicateurdesatisfactiond’unoutil,lamesure:notededesatisfactiondesutilisateurs,

unitééchelledeLickert–  Indicateurdeperformance:mesurederapiditéd’exécution,unitéletemps

•  Indicateursd’activités•  Cequiestfait,cesontdesactions•  Fait/pasFait•  Exemple:Créerledispositifd’enseignement,créerleprotocole

expérimental,lirelabiblio,•  Indicateursdeproduction

•  Cequiestproduit•  Produit/nonproduit•  Exemple:lesressourcespédagogiques,lesdonnéesexpérimentales,…

•  Indicateursd’objectifs•  Fixésaprioriavantledémarraged‘unprojetpoursavoirsileprojeta

atteintsonbut•  SMART:Spécifique,Mesurable,Acceptable,Réaliste,Temporel•  Exemple:Avoirsuiviledispositifsur2ans,Nombred’utilisateurs>1000

étudiants

IndicateursetMesures

-Indicateurpourlesuividutravailetdesobjectifs-Mesurepourlesévaluations

Cadragedesévaluations

CadrescientifiquespécifiqueDesignBasedResearch&

TechnologieEnhancedLearning

CadrescientifiquegénéralSciencedel’artificiel

ProcessusetGuidesTHEDREpourlaRICH

Constructivismepragmatique

Démarchequalité/traçabilité/indicateursDCU

Théorique

Méthodologique

Entrerdansce«monde»?

6guides1logigramme

1diagrammed’orchestration

CycledeDeming

•  1èreétape

•  Formulaire1:30mn–  Echange–  Débriefing

•  Formulaire2:30mn–  Echange–  Débriefing

•  Formulaire3:20mn–  Echange–  Débriefing

•  Formulaire4:30mn–  Echange–  Débriefing

•  Notersurlespost-itlestâchesàréaliserdanscettepremièreétape?

•  Notersurlespost-itlestâchesàréaliserdanscettepremièreétape?

•  Commentaimeriezvousnommercetteétape?

•  2èmeEtape

Commentsuivreetévaluer?•  Utilisateurs•  Votreniveaudeconnaissancesurvotreutilisateur(inconnu,

connu)•  Pourquoil’utilisateur:observer,co-construire,évaluer,..•  Manièredejoindrecetutilisateur,lieu•  Outilsactivablesmisàdisposition

–  Pédagogiques–  Numériques

•  Eventuellementdescomposants(exempleduDashboards)•  Etatdecesoutils:dynamique,statique,n’existepas•  Temporalitédel’enseignementetlesmomentsdusuivioude

l’évaluation•  Lesmesuresàprendreauprèsdesutilisateurs

Lesméthodesdeproductiondedonnées

•  Quellessontcellesquevousconnaissez?

– Lesnotersurunpost-it

LesméthodesdeproductiondedonnéespourlesSHS

•  Quellessontcellesquevousconnaissez?

– Lesnotersurunpost-it

•  Lesclasser?Quellesdifférences?

MéthodedeproductionetanalysededonnéesQuaLitatives

•  Pourquoi?Comprendre,Identifierdesphénomènes,Observerdesutilisateurs,..•  Quand?Peudeconnaissancesurl’objetdel’étudeousurl’utilisateur•  Qui?Desutilisateursauprofilsvariés,pourunmaximumdevariabilité•  Comment?Desméthodesquivontprivilégierlanarration

–  Entretienssemi-directifs:Faireexprimerunutilisateursurl’objetdel’étude–  Observationinsitu:allersurleterrainetobservercequisepasse–  Focus-group:réuniond’utilisateur,confrontationdesidées–  Carnetdebords,socialprobes:l’utilisateurnotedesinformationsrelativesausujetdel’étude–  Thinkaloud:Faireverbaliserpendantuneactivité–  Auto-confrontation:vidéodel’activité,fairevisionneràl’utilisateuretlefaireverbalisersurces

actions•  Données?Vidéo,audio,schéma,despost-it,carnetdebord,desannotations,des

documentsduterrain…•  Commentlesanalyser?

–  Analysethématique–  Analysedudiscours–  Analysetextuelle

J.C.Creswell,Qualitative,QuantitativeandmixedMethodsApproaches.ResearchDesign.SagePublication.2003PailleetMuchielli.L’analysequalitative,xxxStatistiquetextuelle,L.LebarterA.Salem,Dunod.1994JeanCopans,L’enquêteethnologiquedeterrain,ArlandColin,2011

MéthodedeproductiondedonnéesQuanTitatives

•  Pourquoi?Quantifier,Evaluer,Testerdeshypothèses,quantifierdesrésultatsduquaLitatif•  Quand?Onadesconnaissancessurl’objetd’étudeetl’utilisateur•  Qui?Desutilisateurs«représentatifs»delapopulationàétudier,ouunrecensement«tousles

utilisateurs»•  Comment?Desméthodesquivontprivilégierledénombrement

–  Questionnaire–  Questionnairebaromètre–  Tracesd’activités–  Testsutilisateurs

•  Données?Fichiersdetypelignecolonne(IndividusstatistiquesxVariables),fichiersdetraces,… •  Commentlesanalyser?

–  Statistiquesdescriptives–  Statistiquesinférentielles–  Modélisation,Clustering,..–  Visualisations

D.Ray,Mesureretdévelopperlasatisfactionclient.Editiond’organisationD.C.Howell.Méthodesstatistiquesenscienceshumainesetsociale.(versionfrançaise).EditiondeBoeck.G.Milliot.ComprendreetanalyserlestestsstatistiquesavecR.EditiondeBoeck.D.Grangé,L.Lebart.TraitementsstatistiquesdesenquêtesEditionDunod.

Qualitatif//Quantitatif

Commentsuivreetévaluer?•  Utilisateurs•  Votreniveaudeconnaissancesurvotreutilisateur(inconnu,

connu)•  Pourquoil’utilisateur:observer,co-construire,évaluer,..•  Manièredejoindrecetutilisateur,lieu•  Outilsactivablesmisàdisposition

–  Pédagogiques–  Numériques

•  Eventuellementdescomposants(exempleduDashboards)•  Etatdecesoutils:dynamique,statique,n’existepas•  Temporalitédel’enseignementetlesmomentsdusuivioude

l’évaluation•  Lesmesuresàprendreauprèsdesutilisateurs

•  Choisirlesméthodesdeproductiondesdonnées:20mn–  Formulaire5–  Logigramme:Choixdesméthodes–  Débriefing

•  Formulaire6:rédigerunprotocoleexpérimental:20mn–  Echange–  Débriefing

•  Notersurlespost-itlestâchesàréaliserdanscettesecondeétape?

Mesureravecl’humain??

Avoirlebonoutilcommeenbiologie,chimie,mécanique,etc…

Mesureravecl’humain??

Avoirlebonoutilcommeenbiologie,chimie,mécanique,etc…

Guided’entretienQuestionnaireTraces

EtudierlespratiquesdesenseignantsavecdespédagogiesactivesetdesoutilsnumériquesEnseignement:L1,enBiologie,UEsciencesexpérimentales.Responsabled’UEveutintroduireunenouvelleplateformeexistanteLeresponsabled’UEestintéresséparlesméthodesStudentCenteredLearning(Freeman2014)

ENTRETIEN

ENTRETIENListerlesmesuresàprendre

•  Pratiquesdespédagogiesactives•  Avantages,inconvénientsdecespédagogies•  Usagedunumériquedanslaclasse•  Avantages,inconvénientsdunumérique•  Perceptionaprioridelanouvelleplateforme•  PerceptionsurlespédagogiesactivesStudentCentered

Learning(autonomie,collaboration,organisation,…)

OrganiseretordonnerlesmesurespargrandsthèmesPédagogiesactivesUsageduNumériqueMéthodeStudentCenteredLearningLanouvelleplateforme

GUIDED’ENTRETIEN

•  C’estundocumentrédigé,quiesttesté•  Lesquestionss’enchainent,pourarriveraupointessentieldel’entretien

•  Faireuneintroduction,surlaraisondel’entretienetcommentilvasedérouler

• Ilfautprésenterausujetpourquoinousluiavonsdemanderdeparticiperàcetentretien• Enfaisantattentionànepasluidonnertropd’informationsqu’ilchercheraàvaliderpourvousfaireplaisirpendantl’entretien• luiindiquerlesétapesdel’entretien• Luidirequec’estvotrepropositionquiestévalueretpaslui• Luidired’exprimertoutcequ’ilaenviededireparrapportàlaproposition

•  Duspontanéausuggéré•  Laisserlibrecoursaudioscoursdelapersonnes•  Siellenes’exprimepassurunsujetalorsluiposerlaquestion

•  Lorsdelarédactiondelagrille:envisagertouslescasdefigures.• SilesujetaparlédelaméthodeStudentCentredLearning(peuprobable),s’ilparledelaisserautonomelesétudiants,… • Siellen’enapasparlé

•  Leguidedoitcontenirlesremarquespourl’enquêteur• ENQUETEUR:Noterledéroulementducours• ENQUETEUR:Noterlesoutilsnumériquescités

•  Leguidesetermineendemandantlescaractéristiquesdesparticipants•  Annéedenaissance,vousêtesunhomme/unefemme,votreprofession,niveaud’étude,domained’activités,anciennetédansla

profession,votretyped’habitat,nombred’enfants…ettoutesinformationsutilespourrépondreàvosquestions.

GUIDED’ENTRETIEN

Lesdomainesqui sontabordéssontparfois complexespourceladeuxpossibilitésnonexclusives:Proposerdesconstatspourlancerl’entretienSelonladirective,XYZde2018,Lespédagogiesactivessontdeplusenplusprésentesdansl’enseignementsupérieur.Ellessontsouventutiliséesdansdescontextesdespécialistes.ProposerdesdéfinitionssurdestermesquinedoiventpasêtreambigusAujourd’hui,onentendbeaucoupparlerderéseauxsociaux.Dansnotreétude,ils’agitdesréseauxdetypefacebookoùchacunest librededéposerdes informationsqui leconcerneetde lespartageravecd’autrespersonnes. L’utilisateurde facebookpeutégalementcréerdesgroupesdepersonnesauxquels il réserveracertainstypesd’informations.

GUIDED’ENTRETIEN

•  Rédactiondesquestions

•  Lesquestionsdoiventpermettredesréponseslargesetouvertes:•  Avezvousdéjàmisenplacedespédagogiesactives?•  Dansquellescirconstancesavezvousmisenplacedes

pédagoguesactives?(oui)•  Nejamaissuggérerderéponsesdanslesquestions

•  Pensez-vousquecedispositifsoitutile?(non)•  Quepensez-vousdecedispositif?(oui)

•  Faireunpilote,untestavecunepersonnepouridentifiersilesquestionssontcomprisesetsil’ordredesquestionsestsuffisammentfluide.

•  Connaîtresonguided’entretien,àpartirde3ou4passations,onleconnait•  Prévoirunenregistrementdesentretiens,demanderl’accordaumoinsoralaux

personnes•  Prendredesnotesetlaissers’installerdessilences•  Lorsdelapassationdel’entretien,l’interviewépeutparfoisaborderles

différentsélémentsprévusparlagrillesansforcémentrespecterl’ordrequevousavezprévu

•  Peuimporte:l’entretienestsemi-directifceseral’enquêteurdeconduirel’entretiensanspourautantêtredirigiste.

•  Laisserlesujetexprimersesidéesmêmesiellesnesontpasdansl’ordredelagrille.L’enquêteurdoitveilleràcequetouslespointssoientabordés.

•  Nepassejustifierencoursd’entretien,attendrelafindel’entretienpourexpliqueràl’interviewer

ENTRETIEN:PASSATION

ENTRETIENVSQUESTIONNAIRE•  Généralités

•  Doitcomporteruneintroduction,•  Lastructurationrestelamêmeduplusglobalauplusprécis,•  Lesmodalitésdesréponsessontdéfinies,àl’exceptiondesquestionsouvertes,•  Lesvariablessociodémographiquessesituentàlafin.

•  Typesdequestions

•  Lesquestionsfermées(close-endedquestion):lesréponsesauxquestionssontfixées,iln’estpaspossiblederajouterdesmodalitésderéponses

•  Questionsnumériques•  Combiendevoiturespossédez-vous?

•  Lesquestionsemi-ouvertes(semi-openquestion):questionsprécodées,avecl’option"autre"quipermetd’ajouterdesitemsderéponse.

•  Quelssontvossportsfavoris:•  Courseàpied•  Ski•  Natation•  Autresprécisez

•  Lesquestionsouvertes(open-endedquestion):l’enquêtérépondlibrement,pasdepropositionsderéponsesapriori.

ENTRETIENVSQUESTIONNAIRE •  Réponseuniquesuruneéchellederéponse(scale):

•  EchelledeLikert(Likertscale)Lapersonneinterrogéeexprimesondegréd'accordoudedésaccordvis-à-visd'uneaffirmation.L'échellecontientengénéralcinqouseptchoixderéponsequipermettentdenuancerledegréd'accord.Pasdutoutd'accord,Pasd'accord,Niendésaccordnid'accord,D'accord,Toutàfaitd'accord.Pourleséchellesimpaires,leniveaucentralpermetden'exprimeraucunavis,tandisqueleséchellespaires(parexempleàquatremodalités)sontdites«àchoixforcé».(5)

•  Réponseàchoixmultiples(multiple-choicequestions):

•  Choixdeplusieursmodalitésderéponse:(exemplej’utilisemonportablepour1-Téléphoner2-EnvoyerdesSMS3-Pourtenirmonagenda,4-Pourmeréveiller,5-Autres)

•  Àopposerauxquestionsàchoixunique,pasdepossibilitéderajouterunemodalitéderéponse

•  Réponseavecunedemandedeclassement:

•  lesréponsessontordonnéesselonunepréférenceouunordred’importance.:•  PourleproduitXYZvousclasserezles3caractéristiquessuivantesenpartantdecevousconsidérezcommesonpoint

leplusfortverssonpointleplusfaible:•  Facilitéd’utilisation•  Fiabilitéd’utilisation•  Son prix

Traces•  Unguidedeproductiondestraces

-  Listedesvariablesutilespourl’analyse-  Temporelle:Timestamp,etnod’ordre-  Utilisateurs:Codeenseignant,apprenant,…-  Actionsavecl’outil:nomdel’action,…

-  Domainedevaliditédecesvariables-  Agecomprisentre18et25ans-  Heuredeconnexionentre14het18h

•  Rédigerquelquesquestionspourunguided’entretiensurvotrecas?

•  Rédigerquelquesquestionspourunquestionnaires?

•  Aprèscetravailsurlesguidesetlesquestionnaires,Notersurlespost-itlesautrestâchesàréaliserdanscettesecondeétape?

•  Commentsouhaiteriez-vousnommercetteétape?

Unevuesynthétique

•  Diagrammedesorchestrations

Composantn°1

Outilsactivablesconstruitset/ouévalueravecdes

utilisateurs

Composantn°2

Composantn°3

Explorer

Co-construire

Explorer

Evaluer

Co-construire

Processusd’évaluationlongitudinal,(Mandran,etal2019,EIAH)

•  Lesmesuresdelalittérature–  Utilisabilité(SUSBrooke)–  StudentcenteredLearning(Hannafin2012,Freeman2014)

•  Desspécifiques–  Satisfaction,attentes,pratiques

•  Desoutilsdemesures

•  Leprocessus

Source:SoumissionPrixPEPS2019,M.Plancheetal

•  Choisirlesméthodesdeproductiondesdonnées:20mn–  Formulaire5–  Choixdesméthodes–  Débriefing

•  Formulaire6:rédigerunprotocoleexpérimental:20mn–  Echange–  Débriefing

•  Orchestrationdesévaluations:

–  Remplirlediagramme–  Debriefing

•  PEL:10mn–  RemplirletableauduPEL–  Debriefing

•  Aprèscetravailsurlesguidesetlesquestionnaires,Notersurlespost-itlesautrestâchesàréaliserdanscettesecondeétape?

•  Commentsouhaiteriez-vousnommercetteétape?

•  3èmeétape

ANALYSEQUALITATIVEEntretien:Analysethématiquesimplifiée

MéthodeenSociologie:Retranscrirelesentretiens(1h=>6h)Apartirdelaproblématiqueetdelagrilled’entretien,créerunegrillethématique,Apartirdelaretranscriptiondesentretiens,identifierlesthèmesquicorrespondentàlaproblématiqueetaussilesthèmesquiémergentLesthèmessontlarges,ilconvientdecréerdessous-thèmesChacundessous-thèmesestillustrépardesverbatims(extraitsdudiscoursassociéaucodedusujetayantprononcédediscours)SynthèsepourchaquethèmeSynthèseglobale

Exemple

Thème«Utilisationdelatélévision»

Sous-thèmesde«utilisationdelatélévision»«utilisationclassique»«utilisationpourtéléchargerdesfilms»«utilisationpourvoirdesphotosavecdesamis»

Thèmenouveau«Utilisationquedel’ordinateur»

Verbatimdusous-thème«utilisationpourvoirdesphotosavecdesamis»«c’estpourvoirlesphotosquel’onenfaitentrepotes(S1)»

ANALYSEQUALITATIVEEntretien:Analysethématiquesimplifiée

MéthodeenSociologie:Retranscrirelesentretiens(1h=>6h)Apartirdelaproblématiqueetdelagrilled’entretien,créerunegrillethématique,Enécoutantlesentretiens,identifierlesthèmesquicorrespondentàlaproblématiqueetaussilesthèmesquiémergentLesthèmessontlarges,ilconvientdecréerdessous-thèmesChacundessous-thèmesestillustrépardesverbatims(extraitsdudiscoursassociéaucodedusujetayantprononcédediscours)SynthèsepourchaquethèmeSynthèseglobale

Exemple

Thème«Utilisationdelatélévision»

Sous-thèmesde«utilisationdelatélévision»«utilisationclassique»«utilisationpourtéléchargerdesfilms»«utilisationpourvoirdesphotosavecdesamis»

Thèmenouveau«Utilisationquedel’ordinateur»

Verbatimdusous-thème«utilisationpourvoirdesphotosavecdesamis»«c’estpourvoirlesphotosquel’onenfaitentrepotes(S1)»

ANALYSEQUALITATIVEEntretien:Analysethématiquesimplifiée

AutreExemple:

ANALYSEQUALITATIVESchémaCréerunegrilled’analysepoursavoircequidoitêtrerepérerparrapportàlaproblématiquePhotographierchacunedesproductionsRepérerlesressemblances/lesdifférencesentrelesreprésentationsRepérercequiconfirmelesobjectifsdel’étudeRepérerlesapportsdelareprésentationdessujetsparrapportàlapropositionVisionneretécouterlesfilmsConduireune«analysethématiquesimplifiée»

ANALYSEQUALITATIVEVideo

Créerunegrilled’analysepoursavoircequidoitêtrerepérerparrapportàlaproblématique.Utiliserdeslogicielsd’annotationsdevideoAnalyserlesannotations

StatistiquesdescriptivesExtractiondeverbatims

Faireunesynthèse

ANALYSEQUALITATIVEPointsfortsetPointsfaibles

Outil:Grillequilistelesélémentsrelatifsàunepropositionetquiàdeuxcolonnesunepournoterlespointsfortsetl’autrelespointsfaiblesRemarque:Outildeproductionpourunesituationexpérimentaleoùlenombredepersonnesestréduit.

Exemple:

ANALYSEQUALITATIVEPointsfortsetPointsfaibles

Méthode:Saisirl’ensembledesréponses:Ligne=participants,Colonnes=réponseauxquestions,2colonnesparéléments

ANALYSEQUALITATIVEPointsfortsetPointsfaibles

Méthode:Faireune«analysethématiquesimplifiée»etunesynthèse

ANALYSEQUANTITATIVE  Cycledeviedesdonnées=>importancedupré-traitement  Echantillon  Typedevariables=>quali/quanti/ordinales  Rôlesdesvariables=>explicativesetàexpliquer  Règlesdedécisionsurlechoixdelaméthode

ANALYSEQUANTITATIVE

VotreAnalyse??

ANALYSEQUANTITATIVE

Analysequantitative

VotreAnalyse??

Analysequantitative

Analysequantitative

VotreAnalyse??

•  Brainstorming•  EtAprès?Quefaire?•  Commentsouhaiteriezvousnommezcetteétape?

•  Quelsindicateursontétéutiles?

•  4èmeétape

•  Brainstorming•  EtAprès?Quefaire?•  Commentsouhaiteriezvousnommezcetteétape?

•  Quelsindicateursontétéutiles?