Upload
others
View
3
Download
0
Embed Size (px)
Citation preview
Méthodesdesuivietd’évaluationd’unprojetpédagogique
Capte-Lille–Université
N.Mandran(LIGGrenoble),M.Vermeulen(MinesDouai)Juillet2019
Pourcitercedocument:N.Mandran,M.Vermeulen.Juillet2019.«Méthodesdesuivietd’évaluationd’unprojetpédagogique».FormationréseauCAPTE,COMUELille.
Quisommesnous?
• NadineMandran– Statistiques,SHS,Démarchequalité– Ingénieurencadrantdesdoctorantssurlesméthodesdeproductionetanalysededonnées
– Spécialiséedanslesméthodesdeconduitedelarechercheeninformatiquecentréehumain-THEDRE
• MathieuVermeulen– ResponsablecelluleTICE– Spécialisédanslaconceptiondejeuxsérieuxcentréeutilisateurs– metadesign–
– CréateurdelaméthodeALPES,apprentissageparprojet
Objectifsdecesdeuxjours
• Suivre et Evaluer un projet avec des méthodesqualitativesetquantitativesaucoursdutemps.
• Concevoir votre méthode pour faire évoluer ledispositif pédagogique, les outils et latechnologieassociée,ledispositifd’évaluation.
Brainstorming
• Pourvous,dansvotrecontextedetravail,quesignifie suivre et évaluer un dispositifpédagogique?– Ecrireuneidéeparpost-it…
Nosconclusions… • Identifierpourquoiconduireuneévaluation• Identifierpourquiconduirecetteévaluation• Identifieravecquifairecetteévaluation• Identifierlesdispositifspédagogiquesàdisposition• Organiserceprocessusd’évaluation• Avoirdesméthodesdeproduction/collectededonnées• Avoirdesméthodesd’analysededonnées• Avoirdesindicateurs,desmesures‘étalonnées’etdoncdesmodèles
théoriques• Avoirdesguidesméthodologiques• Traceretcontrôlercequiestfaitetlesrésultats• Faireévoluerledispositifpédagogique,lesmesures,lesquestionsde
recherche
Evaluerpourquoi?Pourqui?
Fournirdesrésultatsauxdécideurs
Produiredesdonnéespourlarecherche
Améliorerledispositiftechnique
Améliorerledispositifpédagogique
MOBILISER
L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques
• Uncadragescientifiqueglobal,lessciencesdel’artificiel(H.Simon2004)– Unoutilquel’humainvapouvoirmobiliser:unEIAH,undispositifd’enseignement,…– Desconnaissancesscientifiquesbaséessurl’activitéhumaine:modèledel’apprenant,
modèledel’enseignant,modèlepédagogique,…
• HerbertA.Simon.2004.LesSciencesdel’artificiel(traductionJ.L.LemoigneÉd.rev.etcomplétéeed.).Folio,Paris.
7
Outilspourl’humain
Connaissancesscientifiques Etudierl’humain
Expérimenteravecl’humain
Recherche
PRODUIRE
Exemple1:
• Plateformepourl’apprentissagedessciencesexpérimentales– pourlesétudiantsdusupérieuretleslycéens.– unespacedetravailpartagépourdesprojetscollaboratifs,enseignantsetétudiants.
– cahierdelaboratoireenligneet/oucommesupportd'écriturecollaborativederapportsdeprojets.
Exemple1:
Modèled’activité
Laplateforme
Exemple2:simulateurTELEOS
10
Simulateurpourl’apprentissagedelachirurgiepercutanée:
L’outilactivableproduitparlarecherche
Exemple2:simulateurTeleos
11
SimulateurdechirurgieModèledel’apprenant Lesimulateur
Exemple2:simulateurTELEOS
12
Lebrashaptique:• Manipulation• Résistance• …
L’interface:• Terminologie• Fonctionnalités• …
L’outilactivableestdécomposableensous-parties
L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques
• Uncadragescientifiqueglobal,postureépistémologique• Constructivismepragmatique[Avenier&Thomas2015]
• Contribution:Incrémenterdesconnaissancesexistantes• Qualitéduconstruit:Adéquationdel’outilactivableauxactivitéshumaines• Miseàl’épreuve:Phaseexpérimentaleoùl’outilestconstruitetévalué• Multiplicitédesdonnées:Unelargediversitédesméthodesdeproduction
(qualitatifetquantitatif)etderaisonnement(abductif,déductifetinductif)• Fiabilitédesdonnées:Volumeetqualitédesdonnéessuivispardesindicateurs
L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques
• UncadrageplusspécifiquepourEducationetTechnologyEnhancedLearning• DesignBasedResearch(DBR)&TechnologyEnhancedLearning(WangetHannafin
2004)– 7propriétés:Pragmatique,Grounded,Interactive,Integrative,Itérative,
Flexible,Contextuelle– Associerlesutilisateurs,collaboreraveceux,mixerlesméthodesdeproduction
dedonnées,faireévoluerlaquestionderecherche,documenterletravaildeterrainetderecherche
– Maispasdeprocessusdéfini,nid’outildeguidage,nid’indicateur(Abdallah,M.,Wegerif2014)
• Unmodèledeconduitedelarechercheetdesguides• TraceableHumanExperimentDesignResearch(THEDRE)(Mandran2018)
– Pour• lesrecherchesquiproposentdesmodèlesdel’activitéhumaineenintégrantl’humain• desrecherchesquidéveloppentdesoutilsactivablessupportsàl’activitéhumaine
– +deTHEDREProcessusdeguidageetoutils• Avecunmodèledeprocessusdeconduitedelarechercheancrédansladémarche
qualitéetdesindicateursdetraçabilité(Plan,Do,Check,Act–cycledeDeming)• Desguidespouraccompagnerl’utilisateurdeTHEDRE
– +deTHEDREEvolution• Avecl’intégrationdeladémarchecentréeutilisateur3tâches:
– Observer,analyserl’activité,– Co-construireavecl’humain,– Evaluerledispositifavecl’humain
• Intégrationdetroisétatssurlesoutilsactivables– Dynamique:simulateurdechirurgie,sitewebs,…– Statique:listedemesurespourunDashboard,maquettenoninteractive,vidéo
supportàl’activitépédagogique– Pasencored’outils
15
L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques
• Unmodèledeconduitedelarechercheetdesguides• TraceableHumanExperimentDesignResearch(THEDRE)(Mandran2018)
– Pour• lesrecherchesquiproposentdesmodèlesdel’activitéhumaineenintégrantl’humain• desrecherchesquidéveloppentdesoutilsactivablessupportsàl’activitéhumaine
– +deTHEDREProcessusdeguidageetoutils• Avecunmodèledeprocessusdeconduitedelarechercheancrédansladémarche
qualitéetdesindicateursdetraçabilité(Plan,Do,Check,Act–cycledeDeming)• Desguidespouraccompagnerl’utilisateurdeTHEDRE
– +deTHEDREEvolution• Avecl’intégrationdeladémarchecentréeutilisateur3tâches:
– Observer,analyserl’activité,– Co-construireavecl’humain,– Evaluerledispositifavecl’humain
• Intégrationdetroisétatssurlesoutilsactivables– Dynamique:simulateurdechirurgie,sitewebs,…– Statique:listedemesurespourunDashboard,maquettenoninteractive,vidéo
supportàl’activitépédagogique– Pasencored’outils
16
L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques
• Démarchecentréeutilisateurs(NormeIso,Mandranetal2013)• 3tâches:
– Observer,analyserl’activité• Quand«aucune»connaissanceououtiln’estdisponible• Seréféreràdesétudesexistantespourcréerunoutild’observation
• Allersurleterrainobserver,recueillirtoutesinformationsoudocumentsutiles
– Co-construireavecl’humain,• Quanddesconnaissancesoudesoutilssontdisponiblesetquel’onveutlesco-construireaveclesutilisateurs
• Nécessitedecontinuerleurdéveloppement• Procéderparréuniondetravailcollaboratif,«interactivité»
– Evaluerledispositifavecl’humain• Quanddesoutilsouconnaissancessontsuffisammentaboutispourêtretestés
• Procéderpartestsutilisateursouanalysedetraces
17
L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques
• Troisétatsdel’outilactivable:utilisableparunhumain– Rienn’existe
• L’observationduterrainvapermettredecommenceràélaborerunoutil– Statique
• Unoutilexistemaisilestsousunformatnonnumérique.Exemples:undictionnaire,desmaquettespapier,…
– Dynamique• Quanddesoutilssontdisponiblessousformenumériques• Exemples:uneapplication,unsiteweb,unrobot,…
• Desoutilsdécomposables:découperl’outilencomposantsdemanièreàavoirdesobjetsd’étudesprécis
• Exempleunsiteweb:uneterminologie,desfonctionnalités,unepalettegraphique,…
18
L’ancragedenotrepropositiond’évaluationdedispositifspédagogiques
DashboardssurExempledecesnotions:• Objectif:créerdestableauxdesuividel’activitédesétudiants
– Identifierlesbonnesinformationspoursuivrel’activitédesétudiants– Représentercesinformations
Dashboardssur
T0 T1 T2 T3 T4
Dictionnairedesindicateurs
N’existepas Co-construire=>Listepapier(statique)V1
Co-construire=>listepapier(statique)V2
Co-construire=>listepapier(statique)V3
Représentation N’existepas
N’existepas
Co-construire(statique)=>maquetteV1
Co-construire(statique)=>maquetteV2
Evaluer=>prototype,dynamique
Dashboardssur
C.Vacher,C.D’Ham,LAbnBook,LIG/UGA,Juin2019
Ladéfinitiondesindicateurs
Lesdistributions:del’équipe,parmissionsparclasse
Lacollaboration
Dashboardssur
C.Vacher,C.D’Ham,LAbnBook,LIG/UGA,Juin2019
LadéfinitionLesdistributions:del’équipe,parmissionsparclasse
Lacollaboration
Lesreprésentationsvisuelles
Importancedecetancragepourlesévaluations
• Dedistinguerrechercheetterraintoutentenantcomptedeleurinterdépendance
• Intégrertouslesacteursdelamiseenœuvred’undispositifoud’unerecherche
• Connaissancesetoutilsactivables:Identifiercequiestmisenplace– modèlesthéoriques:pédagogiques,d’apprenants,d’enseignants,..– intentionsdesoutilspédagogiques– intentionsdessituationspédagogiques– aspectstechniquesdesoutilspédagogiques– aspectstechniquesdesoutilsnumériques
• Dedécouperlesoutilsàconstruireetàévaluerencomposantspourpréciserlesobjectifs
• Detracerletravailréaliseretainsirépondreauxdifférentsacteursduprojets:ingénieurspédagogiques,enseignants,apprenants,concepteurtechnique,chercheurs,décideurs,…pardesindicateurs/mesures…
IndicateursetMesures• Unindicateurrépondàunequestioncentrale,ouneprendunvéritablesensque
lorsqu’ilmesureunobjectifconcret.• Unindicateuraideàprendreunedécision,àsuivreunprojet.• Unindicateurestconstruitàpartird’uneouplusieursmesures• Unindicateurpeutprendreplusieursformes:visualisation,tableaux,valeurs,
intervalles,seuils,….• Lesmesuressontproduitessurleterrainavecdesméthodesdeproductionde
donnéesqualitativesouquantitatives.• Lamesureestassociéeàunoutildemesures,uneunité• Exemples:
– L’indicateurestlamoyenned’uneclassepourunenseignant,lesmesuressontlesnotesdesélèves.Domainedevalidité:intervallede1à20
– Lanoteestunindicateurpourl’élève,c’estaussilamesure.Unité:intervallede1à20– Indicateurdesatisfactiond’unoutil,lamesure:notededesatisfactiondesutilisateurs,
unitééchelledeLickert– Indicateurdeperformance:mesurederapiditéd’exécution,unitéletemps
• Indicateursd’activités• Cequiestfait,cesontdesactions• Fait/pasFait• Exemple:Créerledispositifd’enseignement,créerleprotocole
expérimental,lirelabiblio,• Indicateursdeproduction
• Cequiestproduit• Produit/nonproduit• Exemple:lesressourcespédagogiques,lesdonnéesexpérimentales,…
• Indicateursd’objectifs• Fixésaprioriavantledémarraged‘unprojetpoursavoirsileprojeta
atteintsonbut• SMART:Spécifique,Mesurable,Acceptable,Réaliste,Temporel• Exemple:Avoirsuiviledispositifsur2ans,Nombred’utilisateurs>1000
étudiants
IndicateursetMesures
-Indicateurpourlesuividutravailetdesobjectifs-Mesurepourlesévaluations
Cadragedesévaluations
CadrescientifiquespécifiqueDesignBasedResearch&
TechnologieEnhancedLearning
CadrescientifiquegénéralSciencedel’artificiel
ProcessusetGuidesTHEDREpourlaRICH
Constructivismepragmatique
Démarchequalité/traçabilité/indicateursDCU
Théorique
Méthodologique
Entrerdansce«monde»?
6guides1logigramme
1diagrammed’orchestration
CycledeDeming
• 1èreétape
• Formulaire1:30mn– Echange– Débriefing
• Formulaire2:30mn– Echange– Débriefing
• Formulaire3:20mn– Echange– Débriefing
• Formulaire4:30mn– Echange– Débriefing
• Notersurlespost-itlestâchesàréaliserdanscettepremièreétape?
• Notersurlespost-itlestâchesàréaliserdanscettepremièreétape?
• Commentaimeriezvousnommercetteétape?
• 2èmeEtape
Commentsuivreetévaluer?• Utilisateurs• Votreniveaudeconnaissancesurvotreutilisateur(inconnu,
connu)• Pourquoil’utilisateur:observer,co-construire,évaluer,..• Manièredejoindrecetutilisateur,lieu• Outilsactivablesmisàdisposition
– Pédagogiques– Numériques
• Eventuellementdescomposants(exempleduDashboards)• Etatdecesoutils:dynamique,statique,n’existepas• Temporalitédel’enseignementetlesmomentsdusuivioude
l’évaluation• Lesmesuresàprendreauprèsdesutilisateurs
Lesméthodesdeproductiondedonnées
• Quellessontcellesquevousconnaissez?
– Lesnotersurunpost-it
LesméthodesdeproductiondedonnéespourlesSHS
• Quellessontcellesquevousconnaissez?
– Lesnotersurunpost-it
• Lesclasser?Quellesdifférences?
MéthodedeproductionetanalysededonnéesQuaLitatives
• Pourquoi?Comprendre,Identifierdesphénomènes,Observerdesutilisateurs,..• Quand?Peudeconnaissancesurl’objetdel’étudeousurl’utilisateur• Qui?Desutilisateursauprofilsvariés,pourunmaximumdevariabilité• Comment?Desméthodesquivontprivilégierlanarration
– Entretienssemi-directifs:Faireexprimerunutilisateursurl’objetdel’étude– Observationinsitu:allersurleterrainetobservercequisepasse– Focus-group:réuniond’utilisateur,confrontationdesidées– Carnetdebords,socialprobes:l’utilisateurnotedesinformationsrelativesausujetdel’étude– Thinkaloud:Faireverbaliserpendantuneactivité– Auto-confrontation:vidéodel’activité,fairevisionneràl’utilisateuretlefaireverbalisersurces
actions• Données?Vidéo,audio,schéma,despost-it,carnetdebord,desannotations,des
documentsduterrain…• Commentlesanalyser?
– Analysethématique– Analysedudiscours– Analysetextuelle
J.C.Creswell,Qualitative,QuantitativeandmixedMethodsApproaches.ResearchDesign.SagePublication.2003PailleetMuchielli.L’analysequalitative,xxxStatistiquetextuelle,L.LebarterA.Salem,Dunod.1994JeanCopans,L’enquêteethnologiquedeterrain,ArlandColin,2011
MéthodedeproductiondedonnéesQuanTitatives
• Pourquoi?Quantifier,Evaluer,Testerdeshypothèses,quantifierdesrésultatsduquaLitatif• Quand?Onadesconnaissancessurl’objetd’étudeetl’utilisateur• Qui?Desutilisateurs«représentatifs»delapopulationàétudier,ouunrecensement«tousles
utilisateurs»• Comment?Desméthodesquivontprivilégierledénombrement
– Questionnaire– Questionnairebaromètre– Tracesd’activités– Testsutilisateurs
• Données?Fichiersdetypelignecolonne(IndividusstatistiquesxVariables),fichiersdetraces,… • Commentlesanalyser?
– Statistiquesdescriptives– Statistiquesinférentielles– Modélisation,Clustering,..– Visualisations
D.Ray,Mesureretdévelopperlasatisfactionclient.Editiond’organisationD.C.Howell.Méthodesstatistiquesenscienceshumainesetsociale.(versionfrançaise).EditiondeBoeck.G.Milliot.ComprendreetanalyserlestestsstatistiquesavecR.EditiondeBoeck.D.Grangé,L.Lebart.TraitementsstatistiquesdesenquêtesEditionDunod.
Qualitatif//Quantitatif
Commentsuivreetévaluer?• Utilisateurs• Votreniveaudeconnaissancesurvotreutilisateur(inconnu,
connu)• Pourquoil’utilisateur:observer,co-construire,évaluer,..• Manièredejoindrecetutilisateur,lieu• Outilsactivablesmisàdisposition
– Pédagogiques– Numériques
• Eventuellementdescomposants(exempleduDashboards)• Etatdecesoutils:dynamique,statique,n’existepas• Temporalitédel’enseignementetlesmomentsdusuivioude
l’évaluation• Lesmesuresàprendreauprèsdesutilisateurs
• Choisirlesméthodesdeproductiondesdonnées:20mn– Formulaire5– Logigramme:Choixdesméthodes– Débriefing
• Formulaire6:rédigerunprotocoleexpérimental:20mn– Echange– Débriefing
• Notersurlespost-itlestâchesàréaliserdanscettesecondeétape?
Mesureravecl’humain??
Avoirlebonoutilcommeenbiologie,chimie,mécanique,etc…
Mesureravecl’humain??
Avoirlebonoutilcommeenbiologie,chimie,mécanique,etc…
Guided’entretienQuestionnaireTraces
EtudierlespratiquesdesenseignantsavecdespédagogiesactivesetdesoutilsnumériquesEnseignement:L1,enBiologie,UEsciencesexpérimentales.Responsabled’UEveutintroduireunenouvelleplateformeexistanteLeresponsabled’UEestintéresséparlesméthodesStudentCenteredLearning(Freeman2014)
ENTRETIEN
ENTRETIENListerlesmesuresàprendre
• Pratiquesdespédagogiesactives• Avantages,inconvénientsdecespédagogies• Usagedunumériquedanslaclasse• Avantages,inconvénientsdunumérique• Perceptionaprioridelanouvelleplateforme• PerceptionsurlespédagogiesactivesStudentCentered
Learning(autonomie,collaboration,organisation,…)
OrganiseretordonnerlesmesurespargrandsthèmesPédagogiesactivesUsageduNumériqueMéthodeStudentCenteredLearningLanouvelleplateforme
GUIDED’ENTRETIEN
• C’estundocumentrédigé,quiesttesté• Lesquestionss’enchainent,pourarriveraupointessentieldel’entretien
• Faireuneintroduction,surlaraisondel’entretienetcommentilvasedérouler
• Ilfautprésenterausujetpourquoinousluiavonsdemanderdeparticiperàcetentretien• Enfaisantattentionànepasluidonnertropd’informationsqu’ilchercheraàvaliderpourvousfaireplaisirpendantl’entretien• luiindiquerlesétapesdel’entretien• Luidirequec’estvotrepropositionquiestévalueretpaslui• Luidired’exprimertoutcequ’ilaenviededireparrapportàlaproposition
• Duspontanéausuggéré• Laisserlibrecoursaudioscoursdelapersonnes• Siellenes’exprimepassurunsujetalorsluiposerlaquestion
• Lorsdelarédactiondelagrille:envisagertouslescasdefigures.• SilesujetaparlédelaméthodeStudentCentredLearning(peuprobable),s’ilparledelaisserautonomelesétudiants,… • Siellen’enapasparlé
• Leguidedoitcontenirlesremarquespourl’enquêteur• ENQUETEUR:Noterledéroulementducours• ENQUETEUR:Noterlesoutilsnumériquescités
• Leguidesetermineendemandantlescaractéristiquesdesparticipants• Annéedenaissance,vousêtesunhomme/unefemme,votreprofession,niveaud’étude,domained’activités,anciennetédansla
profession,votretyped’habitat,nombred’enfants…ettoutesinformationsutilespourrépondreàvosquestions.
GUIDED’ENTRETIEN
Lesdomainesqui sontabordéssontparfois complexespourceladeuxpossibilitésnonexclusives:Proposerdesconstatspourlancerl’entretienSelonladirective,XYZde2018,Lespédagogiesactivessontdeplusenplusprésentesdansl’enseignementsupérieur.Ellessontsouventutiliséesdansdescontextesdespécialistes.ProposerdesdéfinitionssurdestermesquinedoiventpasêtreambigusAujourd’hui,onentendbeaucoupparlerderéseauxsociaux.Dansnotreétude,ils’agitdesréseauxdetypefacebookoùchacunest librededéposerdes informationsqui leconcerneetde lespartageravecd’autrespersonnes. L’utilisateurde facebookpeutégalementcréerdesgroupesdepersonnesauxquels il réserveracertainstypesd’informations.
GUIDED’ENTRETIEN
• Rédactiondesquestions
• Lesquestionsdoiventpermettredesréponseslargesetouvertes:• Avezvousdéjàmisenplacedespédagogiesactives?• Dansquellescirconstancesavezvousmisenplacedes
pédagoguesactives?(oui)• Nejamaissuggérerderéponsesdanslesquestions
• Pensez-vousquecedispositifsoitutile?(non)• Quepensez-vousdecedispositif?(oui)
• Faireunpilote,untestavecunepersonnepouridentifiersilesquestionssontcomprisesetsil’ordredesquestionsestsuffisammentfluide.
• Connaîtresonguided’entretien,àpartirde3ou4passations,onleconnait• Prévoirunenregistrementdesentretiens,demanderl’accordaumoinsoralaux
personnes• Prendredesnotesetlaissers’installerdessilences• Lorsdelapassationdel’entretien,l’interviewépeutparfoisaborderles
différentsélémentsprévusparlagrillesansforcémentrespecterl’ordrequevousavezprévu
• Peuimporte:l’entretienestsemi-directifceseral’enquêteurdeconduirel’entretiensanspourautantêtredirigiste.
• Laisserlesujetexprimersesidéesmêmesiellesnesontpasdansl’ordredelagrille.L’enquêteurdoitveilleràcequetouslespointssoientabordés.
• Nepassejustifierencoursd’entretien,attendrelafindel’entretienpourexpliqueràl’interviewer
ENTRETIEN:PASSATION
ENTRETIENVSQUESTIONNAIRE• Généralités
• Doitcomporteruneintroduction,• Lastructurationrestelamêmeduplusglobalauplusprécis,• Lesmodalitésdesréponsessontdéfinies,àl’exceptiondesquestionsouvertes,• Lesvariablessociodémographiquessesituentàlafin.
• Typesdequestions
• Lesquestionsfermées(close-endedquestion):lesréponsesauxquestionssontfixées,iln’estpaspossiblederajouterdesmodalitésderéponses
• Questionsnumériques• Combiendevoiturespossédez-vous?
• Lesquestionsemi-ouvertes(semi-openquestion):questionsprécodées,avecl’option"autre"quipermetd’ajouterdesitemsderéponse.
• Quelssontvossportsfavoris:• Courseàpied• Ski• Natation• Autresprécisez
• Lesquestionsouvertes(open-endedquestion):l’enquêtérépondlibrement,pasdepropositionsderéponsesapriori.
ENTRETIENVSQUESTIONNAIRE • Réponseuniquesuruneéchellederéponse(scale):
• EchelledeLikert(Likertscale)Lapersonneinterrogéeexprimesondegréd'accordoudedésaccordvis-à-visd'uneaffirmation.L'échellecontientengénéralcinqouseptchoixderéponsequipermettentdenuancerledegréd'accord.Pasdutoutd'accord,Pasd'accord,Niendésaccordnid'accord,D'accord,Toutàfaitd'accord.Pourleséchellesimpaires,leniveaucentralpermetden'exprimeraucunavis,tandisqueleséchellespaires(parexempleàquatremodalités)sontdites«àchoixforcé».(5)
• Réponseàchoixmultiples(multiple-choicequestions):
• Choixdeplusieursmodalitésderéponse:(exemplej’utilisemonportablepour1-Téléphoner2-EnvoyerdesSMS3-Pourtenirmonagenda,4-Pourmeréveiller,5-Autres)
• Àopposerauxquestionsàchoixunique,pasdepossibilitéderajouterunemodalitéderéponse
• Réponseavecunedemandedeclassement:
• lesréponsessontordonnéesselonunepréférenceouunordred’importance.:• PourleproduitXYZvousclasserezles3caractéristiquessuivantesenpartantdecevousconsidérezcommesonpoint
leplusfortverssonpointleplusfaible:• Facilitéd’utilisation• Fiabilitéd’utilisation• Son prix
Traces• Unguidedeproductiondestraces
- Listedesvariablesutilespourl’analyse- Temporelle:Timestamp,etnod’ordre- Utilisateurs:Codeenseignant,apprenant,…- Actionsavecl’outil:nomdel’action,…
- Domainedevaliditédecesvariables- Agecomprisentre18et25ans- Heuredeconnexionentre14het18h
• Rédigerquelquesquestionspourunguided’entretiensurvotrecas?
• Rédigerquelquesquestionspourunquestionnaires?
• Aprèscetravailsurlesguidesetlesquestionnaires,Notersurlespost-itlesautrestâchesàréaliserdanscettesecondeétape?
• Commentsouhaiteriez-vousnommercetteétape?
Unevuesynthétique
• Diagrammedesorchestrations
Composantn°1
Outilsactivablesconstruitset/ouévalueravecdes
utilisateurs
Composantn°2
Composantn°3
Explorer
Co-construire
Explorer
Evaluer
Co-construire
Processusd’évaluationlongitudinal,(Mandran,etal2019,EIAH)
• Lesmesuresdelalittérature– Utilisabilité(SUSBrooke)– StudentcenteredLearning(Hannafin2012,Freeman2014)
• Desspécifiques– Satisfaction,attentes,pratiques
• Desoutilsdemesures
• Leprocessus
Source:SoumissionPrixPEPS2019,M.Plancheetal
• Choisirlesméthodesdeproductiondesdonnées:20mn– Formulaire5– Choixdesméthodes– Débriefing
• Formulaire6:rédigerunprotocoleexpérimental:20mn– Echange– Débriefing
• Orchestrationdesévaluations:
– Remplirlediagramme– Debriefing
• PEL:10mn– RemplirletableauduPEL– Debriefing
• Aprèscetravailsurlesguidesetlesquestionnaires,Notersurlespost-itlesautrestâchesàréaliserdanscettesecondeétape?
• Commentsouhaiteriez-vousnommercetteétape?
• 3èmeétape
ANALYSEQUALITATIVEEntretien:Analysethématiquesimplifiée
MéthodeenSociologie:Retranscrirelesentretiens(1h=>6h)Apartirdelaproblématiqueetdelagrilled’entretien,créerunegrillethématique,Apartirdelaretranscriptiondesentretiens,identifierlesthèmesquicorrespondentàlaproblématiqueetaussilesthèmesquiémergentLesthèmessontlarges,ilconvientdecréerdessous-thèmesChacundessous-thèmesestillustrépardesverbatims(extraitsdudiscoursassociéaucodedusujetayantprononcédediscours)SynthèsepourchaquethèmeSynthèseglobale
Exemple
Thème«Utilisationdelatélévision»
Sous-thèmesde«utilisationdelatélévision»«utilisationclassique»«utilisationpourtéléchargerdesfilms»«utilisationpourvoirdesphotosavecdesamis»
Thèmenouveau«Utilisationquedel’ordinateur»
Verbatimdusous-thème«utilisationpourvoirdesphotosavecdesamis»«c’estpourvoirlesphotosquel’onenfaitentrepotes(S1)»
ANALYSEQUALITATIVEEntretien:Analysethématiquesimplifiée
MéthodeenSociologie:Retranscrirelesentretiens(1h=>6h)Apartirdelaproblématiqueetdelagrilled’entretien,créerunegrillethématique,Enécoutantlesentretiens,identifierlesthèmesquicorrespondentàlaproblématiqueetaussilesthèmesquiémergentLesthèmessontlarges,ilconvientdecréerdessous-thèmesChacundessous-thèmesestillustrépardesverbatims(extraitsdudiscoursassociéaucodedusujetayantprononcédediscours)SynthèsepourchaquethèmeSynthèseglobale
Exemple
Thème«Utilisationdelatélévision»
Sous-thèmesde«utilisationdelatélévision»«utilisationclassique»«utilisationpourtéléchargerdesfilms»«utilisationpourvoirdesphotosavecdesamis»
Thèmenouveau«Utilisationquedel’ordinateur»
Verbatimdusous-thème«utilisationpourvoirdesphotosavecdesamis»«c’estpourvoirlesphotosquel’onenfaitentrepotes(S1)»
ANALYSEQUALITATIVEEntretien:Analysethématiquesimplifiée
AutreExemple:
ANALYSEQUALITATIVESchémaCréerunegrilled’analysepoursavoircequidoitêtrerepérerparrapportàlaproblématiquePhotographierchacunedesproductionsRepérerlesressemblances/lesdifférencesentrelesreprésentationsRepérercequiconfirmelesobjectifsdel’étudeRepérerlesapportsdelareprésentationdessujetsparrapportàlapropositionVisionneretécouterlesfilmsConduireune«analysethématiquesimplifiée»
ANALYSEQUALITATIVEVideo
Créerunegrilled’analysepoursavoircequidoitêtrerepérerparrapportàlaproblématique.Utiliserdeslogicielsd’annotationsdevideoAnalyserlesannotations
StatistiquesdescriptivesExtractiondeverbatims
Faireunesynthèse
ANALYSEQUALITATIVEPointsfortsetPointsfaibles
Outil:Grillequilistelesélémentsrelatifsàunepropositionetquiàdeuxcolonnesunepournoterlespointsfortsetl’autrelespointsfaiblesRemarque:Outildeproductionpourunesituationexpérimentaleoùlenombredepersonnesestréduit.
Exemple:
ANALYSEQUALITATIVEPointsfortsetPointsfaibles
Méthode:Saisirl’ensembledesréponses:Ligne=participants,Colonnes=réponseauxquestions,2colonnesparéléments
ANALYSEQUALITATIVEPointsfortsetPointsfaibles
Méthode:Faireune«analysethématiquesimplifiée»etunesynthèse
ANALYSEQUANTITATIVE Cycledeviedesdonnées=>importancedupré-traitement Echantillon Typedevariables=>quali/quanti/ordinales Rôlesdesvariables=>explicativesetàexpliquer Règlesdedécisionsurlechoixdelaméthode
ANALYSEQUANTITATIVE
VotreAnalyse??
ANALYSEQUANTITATIVE
Analysequantitative
VotreAnalyse??
Analysequantitative
Analysequantitative
VotreAnalyse??
• Brainstorming• EtAprès?Quefaire?• Commentsouhaiteriezvousnommezcetteétape?
• Quelsindicateursontétéutiles?
• 4èmeétape
• Brainstorming• EtAprès?Quefaire?• Commentsouhaiteriezvousnommezcetteétape?
• Quelsindicateursontétéutiles?