L'évaluation est l'ennemie du doute : trois expérimentations

Embed Size (px)

DESCRIPTION

Support de formation utilisé dans le cadre de la formation "Évaluer les services sur place et à distance" - Enssib 2-3 avril 2012

Citation preview

  • 1. valuer les usages sur place et distanceEnssib3 avril 2011Lvaluation estlennemie du doutetrois exprimentationsnicolas alarcon

2. 3 }exprimentationsdoutesplans dvaluationmthodesrsultatsconclusions 3. doute #1que peuvent bienfaire nos usagersdes liseuses quenous leur prtons ? 4. contexte 5. contexteLancement de la liseuseSony PRS-505 6. contextehttp://www.digitimes.com/news/a20100324PR204.html2008 renouveau des e-readers 7. contexte local20 livrels achets et prts 8. contexte localprchargs et ouverts 9. contexte localConditions de prt les plus avantageuses 10. contexte locallimination de toutes les barrires leur utilisation 11. contexte localLa communication, moteur du service 12. Plan dvaluationvaluation en 2 phases 13. Plan dvaluationmix mthodologique ax sur le qualitatif 14. Plan dvaluationanalyse statistique des prts 15. Plan dvaluationenqute qualitative sur les reprsentations des usagers 16. Rpartition des prts de liseuses par moismars 08 - mars 10 rsultats25 Hors personnel BU Linear regression for Hors personnel BU Avec personnel BU Linear regression for Avec personnel BU Analyse stat201510 5 0 avril 08juin 08 sept 08nov 08janv 09mars 09 mai 09 juillet 09oct 09dc 09 fvrier 10mars 08 mai 08 juillet 08oct 08dc 08 fvrier 09avril 09juin 09 sept 09nov 09janv 10mars 10 17. Rpartion des prts de livrel par statut demprunteurs (avec personnel BU) mars 08- mars 10rsultats Concours IUFM Enseignant universit 0,4% 8,0% Etudiant - niveau D 8,4%Personnel de luniversit37,8%Etudiant - niveau L15,5% Extrieur payantEtudiant - niveau M6,3%21,0%Extrieur exonr 2,5% 18. mthodeInterroger les reprsentations = focus group 19. mthodeProblmatique + hypothses 20. mthodegrille dentretien 21. mthode3 groupes homognes de 6 participants 22. mthoderecrutement parmi les emprunteurs 23. mthodesoigner la prparation 24. rsultatsRetours sur le dispositif plutt positifs 25. rsultatsFort attachement lcosystme du livre papier 26. rsultatsAttentes vis vis de la BU pour laccompagnement dans les contenus 27. chec1. Projet de service trop flou pour une valuation efficace 28. chec2. Appareil dj obsolte au moment de lenqute 29. chec3. Intgration trop faible dans lenvironnement institutionnel 30. doute #2nous largissons noshoraires douverturemais les usagers seront-ils aurendez-vous ? 31. contextePression des tutelles 32. contextePression des publics 33. contexte60h 72h 84h 34. contexteattention dossier sensible 35. Plan dvaluationphase qualitative Interroger les acteurs de louverture 36. Plan dvaluationphase qualitative Interroger les acteurs de louverture moniteurs-tudiants 37. Plan dvaluationphase qualitative Interroger les acteurs de louverture moniteurs-tudiants usagers 38. Plan dvaluationphase quantitative Frquentation = flux 39. Plan dvaluationphase quantitative Frquentation = flux Circulation = activits 40. Plan dvaluationphase quantitative Frquentation = flux Circulation = activits Occupation = prsence 41. mthodesemaine test 42. mthodetre dans la norme 43. mthodetaux doccupation des places assises 44. Progression des transactions la BdP (priode haute) rsultats100%80%STS : 18h-22h = 19 %BB : 18h-20h = 13 %60%40% STS lundi-jeudi STS : 8h30-9h = 1,7 % STS vendredi20%BB : 8h30-9h = 2,3 %BB Lundi-jeudi BB vendredi 0%-20%08h30-9h09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h 20h-21h 21h-22h 45. STS - volution du taux doccupation (lundi au vendredi)80%rsultats priode haute 2010-2011 priode basse 2010-2011 priode haute 2009-201070%priode basse 2009-201060%50%40%30%20%10%0%08h30-9h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h20h-21h21h-22h 22h-22h30 46. STS - volution de loccupation moyenneen valeur absolue (lundi au vendredi)rsultats500 priode haute 2010-2011 priode basse 2010-2011450priode haute 2009-2010 priode basse 2009-201040035030025020015010050 008h30-9h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h 20h-21h21h-22h 22h-22h30 47. BB - volution de taux doccupation (lundi-vendredi) rsultats45.0%priode haute 2010-2011priode basse 2010-2011priode haute 2009-201040.0% priode basse 2009-201035.0%30.0%25.0%20.0%15.0%10.0%5.0%0.0%08h30-09h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h18h-19h19h-20h 48. BB - volution de loccupation moyenne en valeur absoluersultats500priode haute 2010-2011priode basse 2010-2011priode haute 2009-2010450priode basse 2009-201040035030025020015010050008h30-09h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h 49. succs1. Mfiez vous des recueils de donnes chiffres (automatiques ou humains) 50. succs2. Enqute qualitative tronque 51. succs3. La mesure la plus vidente nest pas la plus pertinente 52. succs4. Le taux doccupation devrait tre mesur dans toutes les BU 53. doutedoute #3nos usagers sauront-ils se retrouver dans le nouvel cosystmedocumentaire de laBU ? 54. contexteNouveau site web 55. contexteCatalogue de nouvelle gnration 56. contexteMoteur de recherche fdre 57. contexteRsolveur de lien 58. Plan dvaluationTests dutilisabilit 59. Plan dvaluationCheminement voix haute 60. Plan dvaluationquestionnaire 61. Plan dvaluationFocus group 62. mthodeTestdutilisabilit 63. le premier objectif mthode est damliorer lutilisabilit du produitTestdutilisabilit 64. le premier objectifles participants mthode est damliorer sont de vrais lutilisabilit du utilisateurs produitTestdutilisabilit 65. le premier objectifles participants mthode est damliorer sont de vrais lutilisabilit du utilisateurs produitles participantsTestfont de vraisdutilisabilitactivits 66. le premier objectifles participants mthode est damliorer sont de vrais lutilisabilit du utilisateurs produitobservez et les participants enregistrez ce Testfont de vraisque font et disentdutilisabilitactivits les utilisateurs 67. le premier objectifles participants mthode est damliorer sont de vrais lutilisabilit du utilisateurs produitobservez et les participants enregistrez ce Testfont de vraisque font et disentdutilisabilitactivits les utilisateurs analysez les donnes,diagnostiquez les problmes recommandez lesmodifications 68. mthode Dmarrer unnouveau testDfinir 3 5 Modifier le siteactivits Cycletester Itration Choisir 3 5 Observer lesproblmes participantsfacile raliser lescorriger activitsStephen Francoeurmars 2012 69. mthodeNombre de testeurs : 12 70. mthodedure de la priode de test : 2 3 semaines 71. mthodelogiciel denregistrement : dfinir 72. mthodelogiciel de codage : excel 73. mthodenombre dactions tester : 10 12 74. en conclusion chaque doute, son valuation chaque valuation, sa (ses) mthode(s) 75. en conclusionformez-vousauto-formez-vouslancez-vous 76. en conclusionracontez-nous 77. Mercide [email protected]_AsLiCC by - nc - sa www.slideshare.net/alarcon 78. Crdits photos CC Diapo 1 : 2008-08-06-002/ Alex//Berlin_Alexandre Stubner/ by-saDiapo 2 : Avioncitos / josemanuelerre / by-nd Diapo 3 : One / Andrechinn / byDiapo 4 : Mrs. Duffee Seated on a Striped Sofa / Mike Licht NotionsCapital.com / byDiapo 5 : Welcome 2008/ ^riza^/ byDiapo 6 : Sexier than a librarian / ATIS547 / by-nc-saDiapo 9 : Cybook in Bright Sunlight / preetamrai / byDiapo 13 : Nevermind me / The Hamster Factor / by-nc-ndDiapo 19 : Nook Storytelling a new way 2 of 2 / Orbmiser / by-nc-ndDiapo 25 : Difficult meeting / Simon Blackley / by-ndDiapo 28 : Bob Dylan "Subterranean Homesick Blues." Diapo 31 : Number 2 / Daniel*1977 / by-nc-saDiapo 33 : OPEN 24 hours / larskflem / by-nc Diapo 37 : Harold B. Lee Library / jpstanley / by-nc-saDiapo 40 : Untitled/ Strawberryletter23/ by-nc-ndDiapo 51 : Whats the time /Monkeyc.net / by-nc-saDiapo 55 : Three 238/365 / Foshydog / by-nc-ndDiapo 56 : Apple II / Sam Howzit / by Diapo 57 : books / Telmo32 / by-nd Diapo 61 : Elmo (#16044) / Mark Sebastian / by-sa Diapo 65 : Observation room / (nz)dave / by-nc-nd Diapo 72 : Library Computer / clover_1 / by-ncDiapo 77 : Wheres Wally / Vvillamon / by-sa Diapo 80 : El Buscador / Ignacio Conejo / by-nc-sa