1

2

REVUE DU PROCESSUS D’EXAMEN PAR LES PAIRS DES IRSC

11 AVRIL 2006

4www.ulaval.ca

DÉMARCHE DE LA CONSULTATION

• SONDAGE• Consultation auprès des chercheurs en santé de l’Université Laval • 108 répondants (sur 408 questionnaires transmis)

• 2 RENCONTRES DE RÉFLEXION• 16 membres de comités des pairs des IRSC ont participé à l’une ou l’autre des deux rencontres

• Production d’un document résumant les commentaires et suggestions issus de ce processus de consultation

5www.ulaval.ca

RECOMMENDATION GÉNÉRALE

Le système d’évaluation par les pairs, bien qu’imparfait, demeure le meilleur disponible et il doit être maintenu.

6www.ulaval.ca

RECOMMANDATION #1MARGE DE RÉVISION DE LA COTE ACCORDÉE

• Que la marge de révision soit revue à la baisse et soit établie à + ou – 0,2 (ou 0,1) lorsqu’il y a consensus (i.e. lorsque les 2 évaluateurs internes s’entendent sur une cote commune), ce qui en réduirait l’impact.

• Que la marge de révision à + ou – 0,5 soit utilisée uniquement lorsqu’il n’y a pas consensus, c’est-à dire lorsque les 2 évaluateurs internes n’arrivent pas à s’entendre sur une cote commune ou qu’un écart (seuil minimal à définir) demeure entre les cotes suggérées par les 2 internes.

7www.ulaval.ca

RECOMMANDATION #2COMMENTAIRES DES ÉVALUATEURS EXTERNES

• Que les IRSC mettent en place un processus strict permettant que si l’expertise requise à l’évaluation n’est pas présente au sein du comité, on fasse appel à des évaluateurs additionnels (membres ad hoc) dont l’expertise est jugée nécessaire.

• Ces évaluateurs participeraient donc aux discussions du comité sur certains dossiers, au même titre que les évaluateurs internes. Leur participation pourrait se concrétiser par une présence virtuelle, par exemple, par voie de conférence téléphonique.

• Ils agiraient alors à titre de membre ad hoc plutôt que d’évaluateurs externes.

8www.ulaval.ca

RECOMMANDATION #3ÉVALUATION RÉPÉTÉE D’UNE MÊME DEMANDE

• Que les IRSC améliorent la gestion des resoumissions de façon à assurer une meilleure continuité dans les évaluations.

• Sans arriver à un consensus, le groupe considère que les propositions suivantes sont intéressantes et qu’elles méritent d’être étudiées par les IRSC, soit…

9www.ulaval.ca

ÉVALUATION RÉPÉTÉE D’UNE MÊME DEMANDE (suite)

1. Que l’on s’assure que les demandes redéposées soient examinées par au moins un évaluateur ayant déjà procédé à l’examen du dossier. Dans le cas où le mandat de ces évaluateurs serait complété, ceux-ci pourraient alors agir à titre d’évaluateurs externes ou à titre d’évaluateurs ad hoc (voir ci-dessus) pour ces seuls dossiers.

2. Que l’on isole les projets bien cotés mais non financés et qu’un concours spécifique leur soit dédié.

10www.ulaval.ca

ÉVALUATION RÉPÉTÉE D’UNE MÊME DEMANDE (suite)

3. Que l’on mette en place un processus d’approbation conditionnelle où une demande pourrait faire l’objet d’un questionnement spécifique auprès du demandeur avant que la cote finale ne soit attribuée. Ce processus s’appliquerait aux demandes dont la cote potentielle serait légèrement inférieure à la « cote de passage », ou à un pourcentage déterminé de demandes par comité. Il est noté que ce processus est déjà utilisé avec succès dans le comité des essais cliniques.

11www.ulaval.ca

ÉVALUATION RÉPÉTÉE D’UNE MÊME DEMANDE (suite)

4. Que l’Officier scientifique et le président aient en mains les évaluations précédentes et que l’Officier scientifique rende compte, lors de la rencontre du comité, de l’évaluation précédente de la demande.

12www.ulaval.ca

RECOMMANDATION #4 FRÉQUENCE DES CONCOURS DE SUBVENTION DE FONCTIONNEMENT

• Maintenir deux concours par année ouverts à tous, tel que le permet le système actuel. Cette recommandation respecte l’opinion émise par la majorité des répondants au sondage.

• La possibilité d’avoir un processus « accéléré » réservé aux resoumissions, sans faire consensus, mérite d’être mieux étudiée.

13www.ulaval.ca

RECOMMANDATION #5 CONSTITUTION DES COMITÉS DE PAIRS

• Que la participation d’experts internationaux au sein des comités soit fortement considérée particulièrement dans le cas d’évaluation de demandes non standards (demandes interdiscipli-naires, multi-domaines et demandes où les principaux experts canadiens font partie de la demande de financement).

• Si les experts internationaux ne peuvent pas être présents à la réunion, nous recommandons qu’ils soient considérés au même titre que les évaluateurs internes (voir recommandation 2).

14www.ulaval.ca

RECOMMANDATION #5 CONSTITUTION DES COMITÉS DE PAIRS

• S’assurer que la représentation des francophones en tant que membres internes des comités permette une évaluation juste et équitable des demandes rédigées en français.

15www.ulaval.ca

RECOMMANDATION #6 Initiatives stratégiques (appels de demandes) Examen de la pertinence des projets

• Que les Instituts décrivent plus clairement les priorités dans l’appel de demandes.

• Que la pertinence du projet soit évaluée sur la base d’une lettre d’intention présentée à un comité de pertinence de la direction de l’Institut.

16www.ulaval.ca

RECOMMANDATION #7 Représentation du public et des acteurs de la recherche en santé sur les comités d’évaluation

• Que les représentants du public soient invités à titre d’observateurs, avec possibilité d’interventions, mais sans droit de vote.

• Que la représentation du public soit liée au type de demande ou au domaine d’intervention et qu’elle ne soit pas systématique à tous les comités mais ciblée à certains comités suite à une évaluation de pertinence.

17www.ulaval.ca

RECOMMANDATION #8 Valorisation et appui aux jeunes chercheurs

• Aucune proposition n’a été retenue puisque le consensus n’a pas été atteint quant aux propositions discutées, en partie parce que le comité ne disposait pas de donnés objectives démontrant si les jeunes chercheurs sont ou ne sont pas défavorisés par le système d’évaluation actuel.

• Les avis sont divergents. Les membres du groupe de discussion sont sensibles à la situation et aux besoins particuliers des jeunes chercheurs mais plusieurs croient que les nouveaux chercheurs sont traités équitablement et qu’ils ne sont nullement pénalisés par le système actuel.

18www.ulaval.ca

AUTRES PISTES DE RÉFLEXION

• Comment réduire la charge de travail pour les évaluateurs ?

• La longueur des demandes devrait-elle être réduite ainsi que la quantité d’annexes ?

• Tous ces documents (en particulier les annexes sur les projets financés) sont-ils réellement nécessaires à l’évaluation ?

19www.ulaval.ca

AUTRES PISTES DE RÉFLEXION (suite)

• Révision du budget par le comité : quelles devraient-elles être les règles de révision du budget et comment éviter que cet exercice ne devienne « aléatoire » ? La pratique varie beaucoup de comité en comité. Comment standardiser l’examen du budget par le comité ? Comment s’assurer que le montant accordé, s’il est réduit, n’entrave pas la réalisation du projet et ne compromette pas sa faisabilité ?

20www.ulaval.ca

MERCI DE VOTRE ATTENTION!

REVUE DU PROCESSUS D’EXAMEN PAR LES PAIRS DES IRSC

11 AVRIL 2006

22www.ulaval.ca

RÉSULTATS DU SONDAGE

23www.ulaval.ca

DÉMARCHE DE LA CONSULTATION

• SONDAGE• Consultation auprès des chercheurs en santé de l’Université Laval • 108 répondants (sur 408 questionnaires transmis)

• 2 RENCONTRES DE RÉFLEXION• 16 membres de comités des pairs des IRSC ont participé à l’une ou l’autre des deux rencontres

• Production d’un document résumant les commentaires et suggestions issus de ce processus de consultation

24

1. Selon vous, l’examen par les pairs des IRSC est un système d’évaluation…

18%

55%

23%

4%

0%

20%

40%

60%

80%

Très satisfaisant Plutôt satisfaisantPlutôt insatisfaisant Très insatisfaisant

25

2. Le nombre de comités de pairs depuis 2000 est passé de 25 à 49 en 2004-2005. La sélection d’un comité de pairs pour l’évaluation de votre demande est-

elle...

13%

60%

23%

4%

0%

20%

40%

60%

80%

Très facile Plutôt facilePlutôt difficile Très difficile

26

3. Considérez-vous que la liste des comités de pairs actuelle satisfait les besoins de votre domaine de

recherche de façon…

22%

55%

19%

4%

0%

20%

40%

60%

80%

Très appropriée Plutôt appropriéePlutôt inappropriée Très inappropriée

27

4. Les IRSC se sont engagés à améliorer la représentation du public et des acteurs de la

recherche en santé sur les comités d’évaluation à titre d’évaluateurs sur les comités. Considérez-

vous cette mesure…

19%

32% 33%

13%

4%

0%

20%

40%

60%

Très appropriée Plutôt appropriéePlutôt inappropriée Très inappropriéePas d'opinion

28

5. Dans les concours ouverts, une nouvelle méthode de répartition des subventions (100:0) entre les comités est en vigueur depuis septembre 2005.

Cette méthode consiste à (…) Estimez-vous la nouvelle méthode (100:0) …

27%30%

15%

4%

13%

0%

20%

40%

60%

Très appropriée Plutôt appropriéePlutôt inappropriée Très inappropriéePas d'opinion

29

6. Si vous avez présenté une demande de subvention au concours de septembre 2005, considérez-vous

que la nouvelle méthode de transmission électronique de votre évaluation par le comité de pairs est …

32%

20%

1% 0%

47%

0%

20%

40%

60%

Très satisfaisant Plutôt satisfaisantPlutôt insatisfaisant Très insatisfaisantNe s'applique pas

30

7. Selon vous, les commentaires des comités de pairs transmis suite à une demande de financement sont

habituellement…

10%

68%

17%

5%

0%

20%

40%

60%

80%

Très appropriés Plutôt appropriésPlutôt inappropriés Très inappropriés

31

8. Dans le cadre des initiatives stratégiques (appels de demandes), les IRSC veulent mettre en œuvre un processus

transparent, simple et uniforme d’examen de la pertinence des projets…Une demande… ne recevra pas de financement, ou

pourrait ne pas être admise à l’étape d’examen par les pairs si l’on constate qu’elle n’est pas pertinente aux intérêts stratégiques sans égard au potentiel de recherche qu’elle

représente. Considérez-vous cette mesure…

27%

35%

23%

15%

0%

20%

40%

60%

Très appropriée Plutôt appropriée

Plutôt inappropriée Très inappropriée

32

9. Concernant les concours ouverts de subventions de fonctionnement, est-il judicieux de conserver 2

concours par année compte tenu du taux de succès et du temps de rédaction requis ? devrait-on revenir à un

concours par année avec un taux de succès 2 fois plus élevé ?

36%

64%

0%

20%

40%

60%

80%

1 concours par année

2 concours par année

33www.ulaval.ca

RECOMMENDATION GÉNÉRALE

Le système d’évaluation par les pairs, bien qu’imparfait, demeure le meilleur disponible et il doit être maintenu.

34www.ulaval.ca

REMERCIEMENTS

• Merci à tous les participants

• Michèle Clavet• Louise Laperrière• Marielle Morissette

35

36

37

38

39