Embed Size (px)
Citation preview
LES INDICATEURS DE LA RECHERCHE
UNIVERSITAIRE
Benoît GODIN
Professeur, INRS
Rapport présenté àl’ADARUQ et à la CREPUQ
Mai 1997
2
Introduction
Dans le cadre du dernier Congrès annuel (1996) de l’Association des
Administrateurs de Recherche Universitaire du Québec (ADARUQ), un atelier
sur les indicateurs de performance et de rendement de la recherche a été tenu
auquel ont assisté une quarantaine de personnes. Au terme d’une journée de
discussions, on y faisait les constats suivants :
- les gouvernements exigent de plus en plus des mesures de la productivité et
de la contribution socio-économique de la recherche, et plusieurs d’entre eux
sont même déjà en train de définir de telles mesures,
- l’état de l’art en ces matières est cependant encore au stade de l’émergence.
Certes, de nombreux indicateurs existent, mais ceux-ci couvrent encore très
mal les différentes missions des universités et les multiples activités des
chercheurs.
Munis de ces constats, l’atelier a proposé à l’Assemblée générale de l’ADARUQ
la mise sur pied d’un groupe de travail sur les indicateurs de la recherche
universitaire dont le mandat serait le suivant :
Développer les indicateurs de recherche qui apparaissent les plus
pertinents pour mesurer la performance des universités en cette
matière, en s’assurant que ces indicateurs soient mesurables et
qu’ils tiennent compte des missions respectives et/ou spécifiques
des universités.
L’ADARUQ a accepté le principe d’un tel groupe de travail. Il a été convenu que
ledit groupe serait placé sous la supervision d’un comité aviseur de la
Conférence des Recteurs et Principaux des Universités du Québec (CREPUQ).
Cette dernière serait bien placée pour s’assurer, le moment venu, que les
institutions universitaires colligeront les informations nécessaires pour alimenter
les indicateurs. Le groupe de travail, quant à lui, a été placé sous la direction de
M. Benoît Godin, professeur à l’INRS, et il est composé des partenaires
suivants :
3
- Francesco Arena, ministère de l’Education,
- Jacques Crochetière, Fonds FCAR,
- Michel Dumas, Université Laval,
- Guy Verret, ministère de l’Industrie, du Commerce, de la Science et
de la Technologie.
Le présent document représente le fruit des réflexions du comité - mais il
n’engage par les institutions de ses membres. Il brosse dans un premier temps
un portrait des indicateurs de la recherche universitaire actuellement disponibles.
L’état des banques de données accessibles est ensuite rapidement rappelé.
Enfin, le rapport s’aventure à émettre quelques suggestions sous la forme de
recommandations, les fins poursuivies étant seulement d’offrir quelques balises
susceptibles d’orienter les discussions futures.
L’état des indicateurs de la recherche universitaire
La mesure de la science et de la recherche, ou scientométrie, a maintenant une
trentaine d’années. En effet, cela fait un peu plus de trente ans que les pays
occidentaux disposent, via l’OCDE notamment, d'indicateurs qui leur permettent
de suivre l'évolution des systèmes scientifiques et technologiques nationaux.
C'est en 1963 que l'OCDE publiait pour la première fois le Manuel de Frascati
proposant une «méthode type pour les enquêtes sur la recherche et le
développement expérimental» (OCDE, 1994). Le Manuel standardise la façon
dont les gouvernements recueillent l'information sur les investissements en
recherche-développement (R-D). Les données ainsi amassées permettent aux
différents pays d'apprécier leurs efforts en se comparant entre eux, ou en
comparant leur situation actuelle à celle d'un passé plus récent.
Le Manuel de Frascati repose sur un modèle bien connu dit «entrée-sortie» ou
intrant-extrant (figure 1). Des investissements (intrants) sont réalisés sur diverses
activités scientifiques et techniques (AST) qui se traduisent — potentiellement —
4
en connaissances et applications (extrants). Jusqu’à récemment, la majeure
partie des réflexions, travaux et indicateurs de l'OCDE et des pays occidentaux
étaient relatifs aux intrants. Des considérations historiques expliquent cette
situation (Godin, 1996). En effet, les indicateurs d'intrants sont en lien direct avec
les besoins de la politique scientifique et technique des années 1960, plus
particulièrement avec l'émergence de la politique scientifique et technique. Dans
les années 60 et 70, les gouvernements commencent à élaborer des politiques
scientifiques et technologiques. L'objectif premier est alors de participer au
financement des activités de R-D. Des indicateurs d'intrant permettent ainsi de
voir où les sommes sont investies et où il se fait moins de recherche. Les
gouvernements disposent ainsi de mesures qui, espèrent-ils, indiqueraient les
lieux d'investissements à privilégier quant au financement public.
Figure 1 — Le modèle intrant-extrant
Intrants è Activités de
rechercheè Extrants
Aujourd’hui, les gouvernements prennent conscience de façon plus directe
qu’auparavant de la nécessité de mesurer les résultats de la recherche. Mais
pour mesurer ceux-ci, il apparut rapidement que les indicateurs d'intrants, ceux
dont on dispose en grand nombre et depuis un bon moment déjà, étaient
insatisfaisants. Il fallait dorénavant des indicateurs d'extrants et des indicateurs
d’impacts. Bien sûr, l’OCDE publie depuis déjà longtemps des indicateurs sur les
brevets. Bien sûr également, des chercheurs universitaires ont développé des
indicateurs bibliométriques (publications) en grand nombre depuis plusieurs
années. Quelques pays, les États-Unis (NSF, 1996) et la France (OST, 1996),
produisent mêmes des statistiques régulièrement à cet effet. Toutefois, très peu
d’indicateurs d’extrants font encore l'objet d'une standardisation comme c’est le
5
cas pour les indicateurs d'intrants. Pour cette raison, la production de tels
indicateurs varie énormément d'un pays à l'autre, et l'utilisation qu'en font les
gouvernements dans le cadre des politiques est encore très réduite.
Ce qui nous occupera dans le présent document c’est d’appliquer le modèle
intrants-extrants à la recherche universitaire. L’objectif ultime de cet exercice est
d’identifier un nombre limité d’indicateurs dont la mesure serait essentielle pour
promouvoir la recherche universitaire.
Dans le but d’atteindre cet objectif, nous procéderons en deux étapes.
Premièrement, nous identifierons de façon exhaustive les indicateurs qui
permettent de mesurer la recherche universitaire et les performances de celle-
ci1. Les indicateurs seront appréciés en fonction de trois critères :
- l’information qu’ils livrent : quantité, qualité, pertinence,
- les limites de l’indicateur,
- la facilité de la mesure.
Cette réflexion nous conduira dans un deuxième temps à sélectionner quelques
indicateurs dont nous suggérons l’opérationalisation de façon prioritaire.
Deux leitmotifs nous ont guidés dans notre réflexion. D’abord, l’obligation de tenir
compte des spécificités disciplinaires (et donc des spécificités des institutions
universitaires). Nous pensons notamment aux sciences sociales et humaines et
aux arts et lettres, trop souvent négligées en bibliométrie par exemple. Ensuite,
la nécessité, dans le contexte actuel, de tenir compte de différents publics, pas
toujours universitaires, auxquels s’adressent les chercheurs.
1 Plusieurs des indicateurs analysés ici ne sont pas spécifques à la recherche universitaire, et
leurs limites plus générales ne seront donc pas considérées. En ce sens, la lecture dudocument de B. Godin produit pour Statistique Canada et intitulé L’état des indicateursscientifiques et technologiques dans les pays de l’OCDE (1996) est un complément essentiel àla présente analyse.
6
Les intrants
On distingue trois types d’intrants qui permettent de réaliser des activités de
recherche. Ce sont le financement, le personnel, les équipements (tableau 1).
Aujourd’hui, le financement est bien mesuré. On analyse généralement celui-ci
selon qu’il provient de subventions ou de commandites. Cette information est
relativement bien couverte grâce à la banque de données SIRU du ministère de
l’Éducation (MEQ). Les séries chronologiques de cette banque de données
permettent de remonter jusqu’à 1984. Notons toutefois que les sommes versées
par le ministère de l’Éducation relativement aux budgets de fonctionnement des
universités, budgets qui participent au financement des infrastructures de
recherche aussi bien que de formation, ne sont pas considérés dans ces
sommes.
Les deux autres intrants identifiés au tableau 1 suscitent encore de nombreuses
interrogations et difficultés de mesure. On a généralement tendance à considérer
comme personnel de recherche uniquement les professeurs-chercheurs.
Relativement à ceux-ci, il se pose un certain nombre de questions cependant.
Comment définir un chercheur ? Est-ce un individu qui dispose d’un financement
pour réaliser de la recherche ? Celui qui publie ? Celui qui consacre une part X
de son temps à la recherche (OCDE, 1989) ? Les réponses à ces questions ne
sont pas incontournables. Elles sont affaires de définition. La difficulté est que
ceux intéressés par la mesure ne se dotent pas tous de la même définition. Par
exemple, on dispose de multiples statistiques sur le nombre de professeurs-
chercheurs, mais les chiffres sont souvent contradictoires, selon la source d’où
ils proviennent (CREPUQ, MEQ, universités).
7
Tableau 1 : Les indicateurs d’intrants
financement (selon la source) :
subventions
commandites
personnel :
professeurs-chercheurs
professionnels
assistants-étudiants
équipements
Outre les professeurs-chercheurs, il y a d’autres personnels qui doivent être
considérés en intrant : les professionnels de recherche, bien sûr, mais aussi les
assistants-étudiants. C’est là un intrant qui est peu considéré mais qu’il y aurait
lieu de mieux mesurer dans le contexte actuel. Déjà la moitié des montants des
subventions en provenance du Fonds FCAR par exemple leur est réservée. Ce
personnel est important car il est non seulement une main-d’oeuvre en
recherche, mais en même temps un personnel qui reçoit ainsi une formation
active à la recherche pour un autre marché ultérieurement.
Le même constat de mesure imparfaite doit être dressé relativement aux
équipements qui sont très mal sinon jamais mesurés. Certes, les indicateurs de
financement de la recherche incluent les dépenses d’équipements. Mais
rarement ces investissements sont-ils identifiables spécifiquement. Lorsqu’une
information est disponible, c’est davantage les dépenses de fonctionnement que
le parc d’équipements qui est mesurable.
Les informations sur les équipements permettraient pourtant d’estimer la
richesse collective du parc scientifique, en même temps qu’elles fourniraient un
indicateur permettant de tenir compte des spécificités disciplinaires (les
disciplines n’ont pas toutes également des besoins en équipements). Enfin,
8
n’oublions pas que c’est la qualité de ces équipement précisément qui permet de
bien former les étudiants et, de concours avec ces derniers, que ce sont les
équipements qui permettent aux chercheurs de réaliser des recherches pour
l’industrie.
Les extrants
On mesure généralement les extrants de la recherche universitaire à l’aide de
statistiques sur le volume de publications. Il existe maintenant plusieurs banques
de données à cet effet, de même que plusieurs indicateurs standardisés et
facilement accessibles. Au Québec cependant, tout comme dans l’ensemble du
Canada, les universités n’exploitent pas systématiquement ces données pour
mesurer la recherche universitaire et apprécier leur position respective dans le
champ scientifique. Seul le ministère de l’Industrie, du Commerce, de la Science
et de la Technologie (MICST) publie quelques données à cet égard dans le
Compendium. Il y a donc là un potentiel intéressant à exploiter plus
sérieusement. D’autant plus que Statistique Canada est actuellement à
constituer, avec la collaboration de l’auteur du présent document, une banque de
données bibliométriques pour l’ensemble du Canada et qui sera disponible sous
peu à quiconque veut en exploiter les informations.
Toutefois, les données bibliométriques sont loin de mesurer l’ensemble de la
production universitaire (tableau 2). Les données bibliométriques sont bien
adaptées aux pratiques des sciences expérimentales, mais beaucoup moins aux
sciences sociales et humaines et aux arts et lettres. En effet, la bibliométrie fait
deux hypothèses dont il faut rappeler les conséquences. Premièrement, le
principal extrant de la recherche universitaire est la production de connaissances
dont la communication se fait essentiellement via les articles scientifiques.
L’article est donc l’indicateur par excellence de l’activité des chercheurs.
Deuxièmement, les chercheurs québécois publient majoritairement dans les
revues internationales, du moins en sciences naturelles, en génie et en sciences
biomédicales (Godin et Vallières, 1995). Le Science Citation Index (SCI), banque
9
de donnée bibliographique généralement utilisée en bibliométrie, est donc
approprié pour mesurer la production québécoise.
Tableau 2 : Les indicateurs d’extrants
concernant les pairs
publications
livre
article
communications et conférences
concernant les étudiants
diplômés
concernant le milieu socio-économique
rapports de recherche
mémoires et avis d’experts
innovations (brevets)
concernant le grand public
créations et interprétations (arts et lettres)
expositions
documents (écrits et oraux) de vulgarisation
Ces hypothèses ne s’appliquent malheureusement pas totalement aux sciences
autres qu’expérimentales : le livre est aussi sinon plus important que l’article
(Burnhill et Tubby-Hille, 1994; Bourke et Butler, 1996; Nederhof et al, 1989), et la
langue des écrits est souvent nationale (Godin et Limoges, 1996). Cette
considération appelle des mesures spécifiques des activités et des extrants des
chercheurs dans les disciplines des sciences sociales et humaines et des arts et
10
lettres, notamment la monographie et les oeuvres de création et
d’interprétation 2.
D’autres extrants de la recherche universitaire existent, mais ils sont encore très
mal mesurés. Qu’on pense aux communications. Il est certes possible de repérer
facilement les communications québécoises dans les conférences d’envergure
internationale, grâce aux banques de données ISTP et ISSHP (Godin, 1997).
Mais la source la plus fiable d’informations sur les communications en général
demeure encore le curriculum vitae du chercheur. L’accès à ce document, dans
le but de développer des statistiques, est malheureusement très difficile 3.
Enfin, il existe d’autres extrants de la recherche qui sont, eux, à toute fin pratique
non-mesurables pour le moment, faute de bases de données : ce sont ceux rela-
tifs à des publics autres qu’universitaires. Les publics auxquels s’adressent les
chercheurs sont, outre les pairs et les étudiants, les acteurs politiques et écono-
miques, et le monde socioculturel. Les extrants qui sont en lien avec ces publics,
et qui sont principalement issus de la commandite ou de la consultation, sont :
- les rapports de recherche,
- les innovations,
- les mémoires et avis d’experts (expertise),
- les documents de vulgarisation (écrits et audiovisuels).
Dans le contexte actuel, ces informations sont impératives pour mesurer la
réponse des chercheurs aux nombreuses demandes qui leur sont adressées
pour qu’ils diversifient leurs activités et mettent à profit leurs connaissances
auprès de divers acteurs. L'ensemble de ces extrants est rarement considéré
cependant dans les évaluations nationales de la production des chercheurs.
2 On trouvera un bref exposé de la spécificité de ces disciplines en Annexe 1.3 Les organismes subventionnaires disposent cependant d’informations électroniques à cet
égard.
11
Cette considération oblige à mesurer autre chose que les écrits, bref à tenir
compte d’une diversité de produits 4.
Enfin, en lien avec la problématique des extrants de la recherche, un extrant
important est encore peu valorisé dans les statistiques. Ce sont les diplômés des
2e et 3e cycle. On regarde rarement ceux-ci sous l’angle de la recherche mais
plutôt des clientèles scolaires uniquement. On a là pourtant des chercheurs en
herbe pour la société, produits par le système de la recherche universitaire. Mais
surtout, on a là un mécanisme par excellence de transfert des connaissances :
les diplômés nouvellement formés qui se retrouvent en emploi et mettent à profit
leurs connaissances.
Les activités de recherche
Entre les intrants et les extrants, se déroulent les activités de recherche
proprement dites. Les activités des professeurs-chercheurs sont de trois types :
formation, recherche, transfert (tableau 3).
Les activités de recherche sont généralement mesurées à l’aide des intrants ou
des extrants. Ainsi, on mesure la part des activités qui sont réalisées en
collaboration à l’aide des cosignatures dans les publications par exemple, ou la
part des activités réservées à la recherche fondamentale par le financement qui
est consacré à celles-ci. Il en va de même pour l’ensemble des dimensions des
activités de recherche :
- les objets et les thématiques de la recherche,
- la nature de la recherche (fondamentale/appliquée; libre/orientée),
- l’interdisciplinarité,
- la dimension individuelle/collective (équipes, centres).
4 On trouvera en Annexe 2 une typologie des produits des chercheurs selon les publics.
12
-
Tableau 3 : Les indicateurs d’activités
formation (2e et 3e cycles)
enseignement
encadrement
recherche
objets (thématiques)
individuelle/collective
nature (fondamentale/appliquée; libre/orientée)
interdisciplinarité
transfert et expertise
consultation
vulgarisation
Notons que sur la première dimension (les objets et thématiques), nous nous en
tenons généralement aux disciplines, au mieux à quelques grandes spécialités à
l’intérieur des disciplines. Il n’existe encore au Québec aucune classification par
mots-clés des projets de recherche. Nous reviendrons sur cette question.
Enfin, les activités avec ou pour des acteurs extra-universitaires, notamment les
activités de consultation et d’expertise, deviennent de plus en plus prioritaires en
terme de mesure, nous l’avons noté. Cependant, la part que l’on mesure
actuellement est certainement sous-estimée. Par exemple, SIRU ne mesure que
les commandites qui transitent par l’institution universitaire. Toutefois, bien
d’autres activités de consultation et d’expertise passent directement par le
professeur. Il y a tout lieu de croire, sur la base d’études récentes, que ces
activités sont d’ailleurs très importantes (Godin et Landry, 1995).
Terminons en mentionnant, quant aux activités de formation - dont on trouve par
ailleurs au ministère de l’Éducation maintes statistiques -, le fait qu’elle
13
pourraient facilement être considérées comme associés aux activités de
recherche dans la mesure où elles concernent les 2e et 3e cycles.
Les impacts
Le modèle intrants-extrants que nous venons d’utiliser a négligé une dimension
importante de la recherche universitaire, celle de ses impacts. Il faut maintenant
mentionner ceux-ci, d’autant plus que des attentes croissantes se font entendre
à cet effet.
Il faut distinguer deux types d’impacts (tableau 4). Premièrement, les impacts
proprement scientifiques. Pour ceux-ci, on dispose d’indicateurs relativement
précis – quoiqu’ils ne soient pas totalement sans critiques : les citations (facteur
d’impact) (Garfield, 1972; 1990) et les reconnaissances (prix et distinctions). Le
rayonnement international se mesure également assez facilement : les
invitations à l’étranger, l’attraction de post-doctorants étrangers.
Les impacts sociaux, quant à eux, sont beaucoup plus difficiles à mesurer. Ils
sont relatifs aux quatre dimensions suivantes :
- nouvelles politiques (sociales et économiques),
- croissance économique,
- bien-être social,
- culture.
La mesure des impacts socio-économiques se fait généralement à l’aide
d’études macroéconomiques, chaque fois spécifiques à l’objet à mesurer -
l’université de Montréal, par exemple, vient de procéder à une telle étude
récemment (Martin, 1996). Ces études sont toujours réalisées de façon ad hoc,
c’est-à-dire sans récurrence. Une caractéristique qui les rend donc insuffisantes
pour alimenter les indicateurs d’un système d’information sur la recherche
universitaire.
14
Tableau 4 : Les indicateurs d’impacts
impact scientifique
citations
reconnaissances (prix et distinctions)
rayonnementattraction de postdoctorants étrangersinvitations à l’étranger
impact
économiquetaux d’emploi des diplômés“spin-off”redevances sur les brevets universitairescitations de la recherche dans les brevets
culturelmaîtrise des connaissances scientifiques
social ?
politique ?
Les indicateurs socio-économiques apparaissant au tableau précédent sont
majoritairement, on le voit, de nature économique. C’est là la dimension la plus
facile à mesurer. Un important effort reste à faire pour les autres dimensions
(politique, sociale, culturelle). Il est cependant possible, en attendant que se
définissent des indicateurs d’impacts standards et acceptés, d’utiliser un certain
nombre des indicateurs vus précédemment comme indicateurs d’impact. Nous
pensons particulièrement aux deux indicateurs suivants :
- les commandites et les consultations pour mesurer l’offre et la demanded’expertise universitaire,
- les thématiques de la recherche orientée pour mesurer la pertinence socio-économique.
Il faut reconnaître cependant que cette façon de mesurer les impacts ne saurait
être que provisoire, puisque nous commettons ainsi un «détournement»
15
d’indicateurs : on mesure les résultats avec des indicateurs relatifs aux efforts,
soit les intrants et les activités (voir Gillett, 1991).
L’état des banques de données
Nous avons plusieurs fois rappelé que les universités font face à des demandes
croissantes en provenance de divers acteurs sociaux, notamment quant à une
contribution plus directe à la résolution de problèmes socio-économiques.
Toutefois, force est de constater que les indicateurs des activités universitaires,
ceux-là mêmes qui permettraient d’apprécier la contribution actuelle des
universités à ces objectifs, sont mal servis. Déjà, eu égard aux indicateurs
traditionnels de la recherche universitaire, la situation est déficiente. En effet, au
Canada et au Québec, trois sources ont été traditionnellement associées aux
indicateurs scientifiques et technologiques : Statistique Canada, le ministère de
l’Industrie, du Commerce, de la Science et de la Technologie (MICST), et le
ministère de l’Éducation (MEQ). Toutefois, ces acteurs ne comblent pas encore
tous les besoins.
Statistique Canada ne réalise pas d’enquête régulière sur la R-D universitaire ni
sur le personnel de l’enseignement supérieur, comme il le fait pour la R-D
industrielle et la R-D gouvernementale. Les seules données disponibles à cet
effet sont basées sur des estimations (Statistique Canada, 1996a; 1996b). Le
MICST, quant à lui, ne publie pas, dans son Compendium des indicateurs
scientifiques et technologiques (MICST, 1996), de statistiques par institution
universitaire. Enfin, le MEQ dispose d’un très grand nombre de données (voir
Annexe 3), souvent publiées sous forme de répertoires. Ceux-ci cependant
s’intéressent peu à l’activité de recherche ou aux extrants universitaires, mais
plutôt aux effectifs professoraux et aux clientèles scolaires.
Bref, on ne dispose pas de système d’information sur la recherche universitaire.
Néanmoins, on possède un embryon qui peut servir de base à un tel système : la
banque de données SIRU du MEQ. Celle-ci collige les informations relatives au
16
financement de la recherche universitaire selon les sources, le type de
financement, les disciplines. Le système est unique au Canada, et il fait d’ailleurs
l’envie de plusieurs.
SIRU connaît cependant trois limites majeures. La première est en voie d’être
corrigée : l’identification des collaborateurs participant à un projet financé, en sus
du responsable du projet. La seconde limite est plus importante, mais elle n’est
pas propre à SIRU : c’est le système de classification.
Il existe une classification commune aux bases de données sur les activités
universitaires et acceptée par tout le monde. Cette classification est de type
disciplinaire, et c’est le code CLARDER. Le code CLARDER est toutefois
reconnu pour être trop peu précis dans le cas de plusieurs disciplines. Mais
surtout, on lui reproche de ne pas permettre d’identifier les thématiques et les
problématiques précises de la recherche. En effet, un projet financé en physique
peut aussi bien s’intéresser à la physique des particules qu’aux techniques de
recouvrement par couches minces des semi-conducteurs. Préciser davantage
les thématiques de la recherche universitaire est un défi et probablement une
priorité d’un système d’information sur la recherche universitaire.
Enfin, l’information de SIRU n’est vérifiée et validée que pour les fonds en
provenance d’organismes accrédités. Cette limite réduit d’autant la fiabilité de la
banque de données.
On dispose donc d’un embryon de système d’information avec SIRU. Mais on
dispose aussi d’une foule de données supplémentaires pour alimenter celui-ci.
Nous avons déjà mentionné les diverses banques de données du MEQ.
Rappelons que Statistique Canada s’active actuellement à mettre sur pied une
banque de données bibliométrique pour l’ensemble de la recherche canadienne.
Enfin, les organismes subventionnaires disposent eux aussi de nombreuses
informations, souvent informatisées (par exemple le CRSNG). Dans l’ensemble
cependant, les données et les banques de données sont :
- dispersées,
- pas toujours publiques,
17
- incompatibles (quant à leurs classifications),
- pas toujours récurrentes.
Peut-être la communauté universitaire est-elle en partie responsable de la
situation. En effet, pour que se développe des outils de monitoring de la
recherche, encore faut-il qu’il existe une demande à cet effet. La communauté
universitaire ne s’est jamais fait beaucoup entendre sur la question. À tout
événement, ce serait là un second défi que de colliger toutes ces informations
afin de se doter d’un portrait d’ensemble de la recherche universitaire.
Quelques recommandations
À la lumière du bilan qui vient d’être dressé des indicateurs disponibles ou
potentiellement intéressants, à la lumière également des constats que nous
avons fait sur les banques de données spécifiques à l’information sur le système
de la recherche universitaire, nous croyons utile de suggérer un certain nombre
de recommandations. L’objectif de ces recommandations est double :
1) sensibiliser à l’importance de développer de nouveaux indicateurs de larecherche universitaire, particulièrement des indicateurs d’impact,
2) contribuer à une réflexion sur un système d’informations sur la rechercheuniversitaire.
La proposition suggérée ici est, somme toute, réaliste. Elle n’engage pas de
ressources exagérées, ni financières, ni en temps. Elle exige seulement une
volonté de départ. Certes des obstacles, inévitables à la mise en opération de
telles recommandations, existent. Certains relèvent des administrations
universitaires, telle la réticence à cueillir des données additionnelles, d’autres
dépendent de la culture des chercheurs encore peu enclins à parler ouvertement
d’impacts sociaux de la recherche. Mais aucun de ces obstacles n’est
insurmontable, surtout à la lumière des effets qu’aurait sur le public une meilleure
information sur la recherche universitaire.
On trouvera en Annexe 4 une synthèse des indicateurs de la recherche
universitaire discutés dans le présent document et ceux jugés les plus prioritaires
18
dans le cadre de la présente proposition. On notera que nous y retrouvons des
indicateurs sur chacune des quatre dimensions de la recherche (intrants, activités,
extrants, impacts); qu’aux indicateurs traditionnels (financement, publications)
sont suggérés des indicateurs nouveaux (expertise); quant à ces derniers, qu’on
dispose quelquefois d’informations (les diplômés) mais que d’autres nécessitent
des cueillettes d’information (celle qu’on retrouve dans les curriculum vitae).
1. Les intrants : mesurer les thématiques
Compte tenu des investissements réalisés dans le système SIRU, la
communauté universitaire devrait seconder activement les efforts du ministère
quant à l’amélioration dudit système, notamment la qualité des données de base,
l’identification des partenaires aux financements, ainsi que des thématiques ou
domaines d’application de la recherche. Sur ce dernier point,
l’ADARUQ/CREPUQ pourraient initier une réflexion sérieuse - c’est-à-dire
exécutoire - sur un nouveau système de classification de la recherche
universitaire qui, à un code CLARDER amélioré, ajouterait une classification sur
les thématiques de la recherche grâce à un système de mots-clés 5. Cette
classification aurait l’avantage de pouvoir aussi servir aux extrants.
2. Les extrants : se comparer au reste du monde
Compte tenu qu’un extrant important de la recherche est la publication et qu’il est
essentiel de pouvoir se comparer à la communauté internationale sur cette
question, et compte tenu que Statistique Canada a initié des travaux relativement
à une banque de données à cet égard, l’ADARUQ/CREPUQ pourraient exploiter
(ou faire exploiter) aux deux ans les données bibliométriques afin de dresser un
portrait comparé des universités québécoises en matière de recherche. Un tel
exercice pourrait d’ailleurs être réalisé dès cette année à titre expérimental.
3. Les impacts : répondre aux attentes sociales
5 Il existe plusieurs exemples desquels on pourrait s’inspirer : les classifications de ISI et CHI
utilisées pour le SCI; la classification par mots-clés de la banque de données PASCAL duCNRS; la classification par mots-clés de la banque de données du CRSNG.
19
Compte tenu de l’importance des impacts de la recherche dans les discours
gouvernementaux, l’ADARUQ/CREPUQ devraient investir des efforts prioritaires
dans ces matières. Nous suggérons d’initier une seconde réflexion sur les
indicateurs, cette fois sur les indicateurs d’impacts spécifiquement.
En attendant, et en lien avec la solution provisoire esquissée plus haut (p. 14-
15), trois voies sont envisageables, dans l’ordre prioritaire suivant (et avec des
difficultés de réalisation croissantes) :
- développer des indicateurs sur les emplois des diplômés (et les compétencessur le marché du travail) à partir de l’enquête Relance du MEQ,
- développer des indicateurs sur les thématiques appliquées et orientées de larecherche 6,
- développer des outils permettant de mieux apprécier les activités deconsultation et d’expertise des professeurs 7.
4. En attendant…
Parallèlement aux efforts précédents, nous croyons qu’il serait souhaitable de
réaliser dès les prochains mois un premier exercice de mesure à même les
données existantes mais dispersées ici et là. Il s’agirait d’apprécier ce que
donnerait un premier portrait intégré de la recherche universitaire par institution.
Un tel exercice permettrait d’apprécier empiriquement les indicateurs à
développer.
6 On peut se contenter dans un premier temps des projets de recherche orientés financés par
les organismes subventionnaires (relations université-industrie du CRSNG, programmestratégique du CRSH, actions concertées du Fonds FCAR).
7 Les chercheurs disposent tous d’une version informatisée de leur curriculum vitae. Il seraitrelativement facile à chaque administration universitaire de définir un modèle standard et d’enarchiver copie avec mise-à-jour annuelle pour fins de production de statistiques.
20
Annexe 1 - Les sciences sociales et humaines et les arts et lettres
On a souvent coutume d'évaluer les sciences sociales et humaines avec les
outils développés pour les sciences naturelles, le génie, et les sciences
biomédicales. Certes, une partie de la production scientifique des chercheurs est
de même type, quelle que soit la discipline. Cependant, il existe des spécificités
propres aux sciences sociales et humaines
Plusieurs hypothèses ont été avancées qui distingueraient les sciences sociales
et les sciences naturelles. Un premier ensemble d'hypothèses gravite autour de
la notion de maturité (Kuhn, 1962). Les sciences sociales n'auraient pas encore
atteint le stade paradigmatique dans lequel se trouvent déjà les sciences
naturelles. Les moindres standards et la faible codification en sciences sociales
seraient le reflet de cette situation (Merton et Zuckerman, 1973). À partir d'une
telle caractérisation des sciences sociales, certains expliquent le haut taux de
rejet d'articles soumis dans les revues (Merton et Zuckerman, 1973), les faibles
taux de citations (Science, 1991), l'âge des citations (Glanzel et Schoepflin,
1992), la préférence pour le livre comme média de communication (Nederhof,
Zwaan, De Bruin et Dekker, 1989), etc.
Un deuxième ensemble d'hypothèses issues de l'épistémologie surtout, explique
le statut des sciences sociales par la complexité du social et de l'humain (Mill,
18 ? ?; Popper, 1957), ou la finalité des sciences sociales (Winch, 1958; Apel,
1980; Habermas, 1981; Taylor, 1980). En lien avec cette hypothèse, M.-J.
Legault a défendu l'idée que ce sont le type d'objet (instable plutôt que stable) et
le type de méthode (herméneutique plutôt qu'expérimentale) qui expliquent la
spécificité des sciences sociales et humaines (Legault, 1993). De par leur
méthode, les siences sociales et humaines ne nécessitent pas toujours de
laboratoire expérimental, et de là le moins grand nombre de centres de
recherche par exemple. Cette thèse relative à l'objet et à la méthode pour
caractériser les disciplines est également valable entre les différentes sciences
expérimentales elles-mêmes, comme l'ont avancé Hagstrom, dans un livre dont
l'actualité n'est pas dépassée (Hagstrom, 1965), et Shinn (1982).
21
En lien avec cette hypothèse également, Godin a expliqué les différences
disciplinaires dans les pratiques de collaboration (Godin et Landry, 1995). Ainsi,
les sciences naturelles, biomédicales et le génie (SNBG) sont des sciences
expérimentales, où le partage du travail est très développé. Pour cette raison
elles ont tendance à publier davantage en collaboration. Divers autres facteurs
viennent alimenter cette tendance cependant : le coût et le partage des
équipements en physique, la recherche clinique et l'interdisciplinarité en sciences
biomédicales. Les sciences sociales et humaines (SSH), quant à elles, parce
qu'elles sont plus souvent herméneutiques (quelquefois quasi expérimentales)
ont moins recours au travail organisé et, pour cette raison, publient moins en
collaboration. Quant aux arts et lettres (AL), nous émettions l'hypothèse que la
faible collaboration s'explique par les activités de création. En effet, deux types
de chercheurs définissent les arts et lettres. Premièrement, ceux qui mènent une
recherche critique, ou d'érudition, et qui suivent probablement les mêmes
tendances collaboratives que les sciences sociales et humaines. Deuxièmement,
et c'est là que les différences apparaissent, ceux qui mènent aussi une activité
professionnelle qui, elle, est généralement réalisée seule : il existe peu de
symphonies composées en collaboration, ni de romans par exemple. Ces
créations sont l'oeuvre d'un auteur.
Un dernier ensemble d'hypothèses est celui qui explique le statut des sciences
sociales dans le champ intellectuel comme le reflet d'un moins grand contrôle
des ressources. Selon Whitley, les sciences se distinguent par le niveau
d'interdépendance entre les chercheurs (publics-cible et sources de financement,
degré de compétition, rareté des ressources, envergure des problèmes) et le
niveau d'incertitude dans les tâches (outils et techniques, buts théoriques)
(tableau 1). Sur ces deux dimensions, les sciences sociales seraient différentes
des sciences naturelles et du génie : «there is no dependence on other
scientists, poor standardization of techniques, poor theoretical goals, tacit skills,
intellectual conflicts, public audience, few technical staff, local and personal
control, competition within one school reather than specialization» (Whitley,
1982).
22
Sur la base de la typologie de Whitley, Fuchs (1992) a précisé que ces
distinctions qui caractérisent les sciences s'expliquent à leur tour par le contrôle
organisationnel. Le monopole du prestige, via les publications, est lui-même
fonction du public et de la compétition, bref du degré d'autonomie acquis grâce
au contrôle des ressources. Ce dernier conduit à son tour à plus ou moins de
consensus sur les définitions, les problèmes, les méthodes, des conditions non
remplies en sciences sociales.
Cette thèse n'est pas très éloignée de celle véhiculée par Bourdieu relativement
à la moins grande autonomie des sciences sociales : «le champ des sciences
sociales est dans une situation très différente des autres champs scientifiques :
du fait qu'il a pour objet le monde social et qu'il prétend à en produire une
représentation scientifique, chacun des spécialistes y est en concurrence non
seulement avec les autres savants, mais aussi avec les professionnels de la
production symbolique (écrivains, hommes politiques, journalistes) et, plus
largement, avec tous les agents qui, avec des forces symboliques et des succès
très inégaux, travaillent à imposer leur vision du monde social» (Bourdieu, 1995 :
4).
23
Tableau 1 — Spécificités disciplinaires
Incertitude
Faible Élevée
Chimie Sciences humaines
Faible
Faible incertitude théorique et
technique
Financement abondant et varié
Pas de dépendance entre
scientifiques
Peu de standardisation
(techniques)
Objectifs théoriques difficiles
Savoir-faire tacite
conflits intellectuels
client : public
Peu de techniciens
Contrôle local et personnel
Compétition entre écoles plutôt
que spécialisation
Dépendance
Physique Biologie
Élevée
Dépendance entre chercheurs
élevée
Peu d’expérience théorique
Compétition entre spécialités
Peu d’incertitude technique
Contrôle formel (plutôt que
personnel)
standardisation technique
Conflits théoriques
Dépendance entre chercheurs
Spécialisation
Source : Basé sur Whitley, 1982.
24
Annexe 2 - Les publics des chercheurs et les productions associées
On a coutume de modéliser la recherche à l'aide d'un modèle entrée/sortie
constitué de trois éléments : les intrants, les activités de recherche
correrspondantes, et les extrants. En intrants on retrouve les ressources
monétaires, les ressources humaines, et les instruments et technologies utilisées
pour réaliser la recherche. Les activités de recherche elles-mêmes sont
généralement considérées comme une boîte noire - qui est laissée à la
sociologie de la science. En effet, mis à part quelques statistiques sur les
groupes, équipes, centres et laboratoires on dispose de peu d'indicateurs
permettant de mesurer ces activités. Ce sont les extrants qui sont utilisés à cette
fin : publications, brevets, etc. Le tableau suivant précise ce modèle en raffinant
les mesures à cet effet.
Les rapports entre le chercheur et les différents auditoires prennent différentes
formes. Ils peuvent être unidirectionnels ou intéractifs. La première forme se
caractérise par ce que nous appelerons la diffusion. Nous définirons la diffusion
comme un effort de communication, celui-ci pouvant se réaliser par voie orale ou
écrite. Il va du scientifique à l'auditoire, et laisse à ce dernier la responsabilité de
s'informer.
A l'opposé, nous définierons le transfert comme un processus qui a pour objectif
l'utilisation et l'application des connaissances. Il ne se réalise pas via les
documents comme la diffusion. Il nécessite des personnes en contact : d'une
part, des agents porteurs de connaissances - le chercheur - , et d'autre part des
utilisateurs. Enfin, nous définierons l'impact de la recherche comme l'effet de
l'activité de la transmission et de l'utilisation du savoir sur l'auditoire. C'est la
dimension la plus difficile à mesurer.
Munis de ces distinctions conceptuelles, il est maintenant possible d'élaborer un
modèle de la production scientifique et de la transmission du savoir. Ce modèle,
apparaissant au tableau suivant, associe des indicateurs précis pour chacun des
auditoires et à chacun des mécanismes de transmission précédemment
identifiés.
25
Le modèle possède plusieurs avantages sur les conceptions conventionnelles.
Premièrement, les extrants (output) ne sont pas mesurés par les mécanismes de
diffusion (les publications) comme il est couramment coutume de le faire. A notre
avis, des mesures sur les objets (mots-clés, titres) de la recherche seraient ici de
meilleurs indicateurs. Deuxièmement, le modèle distingue clairement la diffusion
et le transfert, permettant ainsi l'identification d'activités de transfert souvent
minimisées ou méconnues. Troisièmement, le modèle intègre des extrants
négligés dans l'évaluation des chercheurs : les rapports de recherche, les
activités de vulgarisation, l'enseignement et la formation via l'engagement
d'assistants.
Les publics des chercheurs et les productions associées
Acteurs visés Diffusion Transfert Output Impact
Autresscientifiques
Écrits, colloques Échangescollaborations
Nouvellesconnaissances
Citation (f.imp)
Étudiants Cours, manuels Assitanatenseignement
Diplômés,mémoires etthèses
Emploi,compétences
Politocoécon. Rapports etétudes
Consultation,contrats
Recommanda-tions de politique,innovations(brevets)
Bien-être,croissance écon.
Socioculturel(grand public)
Vulgarisation :émissions de téléet radio, articlesdans lesquotidiens,conférences,expositions, etc.
Formation,animation
Connaissances Maîtrise socialedes tech.Participation,attitudesintérêtsculturecritique
26
Annexe 3 - Données statistiques et indicateurs produits par le MEQ(secteur de l’enseignement supérieur)
Les données statistiques et les indicateurs produits ou publiés par la Direction de
l’enseignement et la recherche universitaires (DERU) visent à obtenir une
meilleure connaissance de plusieurs volets importants de l’enseignement
universitaire au Québec. Ils permettent de connaître, notamment, l’accès de la
population québécoise aux études universitaires, l’ampleur et la répartition des
ressources humaines et financières qui y sont consacrées, le cheminement et les
résultats académiques des étudiantes et des étudiants, l’intégration des titulaires
d’un diplôme au marché du travail, les ressources et les résultats des activités de
recherche. L’ensemble de ces données et de ces indicateurs constituent, en
quelque sorte, un tableau de bord qui permet de suivre l’évolution du système
universitaire et les résultats des politiques du gouvernement à l’égard des
universités.
À ce titre, les données statistiques et les indicateurs produits par la DERU sont
des instruments qui servent à la prise de décision, à la gestion et à la
diffusion de l’information (reddition de compte).
1. Ils ont pour fonction d’éclairer la prise de décision du ministère de l’Éducationet du gouvernement et l’élaboration de leurs politiques d’intervention. Ilsservent aussi à la prise de décision dans les établissements universitaires enmettant à leur disposition des données comparatives dans le temps.
2. Ce sont des instruments de gestion qui servent à assurer l’allocation desressources (notamment les subventions de fonctionnement etd’investissement) en fonction des besoins en évolution de la société, desétudiantes et étudiants et des établissements.
3. Ils servent aussi à mesurer comment les ressources ont été utilisées et àévaluer les résultats obtenus au regard des objectifs que se sont fixés legouvernement et le Ministère en matière de formation et de rechercheuniversitaires.
4. Ils permettent de rendre compte à l’Assemblée nationale et à la populationdes ressources consenties par la population en matière d’enseignement et derecherche universitaires, de la manière dont elles ont été utilisées et desrésultats obtenus au regard des grands objectifs poursuivis par la société.
5. Ils ont enfin pour fonction d’informer le public et les établissementsuniversitaires sur l’évolution du système universitaire du Québec.
27
Afin de remplir les mandats relatifs à la prise de décision, à la gestion et à la
diffusion publique de l’information, la DERU :
- gère plusieurs banques de données, grâce à la collaboration de chacun desétablissements universitaires, notamment le système de Recensement desclientèles universitaires (RECU), le Système d’information sur la rechercheuniversitaire (SIRU),la liste des programmes d’études offerts dans lesétablissements universitaires, etc. Le Système d’information sur les financesdes universités (SIFU) est géré par la Direction du financement et del’équipement (DFE).
- produit des données statistiques et des indicateurs sur l’évolution dusystème universitaire, à partir de l’information contenue dans ses banques dedonnées et en utilisant celle contenue dans les banques de données géréespar d’autres directions du ministère de l’Éducation et par d’autresorganismes, dont celle se rapportant au corps professoral gérée par laCREPUQ; elle produit aussi des données statistiques et des indicateurs pourrépondre à des besoins spécifiques du Ministère.
- publie des données statistiques et des indicateurs sur une base régulière :• les indicateurs de l’activité universitaire regroupent de manière
synthétique les principales données sur chacun des établissementsuniversitaires, notamment sur les effectifs, le corps professoral, lesdiplômés, le financement, sur la recherche universitaire, etc.;
• les données sur la recherche universitaire présentent de manièresommaire les données les plus récentes sur le financement de larecherche universitaire;
• les données statistiques et des indicateurs sur le cheminementacadémique des étudiantes et des étudiants, notamment la durée deleurs études et la proportion d’entre eux qui reçoivent un diplôme;
• des prévisions à court terme (5 ans) et à long terme (15 ans) sur leseffectifs étudiants universitaires et à court terme (3 ans) des diplômées etdes diplômés;
• Qu’advient-il des diplômés des universités rapporte les résultats del’enquête aux deux ans sur l’insertion des diplômés universitaires dans lemarché du travail deux ans après l’obtention de leur diplôme;
• Effectif étudiant en équivalence au temps plein (EEETP) des universitésquébécoises;
• Le calcul des coûts moyens d’enseignement et de soutien par secteurd’enseignement.
Voici une liste des données et des indicateurs produits par la DERU :
1. Données et indicateurs sur l’accès aux études universitaires et sur la
réussite
28
- les inscriptions des étudiantes et des étudiants aux programmes d’étudesen fonction de certaines caractéristiques (âge, sexe, province ou paysd’origine, régime d’études, langue maternelle, etc.);
- les prévisions à court terme (5 ans) et à long terme (15 ans) sur leseffectifs étudiants et à court terme (3 ans) sur les diplômés, parétablissement en fonction de certaines caractéristiques (groupe d’âge,sexe, langue maternelle, régime d’études, etc.);
- le cheminement des étudiantes et des étudiants par cohorte annuelle(1984 à 1995), par établissement, par grand domaine d’études et pardiscipline;
- les diplômées et les diplômés selon les programmes d’études en fonctionde certaines caractéristiques (âge, sexe, province ou pays d’origine,régime d’études, programme d’études, discipline, etc.).
2. Données et indicateurs sur le corps professoral
- le personnel enseignant en fonction de certaines caractéristiques (âge,sexe, rang académique, diplômes détenus, statut, etc.).
3. Données et indicateurs sur la recherche universitaire
- les ressources financières consacrées à la recherche universitaire enfonction de certaines caractéristiques (sources, type de financement,disciplines, types de projets, etc.);
- les chercheurs universitaires dont les projets de recherche sont financés.
4. Données et indicateurs relatifs au financement
- le calcul des effectifs étudiants en équivalence au temps plein (EEETP) etdes grades décernés pour des fins de financement;
- les ressources financières (subventions de fonctionnement etd’immobilisation) consacrées aux établissements universitaires enfonction de certains paramètres (provenance, ventilation selon les typesde dépenses, etc.);
- les coûts de l’enseignement universitaire en fonction des programmesd’études et des effectifs étudiants;
- les frais de scolarité, comparés dans le temps et aux établissementsuniversitaires hors Québec.
5. Données et indicateurs relatifs à l’insertion dans le marché du travail
- données sur l’insertion des diplômées et des diplômés dans le marché dutravail deux ans après l’obtention de leur diplôme en fonction de certainescaractéristiques (âge, sexe, province ou pays d’origine, régime d’études,discipline, etc.).
29
DERU - SASEnseignement supérieur16/05/1997
30
Annexe 4 - Les indicateurs de la recherche universitaire 8
Les indicateurs d’intrants
financement (selon la source)
subventions
commandites
personnel
professeurs-chercheurs
professionnels
assistants-étudiants
équipements
Les indicateurs d’extrants
concernant les pairs
publications
livre
article
communications et conférences
concernant les étudiants
diplômés
concernant le milieu socio-économique
rapports de recherche
mémoires et avis d’experts
innovations (brevets)
concernant le grand public
créations et interprétations (arts et lettres)
expositions
documents (écrits et audiovisuels) de vulgarisation
Les indicateurs d’activités
8 Les indicateurs jugés prioritaires apparaissent en caractères gras.
31
formation (2e et 3e cycles)
enseignement
encadrement
recherche
objets (thématiques)
individuelle/collective
nature (fondamentale/appliquée; libre/orientée)
interdisciplinarité
transfert et expertise
consultation
vulgarisation
Les indicateurs d’impacts
impact scientifique
citations
reconnaissances (prix et distinctions)
rayonnement
attraction de postdoctorants étrangers
invitations à l’étranger
impact
économique
taux d’emploi des diplômés
“spin-off”
redevances sur les brevets universitaires
citations de la recherche dans les brevets
culturel
maîtrise des connaissances scientifiques
social
?
politique
?
32
Références
Bourke, P., et L. Butler (1996), Publication Types, Citation Rates and Evaluation,Scientometrics, 37 : 473-494.
Burnhill, P. M., et M.E. Tubby-Hille (1994), On Measuring the Relation BetweenSocial Science Research Activity and Research Publication, ResearchEvaluation, 4 : 130-152.
Garfield, E. (1990) «How ISI Selects Journals for Coverage : Quantitative andQualitative Considerations», Current Contents, 22 : 5-13.
Garfield, E. (1972) Citation Analysis as a Tool in Journal Evaluation, Science,178 : 471-479.
Gillett, R. (1991), Pitfalls in Assessing Research Performance by Grant Income,Scientometrics, 22 (2) : 253-263.
Godin, B. (1997), Measuring Knowledge Flows Between Countries : The Use ofScientific Meeting Data, Communication présentée à la 6e Conférenceinternationale de scientométrie et d’infométrie, Jérusalem, juin 1997.
Godin, B. (1996), L’état des indicateurs scientifiques et technologiques dans lespays de l’OCDE, Statistique Canada, document de recherche no. 1,Ottawa.
Godin, B., et F. Vallières (1995) «Endangered Species» : une nouvelleestimation de la part du français dans les communications scientifiques,étude réalisée pour le Conseil de la langue française, Québec.
Godin, B., et R. Landry (1995) L’avenir de la collaboration scientifique auQuébec : une analyse basée sur la convergence d’indicateurs, rapportprésenté au Fonds FCAR, Québec.
Godin, B., et C. Limoges (1995) Les revues scientifiques québécoises : uneévaluation des programmes de soutien aux revues du Fonds FCAR,rapport présenté au Fonds FCAR, Québec.
Martin, F. (1996), Les retombées économiques des activités de recherche del’université de Montréal et des écoles, hôpitaux et instituts affiliés, universitéde Montréal, 24 p.
MICST (Ministère de l’Industrie, du Commerce, de la Science et de laTechnologie) (1996) Compendium 1996 : indicateurs de l'activitéscientifique et technologique au Québec, Gouvernement du Québec.
National Science Foundation (NSF) (1996) Science and Engineering Indicators :1996 (11e édition), Washington.
Nederhof, A.J., et al. (1989), Assessing the Usefulness of Bibliometric Indicatorsfor the Humanities and the Social and Behavioral Sciences : A ComparativeStudy, Scientometrics, 15 : 423-435.
33
Observatoire des sciences et des techniques (OST) (1996) Science ettechnologie : indicateurs 1996, Paris.
OCDE (1994) La mesure des activités scientifiques et techniques : méthodeproposée pour les enquêtes sur la recherche et le développementexpérimental (manuel de Frascati), Paris.
OCDE (1989) La mesure des activités scientifiques et techniques : statistiquesde R-D et mesure des résultats dans l'enseignement supérieur, Paris.
Statistique Canada (1996a), Estimation des dépenses au titre de la R-D dans lesecteur de l’enseignement supérieur, ST-96-07.
Statistique Canada (1996b), Méthodologie des estimations relatives aupersonnel de l’enseignement supérieur, ST-96-05.
