Les gouvernements exigent de tous ceux qui utilisent des fonds publics d'en être imputables. Ils demandent aux universitaires de démontrer que l'argent consacré à la recherche a des retombées pour la société. Les grands conseils subventionnaires nous répètent qu'ils doivent trouver des moyens pour convaincre les politiciens que l'argent consacré à la recherche est un bon investissement.
Peut-on mesurer les retombées de la recherche universitaire? Certainement. Peut-on convaincre l'opinion publique du bien-fondé d'investir des sommes relativement importantes en recherche? Certainement.
Mais cette démonstration exige un certain nombre de préalables. D'abord une petite partie de tout l'argent en R-D est consacrée à la recherche universitaire, la plus grande part allant à l'industrie ou à des organismes gouvernementaux. Ensuite il faut rappeler, à temps et à contretemps, que la mission spécifique de l'Université en recherche c'est d'abord la formation et l'avancement des connaissances. Cela n'exclut pas la recherche contractuelle mais la met en perspective.
Une fois ces données de base bien établies, on peut parler d'indicateurs de recherche à condition de se rappeler que l'utilité de la recherche n'est pas qu'économique, elle est aussi sociale et culturelle et que tout n'est pas quantifiable. Cela étant dit, quels sont ces indicateurs? Est-ce possible de développer une méthodologie commune à toutes les universités du Québec?
René-Paul Fournier
Animateur : M. René-Paul Fournier
Directeur du Service des études avancées et de la recherche, INRS
Rapporteur : M. Jean Bernatchez
Agent de recherche, Université du Québec
Personne ressource : M. Benoît Godin
Professeur, INRS - Urbanisation
L'État exige maintenant de tous ceux et celles qui utilisent des fonds publics de rendre des comptes. C'est ce qui s'appelle &laqno;l'imputabilité». Dans cette perspective, les gouvernements demandent notamment aux universitaires de démontrer que l'argent consacré à la recherche a des &laqno;retombées concrètes» pour la société. Peut-on mesurer ces retombées? Peut-on convaincre l'opinion publique du bien-fondé d'investir des sommes importantes en recherche universitaire? Sans doute que oui, dans une certaine mesure, bien que cette démonstration exige un certain nombre de préalables.
D'abord, il faut signaler que seule une petite partie de l'argent investi en Recherche-Développement (R-D) est consacrée à la recherche universitaire, la plus grande part allant à l'industrie ou à des organismes gouvernementaux. Ensuite, il faut rappeler, à temps et à contretemps, que la mission spécifique de l'université en recherche est d'abord la formation et l'avancement des connaissances (cela n'exclut pas la recherche contractuelle mais la met en perspective). Une fois ces données de base bien établies, il est possible alors de parler d'indicateurs de recherche, à condition de considérer que l'utilité de la recherche n'est pas qu'économique, elle est aussi sociale et culturelle (tout n'est pas quantifiable).
René-Paul Fournier, Directeur du Service des études avancées et de la recherche de l'Institut national de la recherche scientifique (INRS) animait cet atelier auquel participaient une trentaine d'administrateurs et d'administra-trices de recherche. Benoît Godin, professeur à l'INRS-Urbanisation, participait aux travaux à titre de personne-ressource et Jean Bernatchez, agent de recherche à la Direction des études de cycles supérieurs et de la recherche de l'Université du Québec, agissait comme rapporteur.
Essentiellement, l'atelier s'est articulé autour des quatre objectifs suivants: (1) mettre en lumière la complexité du &laqno;monde des indicateurs»; (2) montrer l'évolution de la scientométrie depuis les années '60; (3) discuter des indicateurs reliés à l'utilité de la recherche universitaire; (4) faire ressortir les besoins de recherche en matière d'indicateurs.
La complexité du monde des indicateurs
Qu'est-ce qu'un indicateur? Benoît Godin le définit comme étant une mesure d'une dimension donnée d'un phénomène, événement, entité ou concept. Un indicateur est toujours partiel et limité et ne peut jamais être une mesure directe et complète de la réalité (ou concept) considérée. Ainsi, plusieurs indicateurs sont nécessaires pour avoir une meilleure mesure du concept.
Partant de là, il est possible de s'interroger sur sa validité théorique (l'indicateur mesure-t-il bien le concept?) et sur sa fiabilité technique (l'indicateur donne-t-il des résultats cohérents et consistants?). Mais aussi - et cela est ressorti clairement des discussions - l'indicateur doit avoir une &laqno;vertu politique». L'indicateur est un signal qui est donné, significatif pour les décideurs, qui peut leur permettre d'intervenir. L'indicateur favorise un suivi sur la tendance.
Les participantes et participants à l'atelier ont constaté que le monde des indicateurs de la recherche universitaire était très complexe, d'où la nécessité de faire les distinctions qui s'imposent.
Première distinction: ne pas confondre recherche universitaire et R-D. En fait, la R-D ne devrait pas être inscrite intégralement à la mission traditionnelle des universités. Dans une situation de &laqno;contextualisation» accrue de la recherche, il est sans nul doute utile d'interroger cette mission traditionnelle, de la redéfinir par rapport à de nouvelles réalités. Cela peut être fait sans pour autant remettre en question sa fonction critique et de formation de la pensée.
Seconde distinction, selon les secteurs et les champs d'études: il ne s'agit pas ici d'opposer les Humanités aux Sciences de la nature, de dissocier Nature et Culture mais bien plutôt de considérer les caractéristiques de chacun, parce que les impacts ne sont pas les mêmes (et ils n'ont pas à être les mêmes non plus).
Troisième distinction, selon les types d'indicateurs: il y a notamment les indicateurs d'intrants, d'extrants, d'impacts et de flux. L'évolution de la scientométrie permet de bien saisir ces distinctions et de situer dans leur contexte l'émergence de ces différents types d'indicateurs.
L'évolution de la scientométrie depuis les années '60'
En 1963, l'Organisation de coopération et de développement économique (OCDE) publiait la première version du Manuel de Frascati, qui proposait une méthode type pour les enquêtes sur la recherche et le développement expérimental. L'approche proposée reposait sur un modèle théorique dit &laqno;entrée-sortie» ou &laqno;intrant-extrant».
Jusqu'à la fin des années '70, les travaux et les réflexions sur les indicateurs ont porté plutôt sur les intrants: financement, nombre de personnes impliquées dans le processus de recherche, équipements, nombre de centres de recherche, etc. On assistait alors à l'émergence des politiques scientifiques et technologiques, orientées vers le financement des activités de R-D.
Dans les années '80, ce sont les indicateurs d'extrants qui ont été privilégiés, alors que les politiques scientifiques et technologiques s'orientaient plutôt vers l'innovation et les résultats de la recherche. Il était nécessaire de formaliser ces considérations par de nouveaux indicateurs. Le Manuel d'Oslo, publié en 1992 par l'OCDE, définissait les normes pour la collecte de ces informations.
Au cours des années '90, l'emphase a surtout été mise sur la performance des investissements en science et technologie. Il est question alors des indicateurs d'impacts, relatifs à la diffusion et à l'utilisation des technologies, de la balance des paiements technologiques. Ces indicateurs peuvent être de nature économique (augmentation des profits, de la productivité, de la part des marchés et des exportations) ou encore ils peuvent être intangibles (accroissement des compétences, qualité des produits). Les indicateurs de flux sont par ailleurs reliés au concept de &laqno;système national d'innovation» (SNI) de l'OCDE, qui fait appel à l'organisation des acteurs qui participent à l'innovation.
Les indicateurs reliés à l'utilité de la recherche universitaire
Les participantes et participants à l'atelier ont examiné quelques exemples d'indicateurs actuellement utilisés dans les universités québécoises.
Un premier constat: plusieurs facettes de la réalité de la recherche se mesurent assez bien. Ce sont notamment les intrants de la recherche: personnes associées au processus, subventions de recherche, etc. Les extrants (publications, brevets, liens formation-recherche, rayonnement) sont déjà plus difficiles à mesurer. Beaucoup de recherches sont également nécessaires pour développer et raffiner les indicateurs d'impacts alors que les indicateurs de flux s'inscrivent à l'intérieur d'un cadre assez mal défini, le concept de système national d'innovation demeurant encore flou.
Second constat: les participantes et participants ont remarqué que les indicateurs utilisés dans les universités québécoises sont généralement assez conventionnels et peu explicites de l'aspect &laqno;pertinence» de la recherche. Mais à partir du moment où l'on s'interroge sur la pertinence de la recherche, c'est aussi la mission traditionnelle de l'université que l'on questionne. Toutefois - et cela la plupart des personnes en conviennent - il est tout à fait approprié d'interroger cette mission traditionnelle et d'y ajouter des fonctions. Mais est-ce le rôle de l'université que d'être le moteur de l'innovation et du développement économique? Les avis sont partagés, mais on constate notamment que les scientifiques ont très souvent participé à des projets liés aux grands objectifs socio-économiques des sociétés.
Les participants et participantes ont aussi examiné une grille d'indicateurs développée par Benoît Godin sur la diffusion, le transfert et les impacts de l'activité scientifique selon les acteurs visés. Ces acteurs, ce sont les autres scientifiques, les étudiants et étudiantes, les membres de la communauté politico-économique (les décideurs) et de la communauté socioculturelle (le grand public). Cela a permis de cerner quelques unes de leurs préoccupations, et de convenir de certains paramètres pouvant utilement figurer à une telle grille. La notion de &laqno;client» a notamment été soulevée: Qui sont les clients de la recherche?
Finalement, et cela rejoint l'objectif plus général du colloque sur l'utilité de la recherche, les participants et participantes se sont interrogés à savoir quels étaient les arguments que l'on devrait utiliser pour démontrer aux décideurs, en cette période de compressions budgétaires, la nécessité de financer la recherche. Quels sont surtout les outils que l'on peut se donner pour bien mesurer si la recherche est efficace, efficiente?
Les besoins de recherche en matière d'indicateurs
Des indicateurs de l'activité de recherche universitaire, il en existe beaucoup. Ce que l'on retrouve généralement moins, ce sont des &laqno;mises en contexte». Les participantes et participants à l'atelier ont constaté que la mise en perspective des statistiques issues des indicateurs de recherche est déficiente.
Nul doute qu'un effort soutenu devra être fait au cours des prochaines années pour corriger cette situation. Il serait pertinent d'allier le quantitatif au qualitatif dans l'analyse: les statistiques issues des indicateurs de recherche devraient appuyer des démonstrations, favoriser l'argumentation, permettre un débat de fond sur les grands enjeux de société et sur l'apport considérable de la recherche universitaire aux problèmes du Monde et de la Planète.
Aussi surprenant que cela puisse paraître, les gouvernements financent la recherche universitaire avec des sommes relativement importantes mais l'utilisent très peu!
Les participants et participantes se sont également interrogés à savoir ce qu'était une statistique pertinente. Celles qui sont trop complexes, trop spécifiques, n'intéressent que les administrateurs et administratrices de recherche. Elles sont très certainement pertinentes mais peu pratiques dans la perspective de &laqno;convaincre» les décideurs et l'opinion publique de &laqno;l'utilité» de la recherche.
Une statistique semble à plusieurs particulièrement &laqno;signifiante» (au sens de: &laqno;pleine de sens»): le Québec est responsable de 1% de la production scientifique mondiale. N'est-ce pas ce genre de statistiques globales qu'il faudrait véhiculer?
Mais qui prend les décisions? Quelles sont les personnes, les institutions que l'on se doit de sensibiliser? Sans doute, les administratrices et administrateurs de la recherche doivent-ils s'interroger à savoir non seulement comment ils peuvent démontrer l'utilité de la recherche, mais aussi à qui ils doivent adresser cette démonstration.
Conclusion et recommandation
Il n'y a pas de conclusion définitive au débat, pas plus que de conclusion partielle, sinon cette volonté partagée de prendre conscience du fait que les statistiques issues de ces indicateurs serviront à alimenter des discours. Et il faudrait peut-être dans ce contexte s'interroger à savoir: Qui dit quoi? à qui? mais surtout dans quel but?
Il a été recommandé qu'un groupe de travail soit
mis sur pied le plus rapidement possible suite à cet atelier, à
l'initiative de l'animateur de l'atelier, afin de pousser plus loin la réflexion
et la recherche dans le domaine. Les gouvernements et les organismes qui
financent la recherche s'intéressent à la question des indicateurs
de performance, et si ces indicateurs risquent d'être utilisés
pour moduler les formules de financement, les universités, les administratrices
et administrateurs de la recherche ont intérêt à explorer
cette question de toute urgence. Dans l'actuel contexte, l'attitude proactive
est de mise: les administrateurs et administratrices de recherche doivent
&laqno;anticiper» et &laqno;prévoir» plutôt que
&laqno;réagir» une fois que le changement se sera imposé.
Un rapport sur la question sera soumis aux membres de l'ADARUQ lors du prochain
colloque.