Rapport des coprésidents et des coprésidentes : Exploration 2019

Le rapport des coprésidents et des coprésidentes du comité d’évaluation multidisciplinaire du fonds Nouvelles frontières en recherche décrit le processus d’évaluation du Concours 2019 du volet Exploration et résume les observations des membres. Il est soumis au Comité de coordination de la recherche au Canada.

Coprésidents et des coprésidentes

Déroulement du concours

Le volet Exploration du fonds Nouvelles frontières en recherche vise à promouvoir la recherche interdisciplinaire à haut risque et à haut rendement. Le concours 2019 du volet Exploration comportait un processus d’évaluation en plusieurs étapes.

À l’étape de la lettre d’intention, 917 propositions ont été reçues, dont 321 (35 p. 100) étaient dirigées par des chercheurs en début de carrière. Une proposition peut être considérée comme étant dirigée par des chercheurs en début de carrière si le chercheur principal désigné et le cochercheur principal, s’il y a lieu, correspondent à la définition de chercheur en début de carrière du programme. Chaque lettre d’intention a été évaluée par trois membres du comité d’évaluation multidisciplinaire selon les critères de haut risque (50 p. 100), de haut rendement (50 p. 100) et d’interdisciplinarité et de conformité aux critères du programme (réussite/échec). À la suite de cette évaluation, 335 propositions ont été invitées à passer à l’étape de la demande. De celles-ci, 123 (36,7 p. 100) étaient dirigées par des chercheurs en début de carrière.

À l’étape de la demande, 325 demandes détaillée ont été reçues. Chaque demande a été évaluée par cinq membres du comité d’évaluation multidisciplinaire selon les critères de haut risque (40 p. 100), de haut rendement (40 p. 100), de faisabilité (20 p. 100) et d’équité, de diversité et d’inclusion (réussite/échec). À la suite des commentaires reçus lors du concours de 2018, des évaluations d’experts ont été demandées à des évaluateurs dans le cadre d’un processus à double insu, dans lequel les évaluateurs ne disposaient pas de renseignements permettant d’identifier les candidats. Les évaluateurs externes ont fourni des évaluations selon les critères de haut risque et de haut rendement ainsi que de faisabilité concernant uniquement le plan de recherche.

Les 104 membres du comité d’évaluation multidisciplinaire se sont réunis à Ottawa du 10 au 12 mars 2020 pour discuter des 325 demandes. Les membres et les demandes ont été répartis parmi six sous-comités composés de façon similaire en fonction de la représentation ou de la discipline des organismes membres, du sexe, de la langue, de l’étape de la carrière et de la région. Chaque sous-comité était dirigé par trois coprésidents, chacun représentant l’un des trois organismes subventionnaires de la recherche fédéraux.

Tous les membres d’un sous-comité, à condition qu’ils n’aient pas de conflit d’intérêts, ont participé à l’analyse des demandes qui leur étaient assignées. Les membres ont ensuite voté sur les demandes à recommander pour du financement, ce qui a conduit au classement des demandes de chaque sous-comité. Les coprésidents des six sous-comités se sont ensuite réunis pour comparer les classements et mettre la dernière main aux recommandations, en veillant à l’équité entre les sous-comités. Ce sont 186 demandes de financement recommandées, représentant un nombre égal de subventions pour chaque sous-comité. Parmi celles-ci, 71 (38,1 p. 100) étaient dirigées par des chercheurs en début de carrière.

Observations

À la fin du processus d’évaluation du concours, chaque sous-comité a tenu une discussion stratégique. Une autre discussion stratégique a ensuite eu lieu avec tous les coprésidents. Les membres se sont généralement montrés très positifs à l’égard du programme et du processus du concours dans son ensemble. Les membres qui avaient participé au concours de 2018 ont remarqué des améliorations au processus de cette année, notamment le fait que les membres, dans l’ensemble, étaient plus mobilisés, et que le temps supplémentaire consacré aux discussions a permis d’enrichir les débats. Le résumé des discussions et les suggestions sont présentés ci-dessous.

Procédure de sélection en deux étapes

• L’étape de la lettre d’intention, introduite lors du concours de 2019, a été appréciée par les membres, qui la considèrent comme une méthode efficace de tri des propositions en phase initiale leur permettant, à l’étape de la demande détaillée, de se concentrer sur les propositions les plus concurrentielles.
• Certains membres ont estimé que l’ajout du contenu de la lettre d’intention dans la demande détaillée allongeait inutilement le document. D’autres ont fait remarquer que cet ajout était particulièrement utile pour les demandes qui ne semblaient pas être interdisciplinaires. Dans nombre de ces cas, l’objet de la proposition avait quelque peu changé entre l’étape de la lettre d’intention et celle de la demande, ce qui a permis d’expliquer comment la demande a rempli le critère d’interdisciplinarité/conformité aux critères du programme à l’étape de la lettre d’intention, alors que ce ne semblait plus être le cas à l’étape de la demande. Les membres recommandent donc que la lettre d’intention soit annexée au dossier de la demande détaillée.

Évaluations externes à double insu

• Les rapports des évaluateurs externes ont été appréciés, et décrits comme « essentiels » et « extrêmement utiles », particulièrement lorsque la proposition portait sur un domaine ne relevant pas de la compétence d’un membre.
• Le processus à double insu, qui oriente le point focal de l’évaluation sur la proposition, a été considéré comme efficace et utile. Les membres ont dit souhaiter la poursuite de cette approche.
• La difficulté d’obtenir des évaluations externes pour toutes les demandes a été soulignée. Les membres proposent qu’un minimum de deux rapports par demande soit nécessaire, mais considèrent que plus de quatre serait excessif. Les membres ont mentionné qu’il pourrait être plus facile de recruter des évaluateurs externes si on leur demandait d’en suggérer. D’autres stratégies ont été suggérées, notamment l’obligation pour les titulaires de subvention d’agir à titre d’évaluateurs externes, la remise de lettres de reconnaissance aux évaluateurs externes ou, si possible, leur rémunération.

Équité, diversité et inclusion

• La participation active de tous les membres à l’évaluation du critère d’équité, de diversité et d’inclusion, y compris l’échec d’un certain nombre de demandes, a été un fait notable au concours de 2019.
• Les améliorations considérables apportées aux lignes directrices à l’intention des candidats et des membres sur l’équité, la diversité et l’inclusion ont été soulignées, même s’il a été reconnu que d’autres améliorations sont nécessaires. En particulier, les instructions devraient être plus claires et précises.
• Les demandes qui ne répondaient pas au critère d’équité, de diversité et d’inclusion ainsi que celles dont les sections relatives à ce critère étaient de moins bonne qualité présentaient plusieurs faiblesses communes, dont l’utilisation de renseignements sur la composition de l’équipe permettant d’identifier une personne, la présentation de la diversité de l’équipe seulement et non pas du facteur d’inclusion et l’absence de description des résultats attendus et des paramètres pour les évaluer.
• Les membres ont également donné des exemples de demandes qui répondaient de façon particulièrement forte au critère d’équité, de diversité et d’inclusion et incluaient des descriptions de pratiques concrètes à tous les niveaux du système de recherche : équipe de recherche, établissement et disciplines ou champs de recherche élargis.
• Les membres ont recommandé de préciser aux candidats que le plan d’équité, de diversité et d’inclusion doit viser les quatre groupes désignés définis par la Loi sur l’équité en matière d’emploi (femmes, Autochtones, personnes handicapées et minorités raciales).
• Les membres ont demandé des instructions plus claires et des exercices de calibrage supplémentaires pour évaluer le critère d’équité, de diversité et d’inclusion. Quelques membres ont suggéré que le critère d’équité, de diversité et d’inclusion pourrait être évalué de façon provisoire à l’étape de la lettre d’intention, ce qui donnerait aux candidats la possibilité d’améliorer, à l’étape de la demande, leur section relative à l’équité, à la diversité et à l’inclusion.
• Il a été suggéré que toutes les demandes analysées durant les réunions, y compris celles qui ont réussi, reçoivent des commentaires sur le critère d’équité, de diversité et d’inclusion afin de favoriser l’amélioration continue dans ce domaine.
• Il a été suggéré d’inclure, pour les candidats retenus, un mécanisme de reddition de comptes sur l’équité, la diversité et l’inclusion. Les candidats doivent être tenus de faire rapport sur les résultats des mesures d’équité, de diversité et d’inclusion pour vérifier la mise en œuvre des pratiques en cette matière. Les résultats globaux devraient également être rendus publics afin de démontrer les progrès réalisés.

Recherche autochtone

• Les membres ont considéré la recherche autochtone comme une dimension importante de ce programme, et ont été très consciencieux à ce sujet pendant le processus d’évaluation et lors des réunions. Dans cet esprit, ils ont également estimé que des améliorations pourraient être apportées pour soutenir les membres dans leurs évaluations.
• Les membres ont eu des difficultés avec le critère de haut rendement pour l’évaluation des demandes relatives à la recherche autochtone, en particulier en ce qui concerne l’indicateur de mérite sur la « portée » et le descripteur « impact sur la recherche ou la communauté des chercheurs ». Ils recommandent que le descripteur soit modifié pour inclure les communautés autochtones lorsque l’adéquation culturelle et le respect des différences sont essentiels.
• Tout en reconnaissant les efforts déployés pour compter sur des membres ayant une expérience de la recherche autochtone dans chaque sous-comité, les membres ont suggéré que des efforts supplémentaires soient faits pour augmenter leur représentation.
• Des lignes directrices sur l’évaluation de la recherche autochtone propres au fonds Nouvelles frontières en recherche ont été recommandées tant pour les candidats que pour les membres.

Haut risque, haut rendement et faisabilité

• Bien que de nombreuses propositions comportent un élément de haut risque et de haut rendement, les membres ont noté que le nombre d’idées très risquées et audacieuses était limité. Les membres qui n’en étaient pas à leur première expérience ont noté que, dans l’ensemble, le concours de 2019 semblait compter moins de propositions à très haut risque que celui de 2018. Des mesures créatives pourraient être nécessaires pour encourager davantage ces idées.
• Les demandes qui se sont distinguées énonçaient leurs objectifs avec audace, de sorte que les membres n’ont pas eu à « faire les liens » ni à attendre une « grande révélation » à la fin de la proposition. Ces demandes étaient bien structurées, proposaient quelque chose de différent, expliquaient comment le projet allait produire l’impact proposé à court et à long terme, et étaient rédigées clairement.
• Le nombre relativement faible de demandes issues des sciences humaines par rapport à celles provenant des sciences de la santé, des sciences naturelles et du génie a encore une fois été noté. Bien que les changements de formulation par rapport au premier concours aient été notés, les membres ont suggéré qu’un plus grand nombre d’exemples de recherches à haut risque et à haut rendement dans cette discipline soient communiqués. D’autres exemples de types de résultats à haut risque ou à haut rendement pourraient être intégrés dans les matrices d’évaluation (par exemple un résultat ayant une influence stratégique est un résultat à haut rendement).

Interdisciplinarité et conformité aux critères du programme

• Les demandes qui adoptaient une approche véritablement interdisciplinaire comprenaient une explication de la manière dont l’équipe allait intégrer des méthodologies nouvelles dans sa recherche, ainsi qu’un plan de travail bien rédigé. De plus, les demandes ont été évaluées par des experts et des non-experts, de sorte que celles qui ont été rédigées pour un public multidisciplinaire, sans jargon, ont été mieux reçues.
• Des divergences dans le critère d’interdisciplinarité et de conformité aux critères du programme entre l’étape de la lettre d’intention et celle de la demande détaillée ont posé problème pour certaines propositions. En conséquence, les membres ont fortement recommandé que le critère d’interdisciplinarité et de conformité aux critères du programme soit réévalué à l’étape de la demande détaillée.
• Les avis ont divergé sur l’admissibilité des propositions interdisciplinaires qui relevaient du mandat de l’un des trois organismes subventionnaires de la recherche fédéraux. Certains membres estimaient que seules les propositions touchant au mandat de plus d’un organisme devraient être admissibles, puisque l’interprétation de la question de savoir si une proposition pourrait être facilement soutenue par les occasions de financement actuellement offertes par les trois organismes est subjective et dépend de l’argumentation du candidat ainsi que de l’expérience et de la connaissance personnelles des membres des programmes et des politiques des organismes.

Processus d’évaluation et réunion du concours

• Un processus de triage à l’étape de la demande pourrait être mis en place afin que seules les demandes les mieux notées fassent l’objet de discussions, ce qui limiterait la durée de la réunion et la fatigue des évaluateurs.
• Certains membres ont suggéré que l’affectation de trois évaluateurs par demande serait suffisante, tandis que d’autres ont noté qu’ils appréciaient vraiment l’apport des cinq membres.
• Les matrices d’évaluation devraient être revues, afin de changer les cotes en une note numérique ou en des cotes mieux différenciées.