Observations destinées aux candidats : Exploration 2018

Les membres du comité d’évaluation multidisciplinaire ont fait part de leurs observations au sujet des demandes qui ont été présentées au concours inaugural du volet Exploration et qu’ils ont évaluées.

Processus d’évaluation

En tout, 1 315 demandes admissibles ont été présentées au concours inaugural du volet Exploration du fonds Nouvelles frontières en recherche, lancé en décembre 2018. Chaque demande a été affectée à trois évaluateurs, qui en ont évalué environ trente chacun. Les évaluateurs ont attribué des cotes à chaque demande, pour les critères de haut risque, de haut rendement et de faisabilité, tels qu’ils sont définis dans les grilles d’évaluation. Ils en ont retenu 25 p. 100 qu’ils jugeaient les meilleures parmi celles qu’ils ont évaluées (de six à huit demandes, en général). Les demandes qui ont été choisies dans ce lot par au moins deux évaluateurs, ou qui ont été désignées comme meilleure demande ou deuxième meilleure demande par l’un des évaluateurs, ont été retenues pour être examinées de nouveau et faire l’objet de plus amples discussions au cours de la réunion du comité d’évaluation multidisciplinaire.

Les membres du comité se sont réunis en personne à Ottawa les 26 et 27 mars 2019 pour évaluer les 321 demandes les mieux notées. Cette réunion leur a permis de débattre des points forts et des points faibles de chaque demande en se fondant sur les critères d’évaluation. À la fin de la réunion, les membres du comité ont dressé une liste des demandes à recommander à des fins de financement. La liste a été présentée au Comité de coordination de la recherche au Canada pour approbation.

Cotes attribuées

En fonction des notes accordées par les membres du comité d’évaluation multidisciplinaire, chaque demande s’est vu attribuer une cote générale pour chacun des trois critères. La cote générale pour un critère est égale à la moyenne des notes des trois évaluateurs, pour ce critère en particulier, avant la réunion du comité d’évaluation multidisciplinaire; par conséquent, ces cotes ne sont pas des cotes consensuelles. De ce fait, les cotes générales donnent une idée de la façon dont les évaluateurs ont perçu une demande, mais elles n’ont pas été utilisées isolément pour déterminer les demandes qui allaient être financées.

Les demandes qui ont fait l’objet de discussions lors de la réunion ont aussi été évaluées en fonction des critères d’équité, de diversité et d’inclusion ainsi que d’interdisciplinarité par deux comités d’évaluation internes des trois organismes subventionnaires. Pour ces critères, les demandes ont reçu une cote de réussite ou d’échec; les notes finales ont été établies après des discussions avec le comité d’évaluation multidisciplinaire.

Points forts et points faibles des demandes

Voici un résumé de quelques éléments que les évaluateurs ont mentionnés fréquemment dans leurs discussions par rapport aux critères d’évaluation.

Comme pour toutes les occasions de financement, les demandes bien rédigées qui présentent clairement et de façon concise le projet proposé, tout en satisfaisant aux critères du programme, sont davantage susceptibles d’être bien comprises et reçues favorablement par les évaluateurs. S’agissant du fonds Nouvelles frontières en recherche, dont les demandes sont évaluées par des comités d’évaluation multidisciplinaires, les évaluateurs ont fait remarquer qu’il est encore plus important de mettre le projet en contexte (le cas échéant) et d’éviter l’emploi de jargon.

Haut risque

Les demandes qui se sont démarquées au cours de l’évaluation étaient celles qui proposaient des approches nouvelles et intéressantes faisant appel à de nouvelles combinaisons de disciplines, à des façons innovantes et créatives d’intégrer plusieurs disciplines et à des démarches ayant recours à des techniques multiples et communes à des disciplines distinctes. Les demandes qui proposaient d’intégrer des disciplines qui n’interagissent que rarement ont particulièrement retenu l’attention. Les demandes choisies expliquaient clairement les éléments qui faisaient de la recherche proposée un projet à haut risque et ce qui la distinguait d’ajouts apportés à des projets de recherche antérieurs ou en cours.

Haut rendement

Les demandes que les évaluateurs ont considérées comme ayant un potentiel de haut rendement comprenaient celles qui, si elles réussissaient, auraient un impact important sur le plan sociétal, économique, technologique ou en matière de santé, toucheraient une grande partie de la population, modifieraient considérablement les pratiques actuelles (défiant les paradigmes), auraient un impact sur de nombreux champs de recherche ou domaines d’application ou viendraient à bout de difficultés majeures.

Les évaluateurs ont été impressionnés par les demandes proposant d’examiner des questions cruciales, mettant de l’avant des domaines entièrement nouveaux ou ouvrant un nouveau champ de recherche au Canada. Les possibilités de créer des occasions de formation inédites pour des personnes hautement qualifiées ont aussi été vues comme une contribution au potentiel de haut rendement. Les demandes retenues ont clairement montré l’importance de résoudre le problème abordé, ont décrit distinctement les résultats attendus du projet et ont pris en considération la notion de « l’application au monde réel » pour décrire l’impact potentiel.

Faisabilité

Plusieurs facteurs ont été pris en compte dans l’attribution d’une cote élevée en matière de faisabilité. L’un des principaux éléments recherchés par les évaluateurs était que la composition de l’équipe reflète les compétences et les disciplines requises pour réussir l‘exécution de la recherche prévue. Les demandes ont retenu vivement l’attention quand elles mettaient en évidence les rôles de chaque membre de l’équipe et les contributions et les méthodes de chacune des disciplines. Les collaborations, les relations avec l’industrie, les liens avec les utilisateurs des connaissances et l’engagement envers les aînés et les communautés autochtones (le cas échéant) ont aussi été vus comme des points forts de la demande. En ce qui concerne les grandes équipes, la demande se trouvait renforcée si elle comportait des indications sur la façon dont les membres de l’équipe travailleraient ensemble et sur la contribution de chaque personne. Les évaluateurs cherchaient des projets bien conçus avec des objectifs clairement définis et un plan approprié pour les atteindre en respectant l’échéancier du projet, ainsi que de l’information sur la méthodologie qui serait utilisée.

Les évaluateurs s’attendaient à ce que les équipes de recherche tiennent compte de l’analyse comparative fondée sur le sexe et le genre, le cas échéant, et qu’elles l’utilisent pour élaborer leur approche méthodologique. Les évaluateurs s’attendaient aussi à ce que les propositions ayant trait à la recherche autochtone abordent l’aspect des interactions avec les personnes des Premières Nations et des peuples inuit ou métis.

Étant donné le risque élevé lié à ces propositions, le fait d’inclure dans la demande des plans visant à faire face à toute éventualité a été considéré positivement.

Équité, diversité et inclusion

Les évaluateurs ont tenu compte des éléments d’équité, de diversité et d’inclusion  pour retenir 25 p. 100  des demandes (celles qu’ils jugeaient les meilleures) et pour déterminer les demandes à financer. Un comité d’évaluation interne composé de représentants des trois organismes subventionnaires a aussi examiné la section de la demande consacrée à l’équité, à la diversité et à l’inclusion. Ce comité était à la recherche d’au moins une mesure concrète traitant de chacun des trois aspects suivants : la composition de l’équipe et la formation de ses membres, le recrutement et l’inclusion. Les évaluateurs ont retenu les demandes qui faisaient montre d’un engagement clair et manifeste envers l’équité, la diversité et l’inclusion, les ayant intégrées dans les activités de l’équipe. Les évaluateurs ont aussi jugé favorablement les demandes des équipes qui encourageaient la diversité et le caractère inclusif du projet et qui comprenaient des engagements en matière de formation.

Interdisciplinarité

L’interdisciplinarité des demandes a été évaluée à la fois par un comité d’évaluation interne des trois organismes subventionnaires et par le comité d’évaluation multidisciplinaire. Le comité d’évaluation interne a évalué les demandes en fonction de la définition adoptée pour ce critère, à savoir que le projet comporte des éléments relevant d’au moins deux groupes distincts de la Classification canadienne de la recherche et du développement et que ceux-ci se retrouvent dans la proposition. Les cotes de réussite ou d’échec ne se rapportent qu’à cette évaluation technique.
Les membres du comité d’évaluation multidisciplinaire ont évalué l’interdisciplinarité des demandes et l’ont prise en considération dans leur évaluation du critère de haut risque. Étant donné la nature multidisciplinaire du comité d’évaluation, les demandes qui se sont démarquées sont celles qui repoussaient les limites en matière d’interdisciplinarité. Celles qui regroupaient plusieurs disciplines différentes et celles qui représentaient une combinaison, une intégration ou un amalgame inédits de disciplines ont été parmi les plus appréciées. Dans tous les cas, les évaluateurs ont voulu s’assurer que l’interdisciplinarité se retrouvait dans la composition de l’équipe et dans l’approche choisie.

Les évaluateurs ont apprécié les explications claires quant aux contributions de chaque membre de l’équipe et à la manière dont différentes pratiques seraient intégrées dans le plan de recherche. Les demandes qui proposaient des avancées dans plusieurs champs de recherche ont été particulièrement valorisées. Les évaluateurs ont attribué des cotes plus élevées aux demandes qui ont été conçues et élaborées d’un point de vue réellement interdisciplinaire, qu’ils ont préférées à des propositions pour lesquelles une composante interdisciplinaire avait été ajoutée à un projet de facture classique.