Indicateurs science ouverte

L'évaluation est source de biais qui la rendent imparfaite et critiquable, notamment pour les SHS.
 

Survalorisation des articles en anglais

La survalorisation des articles a pour conséquence de réduire la visibilité des productions scientifiques autres et de limiter leur impact, notamment celui des productions en sciences humaines et sociales qui prennent des formes différentes (monographies, communications…). Par ailleurs, ces dernières sont souvent rédigées dans d’autres langues que l’anglais. Mais même quand la production en science humaine est réalisée sous forme d’article scientifique écrit ou non en anglais, elle n’en demeure pas moins, peu visible.
En effet, l’évaluation de la production scientifique des chercheurs, des laboratoires et des institutions, s'appuie le plus souvent sur de bases de données bibliographiques internationales payantes (Web of Science ou Scopus). Dans ces bases, la représentation des sciences humaines est très faible.

Prépondérance de l’activité de recherche

Le système actuel de l’évaluation ne considère que les activités de recherche, au détriment d’autres dimensions que sont l’enseignement (notamment l’encadrement des doctorants), la participation académique (relecture, participation aux comités de revues...), ou encore citoyenne (communication auprès du grand public). De plus, il est également important de faire respecter l’intégrité scientifique et l’éthique, des critères qui mériteraient d'être systématiquement pris en compte dans l’évaluation.

Biais des indicateurs utilisés

L’approche de l'évaluation est essentiellement quantitative car elle utilise des indicateurs comme le facteur d’impact des revues, ou le h-index. Ces indicateurs possèdent de nombreuses limites qui rendent leur usage exclusif problématique. L'approche qualitative devrait être privilégiée.

Manque d'ouverture des produits de la recherche

Le manque d’ouverture des produits de la recherche limite les coopérations scientifiques, entrave la reproductibilité des travaux, et constitue un obstacle à l’appropriation des résultats de la recherche par les citoyens. Les pratiques de science ouverte et de science avec et pour la société devraient être valorisées dans l'évaluation.

Diversité de la production scientifique et science ouverte

Évaluer la diversité de la production scientifique dans un cadre inclusif et de science ouverte est l'un des principaux engagements pris par les signataires de CoARA. Dans l’évaluation des chercheurs, il est important de prendre en compte la totalité des activités et des services rendus aussi bien à la communauté scientifique qu’à la société dans son ensemble. Par ailleurs, les pratiques de science ouverte, de coopération, ainsi que l’intégrité scientifique et la recherche d’inclusivité, doivent être récompensées, car non seulement elles contribuent à une recherche plus éthique et plus juste, mais également plus efficace, plus impactante, et de meilleure qualité.

Évaluation qualitative et usage raisonné des indicateurs quantitatifs

Baser l’évaluation uniquement sur les qualités intrinsèques des travaux avec un usage raisonné des indicateurs quantitatifs implique d’encourager et de renforcer l’examen par les pairs, et de valoriser les chercheurs qui s’y soumettent et qui la pratiquent. Quand le contexte le permet, cet examen qualitatif pourra être complété par un usage raisonné d’indicateurs quantitatifs comme le nombre de publication dans des revues avec un fort facteur d’impact. Comme le mentionne DORA, le facteur d’impact « a été créé à l’origine comme un outil d’aide pour les bibliothécaires servant à identifier les revues à acheter, et non pour mesurer la qualité scientifique de la recherche exposée dans un article ». Par ailleurs, « les données utilisées pour calculer les facteurs d’impact ne sont ni transparentes ni ouvertement accessibles au public. ».

Précautions vis-à-vis des classements internationaux

La méthodologie des classements internationaux n’est pas toujours transparente et l'évaluation de la production s'appuie sur des données issues de bases payantes. Il est donc difficile de savoir exactement ce que mesurent ces classements et de reproduire leurs résultats. Si l'usage de ces palmarès s'avère pertinent, il est important de bien préciser leurs limites.