Examen par les pairs, Rapport, Qualité, Outil, Revue systématique, Enquête, Développement, Validation

L'examen des articles par les pairs est un élément incontournable de la publication scientifique. Ce processus a été mis en place afin que des experts indépendants puissent vérifier les articles de recherche avant leur publication. Malgré le recours de longue date au processus d'examen par les pairs, son impact est toujours sujet à controverse et il doit être amélioré. À cette fin, nous avons besoin de mesures de résultats appropriées, en particulier d'un outil validé permettant de définir clairement la qualité d'un rapport d'examen par les pairs dans la recherche biomédicale. L'objectif final du présent projet de doctorat était de développer et de valider un nouvel outil permettant d'évaluer la qualité des rapports d'examen par les pairs dans la recherche biomédicale. Comme point de départ pour le développement d'un nouvel outil, nous avons effectué une revue systématique méthodologique afin d'identifier et de décrire les outils existants destinés à évaluer la qualité des rapports d'examen par les pairs dans la recherche biomédicale. Nous avons identifié 24 outils, dont 23 échelles et 1 liste de contrôle. Aucun des outils ne donnait de définition de la qualité d'un rapport d'examen par les pairs. Un seul décrivait le développement de l'outil et dix fournissaient des mesures de fiabilité et de validité. Nous avons classé les composants de qualité des 18 outils avec plus d'un élément en 9 domaines de qualité principaux et 11 sous-domaines. Deuxièmement, nous avons formé un comité de pilotage composé de cinq membres aux compétences diverses, qui définissait la qualité des rapports d'examen par les pairs. Nous avons mené une enquête en ligne destinée aux rédacteurs et aux auteurs de publications biomédicales afin de 1) déterminer si les participants approuvaient la définition de la qualité des rapports d'examen par les pairs que nous proposons ; 2) identifier les critères les plus importants à inclure dans l'outil ; et 3) identifier les critères manquants. Sur la base des réponses qualitatives et quantitatives des participants, le comité de pilotage a modifié la définition initialement proposée de la qualité du rapport d'examen par les pairs, a examiné tous les éléments et, finalement, a rédigé et affiné la version finale de l'outil. L'outil ARCADIA (Assessment of Review reports with a Checklist Available to eDItors and Authors, Évaluation des rapports d'examen à l'aide d'une liste de contrôle à la disposition des éditeurs et auteurs) a finalement été développé. Enfin, nous avons testé l'outil et évalué son acceptabilité, sa fiabilité et sa validité. ARCADIA a été validé par un échantillon hétérogène d'éditeurs et d'auteurs du domaine biomédical à partir d'un échantillon de rapports d'examen par les pairs issus de deux revues biomédicales différentes (The BMJ et BMJ Open). Les tests de terrain ont démontré que les propriétés psychométriques d'ARCADIA ne sont pas entièrement satisfaisantes. Les résultats de l'étude de validation devraient être utilisés pour développer une nouvelle version de l'outil ARCADIA. En outre, la nouvelle version devrait également être validée dans un contexte de publication réel en utilisant des rapports d'examen par les pairs associés à des manuscrits avec différents modèles d'étude et provenant de différents types de revues. Cette thèse doctorale a permis de développer et de valider un nouvel outil permettant d'évaluer la qualité d'un rapport d'examen par les pairs. ARCADIA constitue le premier outil développé de manière systématique afin d'évaluer la qualité des rapports d'examen par les pairs et sa validation est basée sur un échantillon large et diversifié d'éditeurs et d'auteurs du domaine biomédical. Cet outil pourrait être utilisé régulièrement par les éditeurs pour évaluer le travail des examinateurs, ainsi que comme résultat lors de l'évaluation des interventions visant à améliorer le processus d'examen par les pairs.