Dans le billet précédent, j'avançais que la réplication indépendante est l'étape à partir de laquelle un résultat commence à paraitre fiable, et que les métadonnées PubMed donnent au lecteur la matière première pour vérifier si cette réplication a effectivement eu lieu. La question finale portait sur celui ou celle qui aurait essayé de faire échouer une méthode donnée.

Ce billet reprend le fil de l'autre côté de l'essai. Supposons que la réplication ait eu lieu. Supposons que l'équipe soit indépendante. L'essai a été mené proprement, le comparateur est raisonnable, l'analyse est publiée. Il reste encore une question qu'un lecteur attentif doit se poser avant de lire la conclusion telle quelle : qu'est-ce qui a été mesuré, et sur l'instrument de qui ?

Cela ressemble à une petite question. Ce n'en est pas une. La mesure de résultat est l'endroit où l'essai entier — les années de design, le recrutement, le temps des participants, le choix minutieux du comparateur — est réduit à un chiffre qui s'améliore ou ne s'améliore pas. Tout le reste se déverse dans ce point unique. Si l'instrument a été mal choisi, ou conçu en interne précisément pour montrer ce que l'intervention était censée montrer, l'essai peut être irréprochable à tous les autres égards et produire malgré tout une conclusion qui dit moins qu'elle n'en a l'air. Plus d'une fois dans ma carrière de lecteur, je suis ressorti d'un article clinique où les méthodes étaient plus fines que la mesure, sans savoir avec certitude si le résultat avait mérité le vocabulaire employé pour le décrire.

Ce que veut dire « externe »

Le mot externe, dans ce contexte, a un sens précis. Une mesure de résultat externe est une mesure dont les propriétés psychométriques ont été examinées et rapportées par une communauté de chercheurs autre que l'équipe qui a développé l'intervention testée. Cette communauté a mené des études de validation portant sur la fidélité inter-juges et test-retest, sur la validité de construit par rapport à des mesures apparentées, sur la sensibilité au changement cliniquement significatif, et sur la capacité du plancher et du plafond de l'instrument à capter le type de patients que l'essai recrute.

Ce travail de validation est sa propre littérature scientifique, avec ses propres standards méthodologiques. L'initiative COSMIN — COnsensus-based Standards for the selection of health Measurement INstruments — produit depuis la fin des années 2000 une taxonomie des propriétés de mesure, une grille d'évaluation des études portant sur ces propriétés, et un cheminement recommandé pour choisir les instruments dans les essais cliniques (Mokkink et al., 2010). Le manuel dont elle fait partie compte plusieurs centaines de pages. Choisir un instrument de mesure n'est pas, dans une méthodologie sérieuse, une décision de mardi matin. C'est un choix de recherche qui pèse autant, sur le plan épistémique, que le choix du comparateur.

Quand un essai rapporte son résultat sur un instrument validé, le mot fait un vrai travail. Il implique que quelqu'un, quelque part, a démontré (dans des publications avec comité de lecture) que l'instrument mesure ce qu'il prétend mesurer, chez des patients qui ressemblent à ceux étudiés, avec une sensibilité aux changements du type que l'essai espère détecter. L'instrument a, autrement dit, parcouru son propre chemin probatoire. (Oui, les instruments aussi ont des chemins probatoires. Récursion jusqu'en bas.)

Ce que signale un score interne à la méthode

Une mesure de résultat interne à la méthode est une mesure conçue par le même groupe que celui qui a conçu l'intervention. Le système de scoring n'est pas nécessairement faux ; il peut, en fait, capter quelque chose qui échappe aux instruments validés. Mais il porte trois caractéristiques structurelles que le lecteur doit enregistrer.

La première, c'est la comparabilité. Un essai scoré sur le Brief Pain Inventory peut être posé côte à côte avec des centaines d'autres essais qui ont utilisé le même instrument. Un essai scoré sur un questionnaire à cinq items développé pour l'étude, sans validation publiée, ne le peut pas. Chaque score interne à la méthode est, en fait, une ile. La méta-analyse devient difficile, voire impossible, et l'inférence entre essais s'effondre en comparaison qualitative — une façon polie de dire qu'elle cesse d'être de l'inférence.

La seconde, c'est l'asymétrie de sensibilité. Une échelle développée par des personnes qui savent exactement ce que leur intervention est censée faire tend à être sensible précisément à ces effets-là. Cela parait souhaitable ; ce ne l'est pas tout à fait. Un instrument sensible-à-notre-effet détectera les changements attendus et pourra discrètement passer à côté de changements que l'intervention a également produits, y compris, à l'occasion, des changements qui comptaient davantage pour le patient que pour les concepteurs. C'est rarement délibéré ; c'est presque toujours sincère, ce qui explique en partie pourquoi c'est difficile à voir de l'intérieur.

La troisième est un recoupement structurel avec la question d'indépendance du billet précédent. Une littérature dans laquelle l'intervention, la formation et la mesure de résultat ont toutes été conçues par le même réseau est une littérature dont les preuves internes sont plus difficiles à peser de l'extérieur. Aucune de ces trois pièces, prise isolément, ne pose problème. La combinaison concentre le risque probatoire d'une manière que le lecteur peut nommer. Ce nommage, plus que n'importe quel jugement méthodologique isolé, est l'essentiel de ce que la littératie probatoire apporte concrètement.

Quand le choix de la mesure change la conclusion

Pour voir le poids qu'une mesure de résultat peut porter, la littérature sur la douleur chronique est un cas utile — en partie parce que le champ a fini par s'en apercevoir et par tenter d'y remédier, ce qui nous donne la maladie et le traitement dans le même corpus.

Tout au long des années 1990 et au début des années 2000, les essais portant sur les interventions analgésiques et comportementales pour la douleur chronique utilisaient une large gamme de mesures de résultat : le McGill Pain Questionnaire, le Brief Pain Inventory, des échelles visuelles analogiques ad hoc, des items uniques d'impression globale du patient, des échelles de fonction spécifiques à la condition, et toutes sortes de critères de répondeur internes définis essai par essai. La même intervention pouvait paraitre modestement efficace dans un essai et décevante dans un autre, et une grande part de la divergence se laissait remonter à l'instrument que les investigateurs avaient choisi et à la définition retenue pour un répondeur. La comparaison entre essais était difficile. Les pools en méta-analyses l'étaient encore davantage. Le champ le savait ; les cliniciens le ressentaient ; les étudiants découvraient cette hétérogénéité dès leur première revue systématique et supposaient simplement que la recherche clinique fonctionnait comme ça.

Le processus consensuel IMMPACT a été la réponse. En 2005, un groupe international de chercheurs, de cliniciens et de méthodologistes a publié un ensemble de recommandations sur les domaines de résultats centraux à mesurer dans tout essai clinique sur la douleur chronique — intensité de la douleur, fonctionnement physique, fonctionnement émotionnel, impression globale d'amélioration par le patient, symptômes et évènements indésirables, et flux des participants (Dworkin et al., 2005). Les publications suivantes ont proposé des instruments validés précis pour chaque domaine. Quinze ans plus tard, la littérature a une allure structurelle différente. Les essais rapportent sur un noyau commun reconnaissable, les méta-analyses se regroupent plus proprement, les comparaisons partent d'un langage de mesure partagé plutôt que d'une tour de Babel.

Le point pertinent pour le lecteur de toute revendication clinique, c'est l'ampleur du déplacement. Les interventions n'ont pas changé entre 2002 et 2015. Les patients n'ont pas changé. Ce qui a changé, c'est l'instrument sur lequel ils ont été mesurés, et les effets apparents (lus dans l'ancienne par rapport à la nouvelle littérature) ont une allure différente d'une manière qui compte cliniquement.

C'est une histoire positive. Elles ne sont malheureusement pas la norme. La plupart des domaines de la recherche clinique n'ont pas de consensus comme IMMPACT, et la charge d'évaluer les mesures de résultats retombe sur le lecteur — ce qui est la situation dans laquelle se trouvent la plupart des lecteurs de la plupart des champs.

Lire les articles d'essais sous l'angle de la mesure de résultat

Où, dans un essai publié, un lecteur va-t-il regarder concrètement ?

La section méthodes d'un essai randomisé est tenue, selon les recommandations de rapport CONSORT 2010, de spécifier des mesures de résultats primaires et secondaires complètement définies et préspécifiées, ainsi que la manière et le moment où elles ont été évaluées (Schulz, Altman, & Moher, 2010). C'est le premier endroit où regarder. Trois questions suffisent généralement.

La mesure principale a-t-elle été nommée, et nommée seule ? Si l'analyse de l'essai traite deux ou trois mesures comme des critères équivalents sans hiérarchie préspécifiée, le lecteur est invité à accepter un résultat qui peut avoir bénéficié de la flexibilité analytique. La préspécification est une protection structurelle contre le fait de présenter la mesure la plus favorable comme conclusion de l'essai.

La mesure principale était-elle un instrument validé externe ? Si oui, le lecteur peut — en quelques minutes sur PubMed — retrouver les études de validation d'origine, vérifier si l'instrument a été utilisé dans des populations comparables, et lire si d'autres groupes ont signalé des limites. Si non, le lecteur est invité à se fier à la parole des concepteurs sur ce que le score signifie. Les deux situations existent ; une seule des deux laisse au lecteur la possibilité de vérifier.

Le critère de répondeur a-t-il été préspécifié, et justifié par rapport à un précédent publié ? Beaucoup d'essais rapportent la proportion de participants qui atteignent une amélioration cliniquement significative — généralement définie comme un changement-seuil, exprimé en points ou en pourcentage. Savoir si ce seuil correspond à une différence minimale cliniquement importante établie de façon indépendante est l'une des questions isolées les plus informatives qu'un lecteur puisse poser. Un seuil choisi par l'équipe de l'essai, sans référence à une valeur publiée antérieurement, c'est un endroit où la conclusion peut reposer sur un plancher déplacé.

Un essai qui survit aux trois questions a fait son travail sur les mesures de résultats. Un essai qui n'y survit pas n'est pas nécessairement faux ; il fait simplement moins du travail probatoire que la conclusion ne le suggère, et la confiance du lecteur devrait s'ajuster en conséquence.

Un exercice, pour la prochaine fois

Voici un petit exercice à faire sur le prochain article clinique que vous lisez. (Inutile de le faire bien. Il suffit de le faire.)

Regardez uniquement les sections méthodes et résultats — pas la discussion. Identifiez chaque mesure de résultat nommée. Pour chacune, indiquez s'il s'agit :

(a) d'un instrument validé externe avec des propriétés psychométriques publiées — un nom familier, des références citables dans les méthodes, utilisé par d'autres groupes dans des populations comparables ;

(b) d'un instrument validé externe adapté pour l'essai — critère de répondeur redéfini, seuil déplacé, sous-échelle extraite ;

(c) d'un score interne à la méthode, conçu par l'équipe de l'essai, sans littérature de validation antérieure.

Lisez ensuite la discussion. Remarquez la mesure sur laquelle les auteurs s'appuient le plus dans la conclusion. Remarquez si c'est celle que l'essai avait enregistrée comme critère principal. Remarquez si les mesures secondaires — en particulier les instruments externes validés — racontent la même histoire ou une autre.

Vous ne pourrez pas toujours répondre proprement. Certains résumés compriment les méthodes au point d'en devenir opaques, et seul l'article complet rend visibles les choix de mesure. (C'est aussi, en soi, un constat.) L'habitude de regarder — d'abord ce qui a été mesuré, et ensuite seulement le résultat — fait partie de ces petites disciplines qui, discrètement, changent la manière dont une littérature se lit.

Conclusion

Une mesure de résultat est le point de couplage de l'essai au monde. C'est l'endroit où physiologie, comportement, souffrance, fonction ou bien-être sont réduits à un chiffre qui bouge ou qui ne bouge pas. Le choix de ce couplage est lui-même une décision de recherche ; parfois contestée, parfois consensuelle, rarement neutre.

Un essai qui a choisi sa mesure de résultat dans un catalogue publié et validé en externe, qui l'a utilisée telle que préspécifiée, qui l'a rapportée que le résultat soit positif ou nul, et qui a comparé son résultat à d'autres essais ayant utilisé le même instrument, a fait le genre de travail de mesure qui permet à un lecteur de prendre la conclusion au sérieux. Un essai dont l'instrument de résultat a été construit en interne, dont le critère de répondeur a été fixé sans référence à un seuil établi, et dont la conclusion repose sur une mesure qu'aucun autre groupe de recherche n'a de raison d'utiliser, fait un travail probatoire différent — et le lecteur est en droit de le peser différemment.

Le propos n'est pas que les scores internes à la méthode soient inacceptables. Ils captent parfois exactement ce que rien d'autre ne capte, et le champ serait plus pauvre sans eux. Le propos est qu'ils relèvent d'un cadre que le lecteur peut voir. Le cadre n'est pas punitif ; il est interprétatif. Il dit voici ce que l'essai a mesuré, voici qui a décidé de ce qui compte comme amélioration, voici ce que ces décisions achètent et ce qu'elles coutent.

La question la plus utile à garder en tête, quand une revendication clinique se présentera la prochaine fois, est celle qui découle de ce billet et du précédent :

Qu'est-ce qui a été mesuré, sur l'instrument de qui — et cet instrument pouvait-il, à un moment quelconque, ne rien rapporter ?

References

• Boers, M., Kirwan, J. R., Wells, G., Beaton, D., Gossec, L., d'Agostino, M. A., Conaghan, P. G., Bingham, C. O., Brooks, P., Landewé, R., March, L., Simon, L. S., Singh, J. A., Strand, V., & Tugwell, P. (2014). Developing core outcome measurement sets for clinical trials: OMERACT filter 2.0. Journal of Clinical Epidemiology, 67(7), 745–753. https://doi.org/10.1016/j.jclinepi.2013.11.013

• Dworkin, R. H., Turk, D. C., Farrar, J. T., Haythornthwaite, J. A., Jensen, M. P., Katz, N. P., Kerns, R. D., Stucki, G., Allen, R. R., Bellamy, N., Carr, D. B., Chandler, J., Cowan, P., Dionne, R., Galer, B. S., Hertz, S., Jadad, A. R., Kramer, L. D., Manning, D. C., Martin, S., … Witter, J. (2005). Core outcome measures for chronic pain clinical trials: IMMPACT recommendations. Pain, 113(1–2), 9–19. https://doi.org/10.1016/j.pain.2004.09.012

• Mokkink, L. B., Terwee, C. B., Patrick, D. L., Alonso, J., Stratford, P. W., Knol, D. L., Bouter, L. M., & de Vet, H. C. W. (2010). The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. Journal of Clinical Epidemiology, 63(7), 737–745. https://doi.org/10.1016/j.jclinepi.2010.02.006

• Schulz, K. F., Altman, D. G., & Moher, D., for the CONSORT Group. (2010). CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332. https://doi.org/10.1136/bmj.c332