Comment éviter la mésaventure du Lancet ? – Ou comment l’économie de marché réussit là où le contrôle éditorial a échoué
Le fameux article publié par le Lancet, émanant de la société Surgisphere et de quelques chercheurs associés, restera dans les mémoires comme l’une des plus grandes fraudes de l’histoire des sciences.
Il n’est pas que cela : cette publication a terriblement terni l’image de la prestigieuse revue médicale britannique. Elle est arrivée au plus mauvais moment, jetant encore un peu plus de confusion sur la question de l’efficacité de l’hydroxychloroquine.
Pire, elle fournit un formidable carburant aux discours complotistes, présents et futurs : non seulement les sources officielles qui semblaient les plus solides ne sont plus dignes de foi, mais il est difficile de ne voir dans le calendrier de publication de l’article qu’une mauvaise coïncidence sans arrière-pensée politique.
Pourtant, ce triste épisode montre également la voie du remède. Les peer reviews et les procédés traditionnels de contrôle éditorial ne sont visiblement plus suffisants. Mais l’on peut remarquer que la supercherie a été découverte en moins d’une semaine, avec une efficacité extraordinaire, alors que des rétractations précédentes ont mis parfois plusieurs années à être reconnues. Il est très riche d’enseignement de savoir comment ce travail de mise à l’épreuve de l’article est intervenu et qui l’a mené.
Que signifie être un leader sur le marché de la Data Science ?
N’en déplaise à ceux qui ont soutenu l’article du Lancet avec l’énergie du désespoir – et se sont au passage beaucoup décrédibilisés – la fraude était détectable et démontrable très rapidement.
Les défenseurs de l’article soutenaient que c’était impossible : n’ayant accès ni aux données ni aux algorithmes de traitement de Surgisphere, comment pouvait-on savoir si l’étude était véritable ?
Ces défenseurs feraient de mauvais détectives. Ils ignorent une méthode de preuve simple : l’argument de plausibilité. Son principe ? Imaginez qu’une personne se mette à affirmer publiquement : je suis capable de battre Magnus Carlsen aux échecs. Ce n’est virtuellement pas impossible, mais il serait tenu de le démontrer sur l’échiquier par un match. Si de surcroit cette personne n’est absolument pas connue de la communauté échiquéenne, qu’elle n’a jamais pris part aux grands tournois internationaux, qu’elle n’apparaît pas dans le classement Elo, la probabilité que son affirmation soit vraie devient extrêmement faible. Elle n’est toutefois pas absolument nulle : il a existé dans tous les domaines des génies surgis de nulle part, même si cela est extrêmement rare.
Cependant, si cette même personne affirme : je suis capable de battre Magnus Carlsen aux échecs et Conor Mc Gregor dans l’octogone de l’UFC sans être connu de personne dans les grandes compétitions de MMA, vous savez que cette personne ment, sans avoir besoin de rien connaître de ses capacités physiques et mentales. Ce à quoi prétendait Surgisphere est précisément de cet ordre, dans les domaines de la Data Science et du Big Data appliqués aux données médicales.
Les arguments maîtres qui ont fait chuter Surgisphere ne sont pas d’ordre statistique ou clinique, mais entrepreneuriaux, tenant au fonctionnement de l’économie de marché.
Des bizarreries statistiques figuraient déjà : une homogénéité impossible entre continents, un matching incroyablement précis d’un propensity score sur 23 facteurs. Mais il était toujours possible de prétexter une erreur, ce que firent les auteurs de l’article, et de republier de nouvelles tables : tant que les données et traitements n’étaient pas connus, il n’y avait pas de preuve absolument formelle de leur fraude. Ce sont des arguments liés au management de toute entreprise de ce type qui m’ont fait franchir le stade de la certitude, et ce dès le 28 mai (1) .
Ce que Surgisphere a prétendu faire porte un nom : la centralisation du dossier patient, en France le dossier médical partagé (DMP)(2). Le principe en est simple : tout l’historique des données médicales d’une personne est rassemblé en un seul endroit, consultable par tout hôpital ou institution médicale qui en aurait besoin, avec bien entendu le consentement du patient.
Le recoupement de données entre différents hôpitaux permet un gain très important en temps et qualité du diagnostic. Avant l’instauration du DMP, les données d’un patient étaient parcellaires, éclatées sur des serveurs locaux appartenant à chaque hôpital. Leur croisement nécessitait des opérations lourdes, parfois étaient littéralement impossibles : les données cliniques sont parmi les plus cloisonnées au monde.
Surgisphere prétendait être un agrégateur du dossier patient pas seulement dans un pays, mais pour 671 hôpitaux répartis sur les 6 continents, représentant au total 96032 patients. Il faut signaler que le seul DMP en France a mis 16 ans pour voir le jour et a couté 500 millions d’euros à l’assurance maladie.
Certains « experts » auto-intronisés en Big Data sur les réseaux sociaux ont plaidé que la France était en retard, ayant réservé les données du patient au monopole d’Etat qu’est l’assurance maladie, tandis que dans des pays aux économies plus libres (USA, UK, etc.), un marché de la donnée médicale aurait permis une telle consolidation.
Ce n’est pas parce qu’un pays pratique l’économie libre que cela autorise – bien heureusement pour le libéralisme – de faire n’importe quoi. Dans n’importe quel pays du monde, USA et Angleterre compris, les données médicales sont parmi les plus sensibles et les plus sécurisées au monde, juste après celles de la défense. Dans tout pays, des protocoles d’accord importants doivent être signés avec les hôpitaux, sur des serveurs protégés par d’excellents pare-feux et chiffrant les données au plus haut niveau de sécurité. Le marché du Big Data n’existe que pour des données relatives à la consommation courante, celles de l’e-commerce et de l’IoT.
Une petite start-up de l’Illinois de 10 personnes aurait donc réussi dans des temps record à résoudre le problème du dossier patient centralisé au niveau mondial, quand les meilleurs cabinets de conseil s’échinent depuis des années à le faire péniblement pour ne serait-ce qu’un pays. Admettons : la probabilité est extrêmement faible, mais encore non nulle. Une petite structure aurait pu mettre son agilité à profit pour se montrer plus rapide que toutes les autres.
Mais dans un tel cas, cette petite société serait connue comme le loup blanc. Rappelons-le, il est impossible de le faire par des rachats de données : ce marché-là n’est pas ouvert. Il aurait donc fallu qu’elle dispose de centaines d’accords de la part des principaux hôpitaux et cliniques sur les 6 continents. C’est encore faisable, mais un tel exploit serait connu mondialement. Surgisphere serait aussi connue que l’était Google Maps lorsqu’elle acheva une cartographie entière de la planète, et les hôpitaux en auraient fait un outil privilégié connu de tout le corps médical et de tous les gouvernements : ils auraient atteint le graal recherché depuis des années par tous les systèmes de santé.
Certains ont objecté que Surgisphere avait pu réaliser l’exploit en forçant les sécurités des serveurs d’archivage, devenant de fait un agrégateur capable de pomper les dossiers patient sans que l’on s’en aperçoive. Même avec le raisonnement cynique que le but étant louable, ils auraient été simplement en avance d’une loi, il aurait fallu pour cela qu’ils montrent une compétence en crackage de serveurs sécurisés à faire pâlir Kaspersky, doublée de compétences en cryptographie du niveau des meilleurs experts de la NSA.
Rajouté à cela, Surgisphere prétendait être parmi les meilleurs spécialistes de l’IA pour justifier de la puissance de leurs modèles statistiques. Ils devraient donc disposer d’équipes de Machine Learning au niveau des meilleurs labos de Stanford ou du MIT dans le domaine. Ce n’est pas absolument impossible dans l’absolu : la société MobilEye, une start-up israélienne rachetée depuis par Intel, a fait la pluie et le beau temps sur le marché du véhicule autonome pendant des années grâce à sa Tri-caméra gonflée aux meilleurs algorithmes de pattern matching. Mais MobilEye est mondialement connue par tous les experts du domaine pour cela.
Lorsqu’une société développe de telles compétences algorithmiques, elle rend publiques des API permettant à tout client potentiel de tester ses solutions sans rien dévoiler de ses secrets de conception. De même, elle proposera des modules permettant de se plugger aux environnements de développement les plus répandus : Git, Eclipse, etc. Elle mettra également à disposition des librairies gratuites ou en licences payantes compatibles avec les meilleurs open sources en IA et en Statistique : Tensor Flow, R, etc. Une telle société serait également suivie par des dizaines de milliers de followers dans des forums de développement, échangeant en permanence sur leurs solutions techniques, entretenant des FAQ. Toute percée technologique en Big Data entraîne la création d’une communauté de fidèles, à la fois promotrice de la solution et impitoyable critique de ses moindres défauts.
Certains ont employé des arguments hallucinants en guise d’objection, trouvant normal de ne pas révéler la liste des hôpitaux partenaires. Ignorance complète ou mauvaise foi, ils mélangent deux notions n’ayant rien à voir : la confidentialité des données personnelles et la divulgation de partenaires commerciaux. Autant la première doit rester sous le strict sceau du secret, autant la seconde est la première chose demandée lorsqu’une société répond à un appel d’offres ou une évaluation de ses compétences : faire connaître ses partenaires ne viole en rien le secret client ni les secrets industriels de la compagnie. Répétons-le, les API de développement permettent à toute société ayant des prétentions en Data Science de montrer sa puissance sur des tests auprès de clients potentiels, sans rien dévoiler de ses secrets de conception.
Surgisphere ne possède rien de tout cela : ni communauté de développeurs, ni librairies et API de développement permettant de tester leur puissance, ni compatibilité avec les meilleurs open source en Data Science. Tout ceci, en prétendant être à la fois à la pointe de l’IA, des protocoles de sécurisation de serveurs et de chiffrement de données, des protocoles d’accord avec des centaines d’hôpitaux partout dans le monde. Nous sommes bien dans le cas de la personne prétendant battre Magnus Carlsen aux échecs et Conor Mc Gregor à l’UFC, sans être connu de la communauté échiquéenne ni de celle du MMA et sans avoir participé à une seule de leurs compétitions. Nul besoin dans ce cas de tester ce que cette personne a dans le ventre et dans la tête : ceci n’existe tout simplement pas dans le monde réel.
Un comité éditorial peut être leurré. La compétition mondiale en économie de marché, elle, ne laisse rien passer
On the chessboard lies and hypocrisy do not survive long. The creative combination lays bare the presumption of lies; the merciless fact, culmination in checkmate, contradicts the hypocrites.
Emanuel Lasker, world chess champion from 1894 to 1921.
Les personnes qui ont détecté le plus rapidement la fraude de Surgisphere ne sont pas les cliniciens ni les chercheurs les plus pointus en machine learning. Ce sont avant tout les industriels de la Data Science qui ont eu à mener de grands appels d’offres internationaux avec les leaders du domaine. Il faut remercier pour cela Peter Ellis, ce statisticien australien qui a démasqué très tôt la nature de Surgisphere, avec des arguments décisifs (3).
Ceux qui se sont précipités sur l’étude du Lancet pour afficher de gros titres n’ont pas idée de ce qu’est un appel d’offres d’une grande industrie auprès des professionnels de la Data Science. Du bombardement incessant de questions, de tests, de benchmarks par lesquels les sociétés candidates vont passer.
J’ai eu à mener de telles consultations, avec des sociétés telles qu’Intel, Nvidia, NXP / Qualcomm ainsi que de plus petites compagnies se mettant sur les rangs.
Dans ce type de compétition, les candidats doivent rendre des comptes sur tout. Et tout ce qu’ils accomplissent laisse des traces. Ils ne sont pas seulement évalués par la compagnie cliente. En dehors de l’appel d’offres, leur activité est soumise en permanence à un feu croisé de tests, questions, critiques, de la part de la communauté libre des développeurs, soit des milliers de personne partout dans le monde, au meilleur niveau.
La société cliente qui organise la consultation se nourrit de cette source d’information, afin de recouper tout ce que les candidats présentent. L’évaluation ne porte pas uniquement sur des dossiers écrits. Les solutions de chaque candidat doivent tourner sur des versions d’essai, en toute confidentialité
Le moindre faux pas, la moindre incohérence est immédiatement détectée et sanctionnée. La plus petite invraisemblance atterrira dans la journée sur des forums de développeurs. Rien ne résiste à un tel crible, de surcroît dans des délais qui n’excèdent pas quelques jours.
Vers une évaluation des publications traitée comme un appel d’offres international
Je ne suis pas du tout porté sur les théories du complot : je ne crois nullement que « The Lancet » ait participé à la manipulation de Surgisphere. La revue britannique reste pour moi entièrement honorable et un tel désastre aurait pu tout aussi bien arriver à Nature. En revanche, cette mésaventure pose une question cruciale quant au mode de contrôle éditorial des publications scientifiques. Le rythme moderne de soumission des articles, les moyens de production de statistiques plausibles rendent quasi impossible à un comité éditorial classique de filtrer des fraudes telles que celle de Surgisphere.
Certains ont vu dans cet épisode un effet pervers de la marchandisation de la santé, des luttes d’intérêt économique des grands laboratoires, dénonçant au passage le « néo-libéralisme » appliqué à la recherche médicale. C’est en fait exactement le contraire. C’est une vertu du libéralisme que d’obliger quiconque à rendre des comptes et à adopter un comportement responsable.
Le système très clos des peer reviews est non seulement archaïque mais il relève du capitalisme de connivence et non du libéralisme. Les exigences drastiques de l’économie de marché et l’ouverture à un feu croisé de critiques ont permis de démasquer la fraude dans des délais qu’aucune rétractation classique n’aurait permis. Ce que le libéralisme économique a permis est un acte hautement civilisé : ne plus laisser de petites communautés closes influencer des décisions cruciales de santé, hausser l’exigence de l’esprit critique à des niveaux qu’aucune revue ne peut atteindre.
J’ai été très sensible au cas d’école de cet article, où le bon fonctionnement de l’économie de marché chasse le mauvais, ayant consacré mon dernier livre – Le Tao de l’économie – à montrer que le capitalisme ne pouvait être jugé de façon univoque, car présentant de multiples modes de fonctionnement, certains vertueux d’autres vicieux. Le remède ne consiste pas à jeter un discrédit d’ensemble, qui garantit quant à lui 100% de fonctionnements vicieux, mais à employer les modes vertueux du libéralisme pour contrer les malversations de petits clans qui voudraient rester clos (4). C’est exactement ce qui s’est produit pour cet article du Lancet.
Le changement de protocole dans l’évaluation des articles scientifiques en découle naturellement, particulièrement dans un domaine comme celui de la Data Science. Il faut appliquer aux articles la même batterie de questions et de tests que lors d’un appel d’offres international, augmentée des remarques que la communauté libre des développeurs laisse sur le Web quant aux sociétés évaluées. L’appel d’offres demande en premier lieu des références précises sur les sociétés clientes des candidats, ici les hôpitaux, ainsi que sur les événements internationaux auxquels les candidats ont participé et se seraient distingués. Leur structure entrepreneuriale est également passée au crible.
Enfin, l’évaluation ne se fait pas uniquement sur des documents écrits. Surtout dans le domaine statistique, il est possible et absolument nécessaire de voir des programmes informatiques tourner, de tester soi-même les algorithmes des candidats : dans le domaine de la Data Science, on ne se contente pas d’argumenter sa thèse par un article, on la soumet à des bancs d’essai. L’utilisation d’API préserve totalement le secret algorithmique et il devient même possible de mettre à disposition un jeu de données réelles sans violer la confidentialité : le chiffrement homomorphe permet de fournir des données cryptées, sur lesquelles on récupérera le résultat agrégé d’un traitement sans avoir rien vu des données brutes.
La mésaventure du Lancet peut être l’opportunité de transformer un désastre scientifique en un renouvellement complet des pratiques éditoriales des grandes revues scientifiques, particulièrement dans les études cliniques où la Data Science est reine. En adoptant les pratiques d’évaluation des industries de la haute technologie, la qualité d’un article sera évaluée sur une échelle beaucoup plus exigeante, objective et sans faille majeure, qu’un comité de relecture à l’ancienne. Pratiquons les vertus de civilisation du libéralisme, celles de l’esprit critique ouvert et concret, qui ne laisse pas de place aux faussaires.
(1) https://www.facebook.com/permalink.php?story_fbid=2419139271716594&id=100008616345612
(2) https://www.lebigdata.fr/dossier-medical-partage-dmp
(3) http://freerangestats.info/blog/2020/05/30/implausible-health-data-firm
(4) https://www.editions-harmattan.fr/index.asp?navig=catalogue&obj=livre&no=65196
Il y a un point faible sur l’article :
« Certains ont objecté que Surgisphere avait pu réaliser l’exploit en forçant les sécurités des serveurs d’archivage, devenant de fait un agrégateur capable de pomper les dossiers patient sans que l’on s’en aperçoive. Même avec le raisonnement cynique que le but étant louable, ils auraient été simplement en avance d’une loi, il aurait fallu pour cela qu’ils montrent une compétence en crackage de serveurs sécurisés à faire pâlir Kaspersky, doublée de compétences en cryptographie du niveau des meilleurs experts de la NSA. »
Le vol de data est une activité ordinaire, entreprises, administrations, etc. et les hôpitaux sont en fait très mal protégés (tout le monde y rentre, des machines destinées au personnel sont dans les chambres et connectées au réseau, la famille peut rester longtemps dans les chambres sans surveillance, etc.).
Ces données sont ensuite vendues au marché noir sur des site bien connus des trafiquants, la division du travail fonctionne à plein.
On aurait pu imaginer une base constituée de données volées standardisées « Health Level 7 », bien que l’échelle de l’entreprise et la nécessité de mettre à jour les données rende là aussi cette hypothèse peu vraisemblable.
@Patrick : effectivement, je n’ai pas traité le cas du dark web et du marché noir de données. Si Surgisphere s’était alimenté à cette source, ils n’auraient pas eu besoin de cracker des serveurs sécurisés. Cependant l’argument de l’authentification par les hôpitaux demeure : en l’absence de confirmation par les hôpitaux partenaires, soit les données ont été fabriquées, soit si elles sont authentiques elles sont issues de fraude.
Pour les futures publications, l’authentification électronique ayant fait de grands progrès, elle devrait être incorporée au processus d’acceptation ou de refus des articles soumis à publication.
Les revues scientifiques ne sont pas à un coup d’essai, le rédacteur en chef du Lancet lui même Mr Horton a denoncé 50 % d’etudes truquées.
Tant que ces etudes très coûteuses seront financées par Big Pharma, on ne sortira pas des manipulations et des fake sciences. Il serait donc logique d’avoir un organisme indépendant financé par pour exemple l’UE pour ces etudes d’EBM .
Quand à l’IA si elle peut rendre service, on ne soignera jamais les malades par des statistiques, les malades différents étant aussi nombreux que les maladies différentes, même pour une même maladie avec ses formes cliniques, l’influence de la génétique, de l’épigénétique, des comorbidités, de l’âge, voir de la culture, de la psychologie…. chaque malade est un indicidu unique et demande une réponse unique. Ceci est encore plus vrai pour les affections multifactorielles fréquentes en immunologie, en cancerologie, en rhumatologie ou en médecine interne….
Le danger est une protocolisations des soins et pour les professionnels de santé une forfaitisation des soins au profit des assureurs sociaux, le Business de la Santé ou les professionnels de santé sont exploités et harcelés et les patients deviennent encore plus la marchandise et les soignants les OS du marché.
Un autre grand danger, les Big Datas de Santé qui avec les assureurs vendront ces données aux assureurs » à l’insu du plein gré des citoyens » qui voient en ces Big Data un service gratuit ! Il n’a RIEN de gratuit !
Le marché de l’assurance sociale et en particulier celui de la Santé, est le marché le plus prometteur pour les années à venir, du fait de la démographie, de l’espérance de vie et des biothérapies innovantes.
Le risque de tout ceci, est une Dictature sanitaire numérique ou nos vies dependront de 3 acteurs : ceux qui détiennent les données, les assureurs sociaux, Big Pharma.
Le marché se fout des nations et la mondialisation est incompatible avec la Démocratie ou plutôt les libertés individuelles. Ce que cherchent ces 3 acteurs c’est d’imposer un Droit mondial, ce dont ils sont capables au dessus des pouvoirs des Etats, cette forme de libéralisme du Marché est pour les années à venir le vrai danger, puisqu’il pourra contrôler nos vies et en particulier par la PEUR des maladies et de notre mort, conduisant à un CONSENTEMENT à des pratiques que l’on accepterait jamais sans ces peurs et qui nous feront perdre une grande partie de nos libertés individuelles en nous asservissant à ces 3 acteurs et nous rendant DÉPENDANTS d’eux.
Je vois dans cette pandémie, une opportunité pour eux et d’ailleurs les Etats, dont Macron est le VRP » Le leadership » selon les termes du Directeur de l’OMS, de mettre en place cette Dictature sanitaire et numérique avec Big Pharma et les créanciers de la dette publique !
Comme je l’ecrivais, si j’etais milliardaire de GAUCHE ou chef d’Etat altruiste, humaniste, je ne dirais pas qu’un vaccin aleatoire et incertain: » est une URGENCE VITALE « , alors que l’urgence vitale serait plutôt un traitement préventif par de l’eau potable pour les 5 millions d’enfants de moins de 15 ans qui meurent chaque années de l’eau non potable, sans parler des maladies dont on ne meurt pas forcément enfants ou adultes !
D’ailleurs cette histoire de racisme pour un fait divers malheureux, ok, est ridicule, la majoriré des enfants mourant de l’eau non potable etant des pauvres noirs » qui ne sont RIEN « , cette attitude de Macron VRP des milliardaires de GAUCHE » premier de cordée » est un racisme d’une toute autre ampleur !
Ce qu’il faut defendre, c’est un véritable libéralisme ou l’on garde son libre arbitre sur ses choix de vie dans le respect d’autrui et en étant individuellement responsable de ses actes !
Ne pas remplacer le socialo-collectivisme pour conserver la paix sociale avec les syndicats du public et à crédit pour endetter les générations futures et EN MÊME TEMPS de capitalisme de connivence d’Etat avec ses amis, par une Dictature des grands acteurs du MARCHÉ !
Desolé j’ai debordé le sujet initial.