Philippe Stoop, ingénieur agronome vient de publier une note pour l’Académie d’agriculture, intitulée « Santé et alimentation : attention aux faux semblants statistiques ! » Dans cette analyse, il se penche sur les biais cognitifs liés aux études portant sur santé et alimentation. Il répond ici aux questions de The European Scientist.
The European Scientist : Vous venez de publier dans les Notes Académiques de l’Académie d’Agriculture de France un article intitulé « Santé et alimentation : attention aux faux semblants statistiques ! ». Vous y remettez en cause les conclusions de publications scientifiques récentes, à propos des liens entre cancer et alimentation bio, ou aliments ultratransformés. Pour quelles raisons ?
Philippe Stoop : En fait, il s’agit d’un problème de méthode très général, qui concerne de nombreuses études épidémiologiques sur les liens entre nutrition et santé. Beaucoup de ces travaux sont des études observationnelles réalisées sur des cohortes, c’est-à-dire des populations que les chercheurs suivent pendant plusieurs années, en laissant chaque personne libre de ses choix alimentaires. Ensuite, on étudie, un par un, différents types d’aliments dont on suppose qu’ils auraient un effet positif ou négatif sur la santé.
Dans les exemples que nous avons étudiés, qui portent sur la cohorte française Nutrinet-Santé, les chercheurs ont d’abord constaté que les forts consommateurs de bio avaient un risque de cancer réduit de 25% par rapport à ceux qui en consomment le moins. Dans un autre article, les chercheurs qui ont travaillé sur les aliments ultratransformés dans la même cohorte ont trouvé un risque de cancer plus élevé de 20% environ chez les plus grands consommateurs.
Et dans une 3ème publication, toujours sur la même cohorte, les auteurs montraient que la consommation de viande rouge est fortement corrélée avec le risque de cancer. D’après cet article, la consommation moyenne de viande rouge des forts consommateurs de bio induirait chez eux un risque de cancer augmenté de l’ordre de 24% par rapport aux végétariens.
La difficulté de ce type d’étude, c’est que les comportements alimentaires sont très liés entre eux : les consommateurs de bio sont plus attentifs que la moyenne à leur hygiène de vie, ils consomment moins de viande et de charcuterie que la moyenne, consomment plus de fruits et de fibres végétales, fument moins et boivent moins d’alcool. Il est donc très difficile de séparer les effets propres de chacun de ces facteurs. Bien entendu, les épidémiologistes utilisent des modèles statistiques sophistiqués, qui sont censés corriger l’effet des facteurs autres que celui qu’ils veulent étudier (ce que l’on appelle les facteurs de confusion). Mais ces modèles avaient été conçus initialement pour éliminer l’effet d’un petit nombre de facteurs de confusion, et des facteurs secondaires par rapport au facteur étudié. Dans ces études nutritionnelles, ils sont obligés de redresser une vingtaine de facteurs différents à la fois, c’est beaucoup trop.
Les résultats peuvent paraître corrects quand on ne regarde qu’une publication. Mais quand on fait la synthèse de l’ensemble des publications produites sur une même cohorte, on se rend vite compte qu’il y a des incohérences. Si les ajustements statistiques avaient correctement fonctionné, les effets sanitaires trouvés devraient plus ou moins s’additionner. A ce compte, les végétariens qui sont également fort consommateurs de bio et faibles consommateurs d’aliments ultratransformés devraient être pratiquement immunisés contre le cancer : ils cumulent trois réductions du risque de cancer, de 24, 25 et 20%. Cela parait étonnant… Et si c’est vrai, il serait grand temps que les chercheurs le démontrent en faisant des publications sur les risques associés aux combinaisons de plusieurs des facteurs nutritionnels défavorables qu’ils ont observés isolément. Ce serait facile à vérifier dans la cohorte, puisque le cumul de ces trois choix alimentaires est fréquent.
TES : Ces résultats n’ont-ils pas été confirmés par d’autre études ?
PS : Pour la publication sur l’alimentation bio, la seule étude comparable porte sur une cohorte britannique, la One Million Women Cohort, qui a été analysée avec la même méthode statistique. Or, contrairement à ce qu’on lit souvent dans la presse, y compris scientifique, cette étude est très loin de confirmer la publication française.
Le seul point commun est que l’on trouve dans les deux une baisse du risque de lymphome non hodgkinien, une forme de cancer des cellules sanguines, chez les consommatrices de bio. Mais, dans la cohorte anglaise, on trouve chez les consommatrices de bio un excès de cancer très proche de la significativité, et même significatif pour trois d’entre eux (cerveau, utérus et sein).
Bien sûr, cela ne signifie pas que le bio protège contre le cancer en France et le favorise en Angleterre : cela montre simplement que cette méthode statistique ne fonctionne pas bien, et qu’il reste des facteurs de confusion nutritionnels ou sociologiques non identifiés. Mais cela révèle aussi à quel point la lecture de ce type d’étude est partiale :
- les résultats sont médiatisés s’ils sont conformes aux opinions répandues, selon lesquels les résidus de pesticides ou les additifs alimentaires auraient des effets néfastes sur la santé…
- Mais ils sont complètement occultés, quand la même méthode donne des résultats contraires, comme c’est le cas dans l’étude anglaise !
TES : Vous parlez d’une dérive vers une « presse scientifique d’opinion ». Ces articles sont pourtant sortis dans des revues médicales de très haut niveau, ce n’est pas un gage de qualité ?
C’est vrai, ces articles sont parus dans des revues parmi les plus prestigieuses dans le monde médical : l’article sur le bio est sorti dans le Journal of the American Medical Association (JAMA), celui sur les aliments ultratransformés dans le British Medical Journal. Cela montre bien que le problème que nous évoquons n’est pas propre à la cohorte française que nous citons, mais interroge bien ce qui est considéré actuellement comme les bonnes pratiques en épidémiologie nutritionnelle.
Il est vrai qu’il y a des éléments qui échappent nécessairement à la relecture des articles par les comités de lecture. Il faut rappeler que chaque article parait parfaitement cohérent quand on l’examine seul : c’est seulement quand on les compare entre eux que les incohérences apparaissent. Or, vue la pression qui s’exerce sur les chercheurs pour publier souvent et rapidement, tous ces publications sont parues en peu de temps dans des revues différentes, donc les relecteurs qui ont accepté chaque article ne connaissaient pas forcément les autres textes, qui auraient pu les inciter à réviser leur jugement.
De plus, les auteurs ont employé une méthode statistique très classique, qui fait toujours référence, malgré les dérives de son usage sur des situations trop complexes. Du coup, certains relecteurs ont tendance à ne pas juger utile d’examiner de près l’analyse statistique, d’autant plus que ce sont en général des médecins et non des statisticiens.
Mais il reste tout de même un élément assez troublant : le JAMA, la prestigieuse revue qui a publié l’article sur le bio, semble parfaitement conscient du problème puisqu’il a accompagné la publication d’un « editorial comment », qui relativise fortement les conclusions de l’article principal (en substance, il fait les mêmes réserves que nous, en détaillant moins les explications statistiques). C’est assez inhabituel dans le domaine des sciences « dures », où on considère habituellement qu’une publication scientifique doit être un tout autonome, où les auteurs évoquent dans le chapitre « Discussion » toutes les objections qui pourraient être faites à leurs affirmations (soit pour y répondre directement, soit pour indiquer les travaux complémentaires qui devraient être faits pour répondre à ces objections).
La position du JAMA est ici plus proche de l’attitude de la presse d’opinion, qui, sur les sujets controversés, publie souvent deux points de vue opposés sous forme de débat. Mais, dans ce cas, les journaux veillent à ce que les deux avis aient exactement la même visibilité. Ce n’est pas le cas ici : l’«editorial comment» est accessible par un lien peu visible depuis l’article principal. Résultat : il a été huit fois moins lu, comme le montrent les statistiques du site Web du JAMA.
TES : Que pourrait-on faire pour lever les doutes que vous évoquez ?
PS : Le problème majeur, c’est que la méthode statistique employée privilégie inévitablement le facteur étudié dans chaque article (par exemple les aliments ultratransformés), au détriment de tous les autres facteurs de confusion potentiels, même ceux dont l’effet sanitaire est déjà démontré plus solidement (comme la charcuterie par exemple). C’est ce qui explique que l’on trouve presque toujours un effet significatif à ce facteur étudié … qui disparait quand il est considéré comme un facteur de confusion dans un autre article !
Que l’on commence par appliquer cette méthode, pourquoi pas ? Mais, si elle donne des résultats significatifs, il faudrait vérifier immédiatement si on retrouve cet effet des aliments ultratransformés par une méthode d’analyse multifactorielle qui ne privilégie aucun facteur… ou seulement ceux dont l’effet est déjà solidement démontré.
Par ailleurs, pour limiter le « bruit de fond » statistique, plutôt que de multiplier les facteurs de confusion à redresser, il serait préférable de regrouper l’effet des facteurs de risque bien identifiés dans un indicateur nutritionnel synthétique unique, afin de quantifier en une seule note la qualité nutritionnelle du régime alimentaire. C’est le cas par exemple du mPNNS-GS, qui mesure la conformité de n’importe quel régime aux recommandations du Programme National Nutrition Santé. Dans les articles que nous avons étudiés, les auteurs ont bien intégré de tels indices, mais ils en ont fait une variable de redressement supplémentaire, en plus des facteurs de risque individuels que ces indicateurs agrègent. Cela ajoute donc à la confusion statistique, au lieu de la réduire. De plus, ils ont utilisé un indicateur différent dans chaque publication, ce qui empêche tout recoupement rigoureux entre leurs travaux. C’est un bel exemple de ce que j’appelle « la cacophonie de la recherche » ! Le choix de chaque auteur est légitime pour la recherche scientifique, car le protocole expérimental d’une étude de recherche est complexe, et doit être adapté au cas par cas, en fonction de son sujet. Mais cela complique beaucoup l’utilisation de travaux de recherche pour l’évaluation des risques sanitaires. Pour une évaluation rigoureuse de ces risques, les experts ont besoin de protocoles simples et standardisés qui permettent une synthèse robuste des connaissances disponibles. Cette divergence de méthode est à l’origine de beaucoup des controverses actuelles entre chercheurs et agences sanitaires.
Pour consolider les résultats obtenus sur une cohorte, dans une perspective d’évaluation sanitaire, il serait nécessaire d’en faire une synthèse en unifiant les méthodes et les indicateurs utilisés dans chacune des publications initiales. Par exemple, sur le sujet des effets de l’alimentation sur le cancer, on pourrait réanalyser les données en utilisant un seul indicateur nutritionnel, de préférence l’indicateur américain WCRF/AICR, dont l’équipe Nutrinet-Santé a montré qu’il est le plus pertinent pour estimer le risque de cancer.
A plus long terme, Il devient clair que ces études épidémiologiques observationnelles arrivent à une impasse. A ce stade, la seule certitude robuste qui en ressort, c’est que les personnes attentives à leur hygiène alimentaire ont un risque de cancer réduit de 30% environ. L’effet individuel de chaque facteur dans la réduction de ce risque est trop difficile à établir solidement par les méthodes actuelles. Il devient maintenant nécessaire de confirmer (ou infirmer !) les résultats de ces études observationnelles par des études plus ciblées, réductionnistes et interventionnistes : c’est-à-dire où on étudie l’effet d’un facteur précis, toutes choses égales par ailleurs, en faisant varier les niveaux du facteur étudié. C’est tout le sens d’un article important de l’épidémiologiste américain John P. Ioannidis, qui cite de nombreux exemples d’incohérences dans d’autres cohortes, et appelle à une refonte radicale des méthodes épidémiologiques. Bien sûr, ce type d’études interventionnistes est difficile à mener sur l’homme, pour des raisons à la fois pratiques et éthiques. En effet, cela implique d’inciter des personnes à persister dans des comportements alimentaires que l’on sait néfastes. C’est là que les études sur des modèles animaux deviennent indispensables.
Ce problème n’est pas propre à la santé humaine : on retrouve les mêmes difficultés en agronomie, où, bien souvent, les résultats suggérés par des études observationnelles d’agroécologie ne résistent pas à un recoupement avec les expérimentations interventionnelles au champ. Il faut à ce sujet une prise de conscience du public, et même de beaucoup de scientifiques, sur la fragilité des relations de causalité suggérées par les études statistiques observationnelles.
Pour aller plus loin :
La Note Académique de l’Académie d’Agriculture de France « Santé et alimentation : attention aux faux semblants statistiques ! » :
L’article de John P. A. Ioannidis « The Challenge of Reforming Nutritional Epidemiologic Research » :
https://jamanetwork.com/journals/jama/article-abstract/2698337
Sur la nécessaire complémentarité entre approche observationniste et interventionnelle en agroécologie :
https://www.agriculture-environnement.fr/2020/01/23/agroecologie-attention-aux-promesses-prematurees et
Sur la « cacophonie de la recherche » et les divergences méthodologiques entre recherche et évaluation des risques sanitaires :
NB : Une séance publique de l’Académie d’Agriculture de France sur le thème « Évaluation des risques sanitaires : quel dialogue Recherche/Agences sanitaires ? » est prévue le 13 mai 2020 à 14h30… si la situation sanitaire le permet !
Voici un excellent papier qui explique clairement les limites du « tout épidémiologique » quand il s’agit de faire des recommandations et qui souligne que ces limites et faiblesses favorisent hélas trop de presse (même scientifique) d’OPINION et pas assez de presse d’INVESTIGATION rigoureuse avec l’inclusion des études animales. On a besoin de plus de physiologistes pour compenser la toute puissance médiatique de l’épidémiologie nutritionnelle, pour éclairer mieux les acteurs de la santé publique.