Après l’interview remarquée de Marc Rameaux avec laquelle nous avons inaugurée notre série sur ChatGPT, voici une analyse de Philippe Stoop, ingénieur agronome spécialiste des questions agricoles et auteur de nombreuses analyses dans nos colonnes. Curieux de connaitre le fond de la pensée de cette IA d’Open AI qui déchaine les chroniques depuis quelques semaines, il a eu la riche idée d’aller l’interroger pour savoir ce qu’elle pensait sur des sujets aussi clivants que les OGM, le Glyphosate, mais également sur des débats d’experts tels que la stagnation des rendements du blé, l’épuisement des sols ou encore la monoculture. Bluffé par les réponses obtenues, l’auteur s’interroge alors sur le caractère « humain trop humain » de la machine.
Chat GPT est-il agronome ou agrologue ?
Chat GPT, l’Intelligence Artificielle conversationnelle qui fait le buzz en ce moment, inquiète autant qu’elle fascine. Sa capacité à répondre en quelques secondes aux questions les plus complexes parait surhumaine. La fluidité avec laquelle elle adapte le style de sa réponse aux instructions de son interlocuteur donne l’impression que, pour la première fois, une IA réussit le fameux test de Turing : converser avec un humain sans qu’il soit possible de deviner que la réponse vient d’une machine.
Dans le même temps, on peut aussi s’inquiéter de la place que risque de prendre ce type d’IA dans notre société, dans le domaine du journalisme en particulier. On peut légitimement craindre que, entrainé sur le contenu du Web dont la perméabilité à la désinformation est bien connue, ce « robot journaliste » propage et légitime majoritairement les contenus les plus discutables, au détriment des sources les plus fiables et objectives.
L’agriculture est un bon sujet pour évaluer ce risque : comme nous l’avons souvent constaté dans European Scientist, la plupart des polémiques qui la concernent sont traitées de façon très asymétriques sur la toile : le point de vue scientifique des agronomes y est présenté de façon très marginale, par rapport à ce que nous avons appelé les « agrologues », c’est-à-dire les idéologues qui ne retiennent que les informations servant leur agenda politique, le plus souvent écologiste et anti-capitaliste.
Nous avons donc testé Chat GPT en lui soumettant des questions sur les principales polémiques ou désinformations touchant l’agriculture, afin de voir comment l’IA fait la synthèse de ces sujets.
Sur les grandes controverses publiques : des réponses mitigées
Nous avons commencé par deux polémiques bien connues, sur la cancérogénicité respective des OGM et du glyphosate, avec des résultats contrastés :
- Sur les OGM, la réaction de notre robot est assez brève et tranchée : dans sa première réponse, il affirme clairement qu’« Il n’y a pas de preuve scientifique solide qui indique que les organismes génétiquement modifiés (OGM) causent des cancers. », et ne mentionne aucun argument contraire. Quand on lui rappelle l’existence des travaux de G.E. Séralini, il les balaie en rappelant que la publication qui a lancé la polémique a été très critiquée et retirée par la suite. Quand on lui rappelle qu’elle a été republiée ensuite dans une autre revue, Chat GPT reste droit dans ses bottes et confirme que cela ne change rien du fond du problème, qui est que personne n’a jamais réussi à répéter ce résultat. Comme d’habitude, Chat GPT tempère ses propos à la fin en ajoutant « Il est important de noter que… », son tic de langage le plus récurrent pour relativiser ses affirmations, mais cette fois c’est simplement pour recommander de « continuer à surveiller les risques potentiels et de mener des recherches supplémentaires pour s’assurer que les OGM sont sûrs pour les humains et l’environnement. ». Une conclusion que ne renierait pas un chercheur en épidémiologie…Mais sur ce sujet il est clair que Chat GPT porte un point de vue conforme au consensus scientifique, et ne cite pas spontanément les objections clairement démenties à ce consensus.
- Par contre, sur le glyphosate, même s’il reste apparemment assez objectif, Chat GPT penche nettement du côté agrologique, en entretenant l’illusion d’une polémique scientifique équilibrée, bien qu’un seul organisme au monde, le CIRC (ou IARC en anglais) ait classé ce produit comme cancérigène, en se basant sur des études non conformes aux bonnes pratiques reconnues par l’ensemble des agences sanitaires. Sa première réponse oppose d’une part l’avis du CIRC et de l’OMS, et d’autre part celui de l’EFSA (l’agence sanitaire européenne) et l’EPA (son homologue américaine). L’infox prétendant que l’OMS a classé le glyphosate comme cancérigène a été largement propagée (1), en profitant du fait que le CIRC dépend de l’OMS. Il ne faut pas moins de 4 questions successives pour faire reconnaître à Chat GPT que l’OMS n’avait pas validé la décision du CIRC, qui est resté le seul organisme au monde affirmant la cancérogénicité probable du glyphosate. Sur les raisons de la divergence d’appréciation entre le CIRC et les autres agences, il en reste d’abord à des généralités sur la complexité des procédures d’évaluation. Quand on le met sur la piste des lignes directrices de l’OCDE (le CIRC a basé son avis sur des expérimentation qui ne respectaient pas ces règles de bonne pratique, reconnues dans le monde entier), Chat GPT finit par admettre que c’est bien la raison invoquée par les agences sanitaires pour réfuter l’avis du CIRC. Il refuse de se prononcer sur le fait que le CIRC ait ou non respecté ces règles (ce qui se comprend), mais refuse aussi d’admettre qu’il ne trouve aucun organisme ayant soutenu l’avis du CIRC, ce qui est plus surprenant : on ne lui demande pas une interprétation dépassant ces compétences,, mais une information factuelle sur les références qu’il a trouvées.
Sur la désinformation discrète : dérapages incontrôlés.
Le cas des polémiques que l’on pourrait qualifier de « larvées » est encore plus éclairant sur les mécanismes de « pensée » de Chat GPT. Nous entendons par là les sujets sur lesquels les agrologues émettent régulièrement des avis contraires au consensus scientifique, sans que les institutions publiques se donnent la peine de les contredire. Le cas le plus connu (pour les agronomes) est celui de la stagnation des rendements du blé en France et en Europe depuis une vingtaine d’années. Les travaux de l’INRAE et d’Arvalis ont montré sans ambiguïté que le changement climatique en est de loin la cause principale (2). Les agrologues préfèrent y voir l’effet de l’ « épuisement des sols » par l’agriculture intensive, contre toute évidence : si c’était bien la cause principale de la stagnation des rendements, celle-ci frapperait toutes les cultures, sauf peut-être les légumineuses qui dépendent moins de l’azote du sol. Or ce n’est pas du tout ce que l’on observe, puisque le rendement du maïs continue à augmenter. A l’inverse le pois protéagineux, bien qu’autonome pour l’azote, a vu ses rendements sombrer bien plus gravement que ceux du blé (pour des raisons non seulement climatiques, mais aussi sanitaires). De plus, le rendement du blé est moins affecté dans le nord de la France, où sa culture est plus intensive que dans le sud.
Quand on lui pose la question, Chat GPT ne tranche pas entre ces deux explications : de façon assez inattendue, il les propose, sans hiérarchie, parmi plusieurs autres causes potentielles beaucoup moins souvent invoquées, parfois même complètement à côté de la plaque. La concurrence des cultures industrielles est évoquée, alors qu’elle ne joue nullement sur le rendement mais seulement sur la surface cultivée en blé. Il est possible que cette erreur soit due à une confusion entre le rendement agronomique (quantité produite/ha) et la rentabilité économique. Mais on comprend moins pourquoi Chat GPT parle de limitations génétiques : le renouvellement variétal en blé reste important, et les nouvelles variétés continuent à progresser par rapport aux plus anciennes, mais sans réussir pour l’instant à compenser l’évolution climatique défavorable. De même, l’aggravation de la pression de maladies et ravageurs est également citée, alors qu’il n’y a pas de démonstration scientifique de cette augmentation, et que les insecticides et fongicides restent efficaces et largement utilisés sur le blé. L’évolution de la réglementation PAC sur les intrants a parfois été citée comme facteur négatif, mais plutôt à propos de la fertilisation azotée : en imposant un plafond d’azote égal aux quantités nécessaires pour obtenir le rendement moyen de l’exploitation, elle nivelle de fait les rendements des années les plus favorables. Toutefois, cette explication, beaucoup plus vraisemblable que celle d’un effet de la réglementation sur les pesticides, n’est pas citée par Chat GPT. Par contre, à propos de l’épuisement des sols, le robot bavard se prend les pieds dans le tapis, en l’associant à un autre fantasme récurrent des écologistes : les méfaits de la monoculture.
Au sens propre, la monoculture est la culture continue d’une même espèce annuelle pendant plusieurs années sur la même parcelle. Ce terme n’est bien sûr pas utilisé pour les espèces pérennes, comme la vigne ou les arbres fruitiers. En pratique, il ne s’applique en France qu’au blé et au maïs. La monoculture présente des inconvénients bien connus : les rendements y sont inférieurs à ceux de la même culture cultivée en alternance avec d’autres espèces, par exemple dans une rotation classique sur 3 ans ; elle contribue à dégrader les sols, et, si elle est pratiquée de façon dominante à grande échelle, réduit la biodiversité. Mais son impact réel est en fait très limité, puisqu’elle n’occupe en France que 6% de la surface agricole ! (4% en maïs, 2% en blé (3)).
Cela n’empêche pas les milieux agrologistes d’en faire un épouvantail qui menacerait gravement l’environnement et la biodiversité européens (4). Par quel tour de passe-passe ? Quand on creuse un peu leur discours, on se rend vite compte que ce qu’ils appellent « monoculture » est en fait la culture d’une seule espèce par an sur chaque parcelle, par opposition à la pratique des cultures en mélanges, qui est effectivement très marginale en France (surtout pour les productions destinées à l’alimentation humaine, les associations de cultures étant un peu plus courantes pour l’alimentation du bétail). Dans ce nouveau sens (jamais validé officiellement), il est vrai que la « monoculture agrologiste » (qui est en fait l’agriculture classique par rotations de cultures monospécifiques) est de loin le modèle dominant en France. Problème : les agrologues continuent à attribuer à cette fausse monoculture les méfaits de la vraie.
Face à cet enfumage, Chat GPT part complètement en vrille. Dans sa première réponse sur le sujet, il commence par affirmer qu’il n’y a pas de chiffres officiels, mais qu’« on estime qu’environ 20 à 30% de la surface agricole française est consacrée à des cultures en monoculture ». Il va jusqu’à préciser que le colza et la betterave sucrière font partie des espèces les plus concernées, alors qu’elles ne sont jamais pratiquées en monoculture. Cela suggère qu’il retient la définition agrologique de la monoculture. Quand on lui demande sa définition de la monoculture pour en avoir le cœur net, il précise pourtant bien qu’il s’agit de cultiver la même espèce plusieurs années de suite sur la même parcelle (ce qui exclut l’interprétation agrologique du terme), mais y inclut aussi la vigne et l’arboriculture (ce qui est incompatible avec le sens classique du terme). Curieusement, il affirme aussi que la monoculture permet d’obtenir des rendements élevés, ce que même ses adeptes réfutent : le seul intérêt économique de la monoculture est de réduire le matériel et la main d’œuvre nécessaires à l’échelle de l’exploitation, ce qui génère des économies supérieures à la perte de revenus causée par ses rendements plus bas.
Quand on revient sur le sujet un peu plus tard, suite à une coupure du service (rançon du succès…), Chat GPT continue à prétendre qu’il n’y a pas de chiffres officiels mais que la monoculture représente 20 à 30% de notre Surface Agricole Utile. Il n’évoque plus le colza ou la betterave, mais affirme que la monoculture de céréales est très répandue, en particulier pour le blé (2% de la SAU globale en monoculture en fait). Quand on lui rappelle l’existence des statistiques très officielles du Ministère de l’Agriculture, le robot reconnait immédiatement s’être trompé, et fait amende honorable en constatant euphémiquement que la monoculture est « plutôt » marginale en France. On note en passant qu’il conserve la fourchette de 6 à 8 % qui lui a été suggérée dans la question, alors les chiffres du Ministère parlent sans ambiguïté de 6%. Sur ce sujet, Chat GPT a donc fait un mix d’informations réelles et de désinformation écologiste… ce qui l’amène à avoir tout faux dans la plupart de ses affirmations !
Une autre exagération classique dans les discours écologistes est la part de la production agricole mondiale qui dépendrait de la pollinisation par les insectes. On cite le plus souvent un rapport de l’IPBES (le « GIEC de la biodiversité ») qui dit, graphique à l’appui, que 85% des cultures en dépendent pour leur production. Mais il s’agit du pourcentage d’espèces cultivées (sans tenir compte de leur surface), pour lesquelles les pollinisateurs peuvent jouer un rôle, souvent très mineur. Le même rapport donne beaucoup plus discrètement, dans le texte de la page suivante, la perte de production globale qui résulterait d’une disparition totale des pollinisateurs (dont nous sommes loin) : 7 à 8% seulement (5).
Sans surprise, quand on pose à Chat GPT une question sur cette perte de production globale, il commence par donner un chiffre élevé qui correspond en fait au nombre d’espèces qui seraient concernées, et non à la perte de production. Quand on lui rappelle le chiffre réel fournit par l’IPBES, il reconnait bien volontiers son erreur.. mais bien entendu les personnes qui ne connaissaient pas la réponse réelle n’obtiendront jamais le bon résultat !
Un robot humain, trop humain ?
A part sur le cas de la monoculture, les premières réponses de Chat GPT à une question controversée paraissent relativement crédibles et équilibrées. Elles reflètent globalement assez bien la diversité des opinions circulant sur le Web (avec les biais potentiels que cela implique), et restent assez prudentes, voire politiquement correctes. C’est quand on rentre dans un dialogue un peu plus serré que l’on peut mettre vraiment en défaut ses « raisonnements » A propos du glyphosate, nous avons vu qu’il a facilement reconnu que l’OMS n’avait pas suivi l’avis du CIRC, contrairement à sa première réponse. Mais dès la question suivante, le robot a recommencé à prétendre que l’OMS ET le CIRC avaient émis le même classement. Il a encore fallu une salve de questions plus serrées pour lui faire admettre que le CIRC était bien le seul organisme au monde à considérer le glyphosate comme cancérigène.
Ce type de situations, où Chat GPT ne se rend pas compte que ses réponses successives sont incohérentes entre elles, est assez fréquent. Nous en retrouvons un autre exemple sur une autre question épineuse, le risque de cancer chez les agriculteurs utilisateurs de pesticides (6). Quand on lui demande si les agriculteurs utilisateurs de pesticides ont une mortalité supérieure à la normale, il commence par une réponse affirmative, à propos des cancers les cancers les plus souvent cités (prostate et lymphomes). Quand on lui rappelle que ce n’est pas ce que trouvent les études prospectives, les seules qui permettent de calculer une mortalité, il reconnait en 2 secondes s’être trompé, mais sauve la face en disant qu’il est par contre montré que les agriculteurs utilisateurs de pesticides ont un risque plus élevé de certains cancers. C’est possible mais ça ne répond pas à la question posée initialement, qui portait bien sur la mortalité et non de façon plus vague sur le « risque ».
Quand on en vient justement à la notion d’incidence du cancer, qui mesure mieux le risque, Chat GPT nous ressort d’abord une réponse presque identique à celle concernant la mortalité. Si on le pousse dans les cordes en lui rappelant que les études prospectives qui comparent des agriculteurs utilisateurs et non utilisateurs trouvent une incidence égale ou supérieure chez les agriculteurs non utilisateurs de pesticides, il accuse le coup : il lui faut une bonne dizaine de secondes pour reconnaître que c’est effectivement ce que l’on observe, mais que c’est peut-être dû à d’autres produits chimiques que les pesticides, ou mêmes d’autres facteurs de stress. Cette explication est pour le moins surprenante, à deux titres :
- D’un point de vue logique, elle n’est recevable que si on démontre que ces autres produits chimiques ou facteurs de stress ne frappent pas les agriculteurs utilisateurs de pesticides, ce qui nécessiterait qu’ils soient identifiés, et que l’on sache pourquoi les utilisateurs de pesticides n’y sont pas exposés. Or Chat GPT ne donne bien sûr aucun élément allant dans ce sens.
- Mais surtout, cette remarque ne répond pas à la question posée, qui était purement factuelle : il s’agissait simplement de savoir s’il y avait une différence d’incidence entre les deux groupes, et non de dire si les pesticides étaient ou non la cause de cette différence. Sur ce sujet, Chat GPT ne se contente pas de répondre à la question posée, il anticipe une réaction possible à sa réponse : remettre en doute l’effet des pesticides sur la santé des agriculteurs. Il va même jusqu’à préciser de son propre chef « les résultats de ces études ne doivent pas être utilisés pour minimiser les risques potentiels associés à l’utilisation de pesticides » ! Le robot semble ici faire un procès d’intention à son interlocuteur : en l’occurrence il n’a pas tout-à-fait tort, mais c’est un comportement très humain assez inattendu de la part d’un algorithme !
Dans ces « conversations », Chat GPT s’avère donc encore plus humain que ce que l’on pouvait en attendre. L’enchainement de ses réponses montre souvent des défauts de logique, qui ne sont pas étonnants pour une IA : l’approche connexionniste des réseaux de neurones de Chat GPT permet seulement d’identifier des corrélations statistiques entre affirmations. Elle n’identifie pas clairement les relations de causalité qui garantissent la cohérence de l’association de ces phrases. Mais finalement ces erreurs ne sont pas tellement plus graves que celles que l’on entend souvent dans des discours humains, à l’exception du cas où il répète que l’OMS et le CIRC ont formulé le même classement pour le glyphosate, après avoir dit le contraire dans la phrase précédente : un agrologue humain aurait sans doute évité une contradiction aussi évidente ! De même, le raisonnement de Chat GPT sur le risque de cancer des agriculteurs est passablement boiteux, mais ici l’exemple vient de haut : il est parfaitement cohérent avec les thèses défendues par l’INSERM, qui a demandé et obtenu le classement du lymphome non hodgkinien et du cancer de la prostate comme maladies professionnelles causées par les pesticides, alors que ses propres travaux montrent que l’excès d’incidence de ces deux cancers chez les agriculteurs est inférieur ou égal à celui des agriculteurs qui n’en utilisent pas !
C’est sans doute aussi ce fonctionnement purement connexionniste qui permet à Chat GPT d’élargir ses réponses à partir de la question initiale, donnant ainsi l’impression d’avoir percé les intentions de son interlocuteur : tout simplement parce qu’il s’inspire de réponses données dans le contexte de controverses humaines, qui intègrent en arrière-plan ces anticipations de l’argumentation de chaque partie.
Par rapport à notre question de départ, qui était de voir si Chat GPT favorise la légitimation de thèses fantaisistes, les résultats sont modérément rassurants : certes, le robot a dans l’ensemble un peu penché en faveur des thèses agrologistes, mais beaucoup moins que ne le laissait craindre le déséquilibre des opinion exprimées sur le Web. Sur les sujets où il y a réellement une argumentation scientifique structurée dans les deux camps, comme sur les OGM, Chat GPT laisse peu de place aux thèses les plus douteuses. Il est intéressant de noter que les sujets où Chat GPT est le moins pertinent sont ceux où il n’y a pas de débat frontal, comme sur le rendement du blé ou la monoculture. Sur ces thèmes, les agronomes ayant laissé les agrologues dérouler un discours pseudo-scientifique sur une agriculture fantasmée, sans s’abaisser à les contredire, ils laissent ainsi Chat GPT (et la majeure partie du public humain) désarmé face à des fausses informations, dont l’incohérence n’a rien d’évident pour un non-spécialiste.
Malgré ses côtés humains, Chat GPT garde tout de même pour l’instant deux qualités bien agréables par rapport à un véritable agrologue :
- Quand on lui pose une question dérangeante, il essaie d’y répondre, plutôt que de répondre à la question qu’il aurait préféré qu’on lui pose
- Et il ne botte pas en touche en prétendant que ces questions ne l’étonnent pas de la part de quelqu’un qui travaille pour l’ « agro-industrie ».
Mais à la vitesse où évolue Chat GPT, ce n’est peut-être que partie remise…
L’intégralité de ces conversations est Chat GPT ES
(1) S. Foucart, Le désherbant Roundup classé cancérogène (lemonde.fr)
(3) Chiffres et données : Octobre 2020 Numéro 9 – Agreste (agriculture.gouv.fr)
(5) https://ipbes.net/sites/default/files/downloads/2016_spm_pollination-fr.pdf , p. 10 et 11
(6) Voir https://www.europeanscientist.com/fr/opinion/pesticides-et-cancers-chez-les-agriculteurs-la-fuite-en-avant-vers-lirrefutabilite-premiere-partie/ et https://www.europeanscientist.com/fr/opinion/pesticides-et-cancers-chez-les-agriculteurs-la-fuite-en-avant-vers-lirrefutabilite-2eme-partie/
A lire également
« Touchons-nous du doigt une conscience nommée ChatGPT ? » Marc Rameaux (Interview)
L’agrologie en action : Chercheurs militants et BorderLines selon l’INRAE
Agriculture numérique : de nouveaux outils pour la science à la ferme
Image par Mohamed Hassan de Pixabay