Les limites formelles des détecteurs de contenus générés par l’IA et de leurs performances

La première polémique de fraude à l’intelligence artificielle est venue perturber la rentrée littéraire francophone en septembre 2026. L’écrivain canado-haïtien Thélyson Orélien publie son roman « C’était ça ou mourir » chez Grasset en France et aux Éditions du Boréal au Canada. Le succès est immédiat. Encensé par la critique, le roman remporte le prix Fnac et intègre les premières sélections de prestigieux concours littéraires, dont le prix Goncourt. Les premières accusations apparaissent en septembre 2026 sur X, lorsqu’un compte anonyme baptisé Balance ton Claude, en référence à l’IA d’Anthropic, affirme que le livre a été rédigé à plus de 90 % ou 95 % par une intelligence artificielle. Pour appuyer ses dires, il publie des analyses de pages du livre passées au détecteur d’IA américain Pangram. Dans un premier temps, l’auteur, Thélyson Orélien, nie farouchement. Il affirme avoir écrit le roman lui-même, s’être inspiré de sa propre histoire, et dénonce des calomnies ainsi que des « attaques racistes ». Devant la force des suspicions, l’Académie Goncourt retire le livre de ses sélections, estimant que l’ouvrage est très vraisemblablement le produit d’une IA. En parallèle, d’anciennes accusations de plagiat datant de plus de dix ans refont surface. Le dénouement de l’affaire intervient en octobre 2026. Après avoir commandé une analyse externe approfondie, l’éditeur canadien Boréal confirme officiellement l’utilisation massive de l’IA dans le processus d’écriture et annonce rompre définitivement sa collaboration avec l’écrivain.

En prolongement de la tromperie sur « l’origine bio » de ce roman très apprécié des lecteurs se profile également la question de la fiabilité et de la précision des détecteurs de contenus produits partiellement ou intégralement par un modèle d’IA générative. Il suffit pour s’en convaincre d’effectuer quelques tests rapides avec les détecteurs disponibles pour constater qu’ils sont encore capables de classifier des textes à l’origine purement « bio » (c’est-à-dire rédigés par un humain sans recourir à l’IA) comme textes issus de l’IA à plus de 65 %. La question des faux positifs n’est donc pas résolue et risque de susciter de nouvelles polémiques dans les cas moins tranchés que celui de Thélyson Orélien.

Derrière la faible fiabilité des détecteurs de contenus AI-GEN se cache aussi une vérité profonde, issue de la théorie de la calculabilité au sens de Turing : on peut prouver mathématiquement qu’il n’existera jamais de détecteur universel capable de produire en sortie l’origine « bio » ou « AI-GEN » de tout contenu numérique (textes, images, vidéos, audios), sans jamais se tromper. Ce détecteur universel n’existe pas et n’existera jamais. C’est le théorème de Rice et l’équivalence au problème de l’arrêt de Turing qui nous l’assurent. Sa démonstration est assez simple, courte et esthétique pour être reproduite dans la suite.

1 – Démonstration mathématique de l’impossibilité d’un détecteur universel de contenus IA-GEN ou bio

La démonstration de l’impossibilité d’un détecteur universel d’intelligence artificielle repose sur un résultat fondamental de l’informatique théorique : le problème de l’arrêt d’Alan Turing. En utilisant un raisonnement par l’absurde et une technique de diagonalisation, nous allons prouver formellement que l’existence d’un classificateur parfait et universel IA/Humain permet de résoudre le problème de l’arrêt, ce qui est mathématiquement impossible.

1. Le cadre formel et les définitions nécessaires

Pour bâtir une preuve mathématique, nous devons d’abord formaliser nos objets dans le cadre de la théorie du calcul (machines de Turing).

• Le problème de l’arrêt (HALT) : c’est le problème qui consiste à déterminer, pour une machine M et une entrée w, si M va finir par s’arrêter ou boucler indéfiniment. Turing a prouvé en 1936 que cette fonction est indécidable (non calculable).
• Une machine de Turing (MT) : tout programme informatique ou modèle d’IA actuel peut être modélisé par une machine de Turing. On note ⟨M⟩ sa description (le code source).
• Le détecteur universel d’IA (D) : supposons par l’absurde qu’il existe un programme D capable d’analyser n’importe quel texte ou contenu T et de déterminer de manière infaillible s’il a été généré par une IA ou par un humain (D(T) = IA ou HUMAIN).

2. La réduction : équivalence avec le problème de l’arrêt

Nous allons construire une machine spécifique qui utilise ce détecteur D pour résoudre le problème de l’arrêt. Imaginons un programme de génération de texte appelé Générateur paradoxal (G). Ce générateur prend en entrée la description d’une machine M et une entrée w. Son comportement est le suivant :

• Il lance en tâche de fond la simulation du calcul de M sur w.
• Pendant que la simulation tourne (tant qu’elle ne s’est pas arrêtée), G écrit un texte qui imite parfaitement le style d’une IA.
• Si et seulement si la simulation de M sur w se termine (la machine s’arrête), G s’interrompt immédiatement, efface son comportement précédent, et écrit une conclusion rédigée à la main par un humain (ou un texte dont les propriétés statistiques intrinsèques sont indiscutablement humaines).

Regardons maintenant le contenu final produit par G(⟨M⟩, w) :

• Cas 1 : si M s’arrête sur w. La simulation prend fin. G produit donc un texte de nature humaine.
• Cas 2 : si M boucle indéfiniment sur w. La simulation ne s’arrête jamais. G continue d’écrire à l’infini son texte de nature IA.

3. La preuve formelle par l’absurde

Supposons que notre détecteur universel D existe. Nous pouvons alors construire une nouvelle machine de Turing, appelée Décideur de l’arrêt (H_déduit), qui prend en entrée ⟨M⟩ et w :

• H_déduit construit le code du générateur G(⟨M⟩, w) décrit ci-dessus.
• H_déduit donne le contenu textuel produit par G à notre détecteur universel D.
• H_déduit analyse la réponse de D : si D(texte) = HUMAIN, alors H_déduit répond « M s’arrête sur w » ; si D(texte) = IA, alors H_déduit répond « M boucle sur w ».

Le paradoxe (diagonalisation)

Par construction, le détecteur renvoie HUMAIN si et seulement si M s’arrête sur w.

Par conséquent, la machine H_déduit est capable de décider le problème de l’arrêt pour n’importe quel couple (M, w) en un temps fini (car D est supposé universel et doit toujours fournir une réponse).

Conclusion par l’absurde : or, d’après le théorème de Turing, le problème de l’arrêt est indécidable. Il est mathématiquement impossible d’avoir une machine telle que H_déduit. L’hypothèse de départ est donc fausse : il est mathématiquement impossible qu’un détecteur universel et parfait D existe.

4. Pourquoi est-ce à la fois profond et intuitif ?

Au-delà des mathématiques, ce résultat s’explique très bien par la logique de l’information : pour qu’un détecteur soit universel, il doit être capable de détecter l’IA même si l’IA utilise un algorithme de chiffrement, de dissimulation ou de calcul extrêmement complexe pour masquer sa signature. Détecter si une IA a produit un texte revient au fond à essayer de comprendre si le texte cache un « algorithme secret » ou s’il provient d’un processus créatif biologique (humain). Dès qu’un détecteur trouve une règle statistique pour identifier l’IA, une autre IA (modélisée par la machine G) peut utiliser cette règle exacte pour simuler l’arrêt ou le non-arrêt d’un programme, forçant le détecteur à devoir résoudre un problème logique insoluble.

Le théorème de Rice

Formulé par Henry Gordon Rice en 1953, ce théorème généralise le problème de l’arrêt : il est mathématiquement impossible de créer un programme informatique capable d’analyser le code source d’un autre programme et d’en déduire une propriété sémantique non triviale de manière infaillible.

Rappelons deux définitions clés :

• Propriété sémantique : propriété qui concerne le comportement du programme (ce qu’il fait) et non sa forme syntaxique (comment son code est écrit).
• Propriété non triviale : une propriété qui n’est ni vraie pour tous les programmes possibles, ni fausse pour tous les programmes possibles.

Le tableau suivant donne quelques applications concrètes et approximations liées au théorème de Rice.

Preuve formelle par réduction du théorème de Rice

Formalisation mathématique. Soit R l’ensemble de toutes les fonctions calculables. Une propriété sémantique P est un sous-ensemble de R. Supposons par l’absurde que P soit décidable par une machine D_P.

Soit M_vide une machine qui boucle indéfiniment sur toutes ses entrées (fonction vide). Sans perte de généralité, supposons que sa fonction n’appartient pas à P. Puisque P est non triviale, il existe une autre machine M_vrai telle que sa fonction appartienne à P.

La construction de la réduction. Pour toute machine M et tout mot w, on construit une machine intermédiaire W(x) : 1. exécuter M sur le mot w ; 2. si M s’arrête, exécuter M_vrai sur l’entrée x et renvoyer le résultat.

• Cas 1 : si M s’arrête sur w, W se comporte exactement comme M_vrai. Donc sa fonction appartient à P.
• Cas 2 : si M boucle sur w, W boucle indéfiniment. Sa fonction est la fonction vide, qui n’appartient pas à P.

Conclusion de la démonstration. En soumettant le code de W à D_P, on saurait instantanément si M s’arrête ou boucle sur w. Cela résoudrait le problème de l’arrêt, ce qui est impossible. Donc D_P ne peut pas exister. Le théorème de Rice est démontré.

Ces résultats profonds sont issus de la théorie de la calculabilité produite par Alan Turing. Ils nous montrent toute la complexité de la détection des contenus IA-GEN. Les méthodes actuelles ont leurs limites et leurs niveaux de performances. Nous proposons de passer en revue les plus fréquentes.

2 – Les méthodes actuelles de détection de contenus AI-GEN ou bio

Pour pallier l’impossibilité mathématique d’un détecteur universel, démontrée par le problème de l’arrêt et le théorème de Rice, l’industrie et la recherche ont développé des méthodes empiriques et probabilistes. Ces approches ne sont pas infaillibles, mais elles cherchent à maximiser la précision en combinant plusieurs signaux. Les méthodes actuelles se divisent en deux grandes familles : les méthodes a posteriori (analyse statistique et stylométrique après génération) et les méthodes a priori (marquage intégré lors de la génération).

1 – Les méthodes statistiques et stylométriques (analyse de texte)

Ces outils analysent les propriétés mathématiques du texte pour y détecter la « signature » invisible laissée par les modèles de langage (LLM).

La perplexité (perplexity)

Cette métrique mesure la fluidité d’un texte et la capacité d’un modèle à prédire le mot suivant. Les IA prédisent très bien leurs propres structures. Un texte écrit par une IA aura une perplexité très basse (très prévisible), tandis qu’un humain introduit de la surprise, des ruptures de ton et des choix de mots inhabituels (perplexité élevée).

La burstiness (variabilité du rythme)

Elle analyse la variation de la longueur des phrases et des structures syntaxiques. L’écriture humaine est « organique » : elle alterne de longues phrases complexes avec des phrases très courtes. Les IA ont tendance à générer des phrases d’une longueur et d’une structure très homogènes et régulières.

La distribution de probabilité des n-grammes

Les détecteurs soumettent le texte suspect à un LLM de référence pour vérifier si les mots choisis correspondent aux choix statistiques prioritaires du modèle (les mots du « top-k »). Si 95 % des mots du texte appartiennent aux prédictions les plus probables d’un modèle, la probabilité d’une origine artificielle est extrêmement élevée.

2 – Les méthodes de marquage à la source (a priori)

Ces méthodes ne cherchent pas à deviner si un texte vient d’une IA ; elles forcent l’IA à signer discrètement son travail au moment même où elle le génère.

Le filigranage statistique (text watermarking)

Lors de la génération du texte, l’algorithme de l’IA sépare aléatoirement les mots de son dictionnaire en deux listes : une « liste verte » (mots favorisés) et une « liste rouge » (mots défavorisés). L’IA est configurée pour choisir une proportion anormalement élevée de mots de la liste verte. Pour un humain, ce texte est parfaitement naturel. Mais pour un algorithme qui possède la clé mathématique des listes, la surreprésentation de la liste verte prouve la source.

Les métadonnées cryptographiques (standard C2PA)

Principalement utilisé pour les images, l’audio et la vidéo, ce protocole (soutenu par Adobe, Microsoft, OpenAI) injecte un certificat cryptographique inviolable directement dans le fichier au moment de sa création par l’IA. Il détaille l’historique du fichier et l’outil utilisé. Si le fichier est modifié, la chaîne de blocs cryptographique est brisée, signalant une anomalie.

3 – La détection multimodale (images, audio, vidéo)

Pour les contenus non textuels, la détection repose sur l’analyse des artefacts techniques et des incohérences physiques.

L’analyse de la cohérence biologique et physique

Dans les images et les vidéos (deepfakes), les détecteurs cherchent les erreurs géométriques ou anatomiques que l’IA peine à harmoniser (irrégularités des pupilles, asymétrie des boucles d’oreilles, reflets illogiques dans l’œil, absence de clignement des yeux ou flux sanguin imperceptible sur la peau).

L’analyse du domaine fréquentiel (analyse de Fourier)

Les réseaux génératifs laissent des traces d’échantillonnage invisibles à l’œil nu dans les hautes fréquences des images ou de l’audio. L’analyse spectrale permet de repérer des motifs de grille répétitifs ou des anomalies sonores caractéristiques des architectures de réseaux de neurones (GAN ou modèles de diffusion).

4 – Synthèse des forces et faiblesses des méthodes

En conclusion, on peut facilement parier que la sagacité de l’IA va nous apporter de nouvelles méthodes performantes inédites de détection de ses productions.

À lire également

• « Oui à l’IA Act mais avec modération » Thierry Berthier (interview)
• Le tournant cognitif de la cybersécurité : changement de paradigme et prolégomènes à la cybersécurité cognitive
• ChatGPT, un nouvel outil au service de l’Algorithmocratie ?
• Impact shumpéterien de l’IA : pourquoi Attali se trompe
• Haute intensité du combat et Robotisation du champ de bataille