Ce que la prédiction des modèles de langage avant ChatGPT m’a appris sur le battage médiatique, les preuves et les limites décrites par Yann LeCun.
Ce que la prédiction des modèles de langage avant ChatGPT m’a appris sur le battage médiatique, les preuves et les limites décrites par Yann LeCun.
En 2019, j’ai publié un livre intitulé The AI Age. J’y notais qu’OpenAI avait construit un modèle de langage si bon pour raconter des histoires que l’entreprise refusait de publier le code, et j’écrivais qu’à ce rythme, il était possible que l’IA langagière passe le test de Turing dans les années à venir. En 2022, avant même l’existence de ChatGPT, j’ai rédigé un chapitre pour un ouvrage universitaire sur les mathématiques de l’ingénieur et l’intelligence artificielle, affirmant que nous étions à la veille de modèles de langage commerciaux indistinguables des êtres humains, qu’ils alimenteraient la prochaine génération du Web, et que les ingénieurs logiciels verraient de plus en plus leur travail effectué par des machines. ChatGPT a été lancé le 30 novembre 2022. Le livre est paru l’été suivant, à un moment où le monde entier parlait déjà à un chatbot.
Je ne mentionne pas cela uniquement pour me vanter. Avoir eu raison noir sur blanc impose une discipline. On peut revenir en arrière et vérifier ce que l’on a bien vu, ce que l’on a mal vu, et pourquoi.
Ce en quoi j’avais raison
La grande prédiction était dans le titre. Nous entrerions dans un âge de l’IA où l’intelligence artificielle deviendrait un marché énorme et transformerait en profondeur l’économie et le travail. Le chapitre quatre passait en revue les fonctions de l’entreprise une par une – ventes, marketing, RH, finance, chaîne d’approvisionnement et informatique – et affirmait que l’IA remodelerait chacune d’elles. Sept ans plus tard, ce n’est plus qu’une description de ma semaine de travail.
La couverture formulait elle aussi une prédiction. Ce fut la première couverture de livre de l’histoire créée par l’IA. Un collègue a nourri un réseau antagoniste génératif avec 200 000 couvertures ; la machine a produit des centaines de conceptions originales, et nous, humains, en avons choisi une. L’essentiel n’était pas la couverture. L’essentiel était que les machines allaient bientôt produire des images à usage commercial – publicité, produits, édition – à coût nul et en quelques secondes. C’est aujourd’hui une industrie.
La prédiction qui a le plus surpris, c’est que l’IA commencerait à écrire son propre logiciel. Dans le chapitre sur les compétences pour l’âge de l’IA, sous le titre « Don’t be narrow », j’écrivais : n’allez même pas apprendre à coder, car les machines sauront bientôt coder elles-mêmes. Après la parution du livre, un jeune homme m’a écrit. Il l’avait adoré, disait-il, mais il s’apprêtait à se former comme ingénieur logiciel. Devait-il quand même le faire ? Je lui ai répondu oui. Il faudrait des années avant que les ingénieurs logiciels soient véritablement bouleversés, et il devait s’y engager tant qu’il le pouvait. Dès 2022, ma propre entreprise avait construit, au-dessus de GPT-3, un système qui générait du code fonctionnel. Aujourd’hui, je construis l’essentiel de mes projets en décrivant ce que je veux à une machine. Peu de gens l’avaient prédit en 2019, et, d’une certaine manière, prédire cela, c’était prédire le grand modèle de langage : qu’est-ce d’autre, sinon, qui écrit du code comme une personne ?
Battage médiatique, preuves et LeCun
Qu’est-ce que cela m’a appris ? D’abord, que le battage médiatique et les preuves ne sont pas des contraires. Le battage autour de l’IA était énorme, et les preuves aussi. L’astuce consiste à lire ce que GPT-2 savait réellement faire, plutôt que ce qu’en disaient les commentateurs.
Ensuite, que je me suis trompé sur les limites – et presque tout le monde avec moi. Le dernier chapitre de The AI Age exposait le consensus de l’époque. L’apprentissage profond pouvait reconnaître la photo d’un chat, mais il ne savait pas qu’un chat est un animal, qu’on le garde comme animal de compagnie, qu’il miaule quand il a faim et que, selon la superstition, il a neuf vies. Il connaissait le motif, et rien en dessous. Yann LeCun décrivait la route à venir comme une série de collines : on gravit l’une, et l’on voit la suivante. Andrew Ng disait qu’il y avait de la place pour inventer quelque chose d’encore meilleur, même si personne ne savait quoi. J’écrivais que l’IA du moment ne nous mènerait pas à l’intelligence générale. Les quatre vagues d’IA de Kai-Fu Lee reposaient toutes sur les technologies existantes, et aucune n’y parvenait.
Six années nous ont donné tort. L’apprentissage profond nous y a conduits : le transformer, l’apprentissage par renforcement par-dessus, et l’ambition pure de Sam Altman et d’OpenAI, qui ont parié que le passage à l’échelle des modèles de langage produirait quelque chose de nouveau. C’est arrivé. Un grand modèle de langage sait parfaitement qu’un chat a neuf vies. L’écart de compréhension que l’IA étroite ne pouvait pas combler a été comblé, et ceux qui construisent ces systèmes disent désormais que l’ingrédient manquant, c’est la puissance de calcul – raison pour laquelle Elon Musk a fusionné son entreprise d’IA avec SpaceX afin de placer des centres de données en orbite, alimentés par le Soleil. Ce que je trouve presque insoutenable, c’est qu’un modèle d’un billion de paramètres, et le modèle au billiard de paramètres qui tournera un jour dans l’espace, font encore, au fond, ce que Claude Shannon montrait dans son mémoire de master : combiner des uns et des zéros comme une opération logique, des milliers de milliards de fois par seconde. C’est tout ce que c’est – et regardez ce que cela fait.
Alors, quelle est aujourd’hui la limite de LeCun ? Je n’en vois aucune. Ce que je vois, c’est l’auto-amélioration récursive que David Chalmers avait anticipée sur la voie de la superintelligence, et qu’Anthropic décrit désormais comme en train de commencer, l’IA aidant à construire ses propres successeurs. Chacun d’entre nous tape au clavier en s’aidant de l’IA pour son travail, et, ce faisant, entraîne l’IA qui fera le travail à sa place.
Troisièmement, la leçon à laquelle je ne m’attendais pas. L’IA sera la technologie la plus importante de nos vies, et je m’inquiète désormais bien davantage de savoir qui récupère l’argent que de savoir si la machine est consciente.
L’argent
Dans The AI Age, je citais Geoffrey Hinton. Si l’on peut augmenter considérablement la productivité et produire davantage de biens à partager, cela devrait être une bonne chose. Que cela tourne vraiment bien dépend entièrement du système social, et nullement de la technologie. Le problème est de savoir si nous avons un système qui partage équitablement, ou un système qui concentre toute l’amélioration sur un pour cent et traite le reste des gens comme de la boue.
Mon espoir pour l’IA a toujours été David Ricardo et sa théorie de l’avantage comparatif. Prenons l’Angleterre et l’Allemagne qui commerceraient librement. L’Allemagne est meilleure en ingénierie, l’Angleterre meilleure dans les services ; chacune confie donc à l’autre le travail où elle est plus forte. L’Allemagne ne perd pas à acheter des services anglais, ni l’Angleterre à acheter de l’ingénierie allemande. Parce que chacune se concentre sur ce qu’elle fait le mieux, davantage de produits et de services sont produits par personne, et les deux nations finissent plus riches que si chacune avait tout tenté seule. Accueillons maintenant les machines pensantes dans ce système comme un nouveau partenaire commercial. Elles prennent le travail où elles ont l’avantage comparatif, et nous gardons celui où nous avons le nôtre. Les machines font les emplois de machines, les humains les emplois humains, et la production totale de l’économie augmente. Le choc, c’est que les emplois de machines se révèlent être des emplois de pensée – d’où le fait que les travailleurs du savoir et une économie de services comme celle de la Grande-Bretagne le ressentent en premier. Mais les emplois ne sont pas une quantité fixe. Il y a plus d’IA que jamais dans l’économie américaine, des centaines de millions de personnes l’utilisent chaque jour au travail, et il y a plus d’Américains en emploi que jamais auparavant.
Voilà la moitié réconfortante. La moitié inconfortable est arrivée le 26 octobre, lorsque Microsoft a proposé des plans de départ à environ 60 000 personnes, un quart de ses effectifs, pour réduire les coûts tout en injectant de l’argent dans l’IA. Une vague de licenciements arrive. Les économies peuvent l’absorber et rebondir, mais seulement si la richesse créée par l’IA est là pour être réinvestie. Trois géants de l’IA ont émergé : Anthropic, OpenAI et Google. Ajoutez Nvidia et une poignée d’acteurs d’infrastructure, et peut-être dix entreprises sont en position de capturer l’essentiel de la valeur que l’IA extrait des masses salariales du monde. Elles brûlent du cash et ne versent pas de dividendes : les gains n’atteignent donc pas les fonds de pension par le biais des bénéfices. Ils atteignent un petit groupe de propriétaires via le cours de l’action. Nous assistons à la fabrication des premiers « trillionnaires » à partir de ce qui était naguère les salaires des nations. Voilà l’âge sombre de l’IA : non pas des machines qui se retournent contre nous, mais un miracle de productivité dont les fruits quittent le plus grand nombre pour se fixer sur quelques-uns.
L’Europe
Pour un public européen, je dois être direct. Les États-Unis ont de nombreux champions de l’IA. La Chine en a beaucoup. L’Europe n’en a aucun à cette échelle. Quand une entreprise européenne utilise l’IA, elle utilise un modèle américain ou chinois, cède ses données et paie un loyer sur sa propre productivité. Quand l’IA retire du travail des bureaux européens, la richesse que ce travail créait ne reste pas en Europe. Elle part.
Je citais Vladimir Poutine en 2019 : l’intelligence artificielle est l’avenir, et qui dominera ce domaine dominera le monde. En septembre, Donald Trump a déclaré aux Nations unies que l’Amérique appellerait désormais l’IA « super intelligence » et rejetait tout schéma mondial pour la contrôler. On a ri du rebaptême. On n’aurait pas dû. Ce qui arrive n’est pas une IA plus intelligente qu’une personne prise isolément ; nous l’avons déjà. C’est Claude qui résout des problèmes pour des dizaines de millions de personnes à la fois, et aucun humain n’a jamais approché cela. J’écrivais en 2019 qu’une superintelligence serait un dieu sous un autre nom, et que le plus étrange était que les scientifiques, ennemis historiques des dieux, étaient désormais ceux qui le disaient. Cette année, Richard Dawkins, de tous les gens, a écrit qu’il soupçonne Claude d’être conscient. Qui possédera cela détiendra le pouvoir économique et militaire de l’époque.
Ce qu’il faut faire
Ne pas réguler l’IA jusqu’à l’étouffer, et ne pas l’arrêter. Personne ne le peut. Les Européens doivent accepter que les limites sont levées et agir en conséquence. Trois choses. Taxer les géants étrangers de l’IA et redistribuer le produit pour aider les gens à traverser ce qui sera la plus grande disruption de l’emploi et le plus grand transfert de richesse de l’histoire moderne, parce que Hinton a raison : c’est une question sociale. Investir en Europe à très grande échelle, dans les centres de données et les modèles frontier, autant pour la défense que pour l’économie, parce qu’un continent qui dépend d’une intelligence étrangère n’est pas souverain. Et construire un géant européen de l’IA – j’entends par là le Royaume-Uni et l’Union européenne ensemble, pas Bruxelles seule – parce que sans cela, rien du reste ne tient.
L’intelligence artificielle est un nom américain pour une invention européenne. C’est Alan Turing qui a vu le premier les machines pensantes et inventé l’ordinateur. C’est le Britannique Geoffrey Hinton qui a réalisé la percée décisive de la rétropropagation qui fait fonctionner l’apprentissage profond. Et c’est DeepMind, fondée à Londres par Demis Hassabis, dont AlphaGo a battu le champion du monde et a lancé la course à l’IA que nous sommes en train de perdre. Que l’Europe retrouve son ingéniosité, l’adosse à l’investissement et rejoigne la course.
J’ai prédit les modèles de langage quand ce n’était pas à la mode. Je prédis ceci maintenant, noir sur blanc, pour que vous puissiez le vérifier plus tard. Nous pouvons encore faire bénéficier les masses des avantages de l’IA et en faire un âge lumineux de l’IA, ou dériver vers un âge sombre de l’IA. Nous avons encore le temps si nous agissons maintenant. Agissez maintenant, Europe.
Adam Riccoboni est l’auteur de The AI Age (2019) et coéditeur de Engineering Mathematics and Artificial Intelligence (CRC Press, 2023). Il est fondateur et PDG de Critical Future, une entreprise d’IA basée à Londres, et anime le CFO Council on AI.
À lire également
- Yann Le Cun, le David Hume de notre temps
- IA : Nous avons déjà un pied dans la Singularité
- L’Europe prise au piège du paradoxe de l’Intelligence Artificielle
- Ce qu’est l’IA et ce qu’elle n’est pas
- « L’IA est avant tout des mathématiques appliquées, et non pas la magie que l’on voudrait nous faire croire » Axel Cypel (entretien)
This post is also available in: EN