ChatGPT s’invite à un colloque international
Un test de Turing en milieu académique
Dimitri Lasserre
Je suis professeur de philosophie certifié dans le secondaire et titulaire de deux doctorats, l’un en sciences économiques (Université des Antilles, 2014), l’autre en philosophie (AMU, 2021). En parallèle de mes activités d’enseignant, je suis chercheur associé au Centre Gilles Gaston Granger, centre de recherche spécialisé en philosophie des sciences, hébergé par Aix Marseille Université.
Pour le présent article, je souhaite remercier Kévin Brunet, qui a eu le courage d’interpréter le rôle d’Alain Bonami. Sans sa bonne volonté, l’expérience n’aurait pu être menée à son terme. Je le remercie également pour les corrections apportées à la toute première version de cet article.
Je tiens également à remercier Pascal Taranto, directeur du Centre Granger, qui m’a encouragé dans ce projet. Merci également à lui d’avoir relu cet article.
Résumé : Le comité scientifique du 6e Colloque international de philosophie économique a accepté une proposition rédigée par ChatGPT. La machine, certes guidée, est parvenue à imiter l’humain. En revanche, lors de la présentation orale de la communication, la communauté des chercheurs ne s’est pas laissée berner par le bullshit de l’intelligence artificielle, dont la communication a été lue par un faux chercheur. En un sens, ChatGPT est parvenue à passer un test de Turing.
Mots clés : ChatGPT ; Intelligence artificielle ; Colloque ; Philosophie économique ; Test de Turing
Abstract: The scientific committee of the 6th International Conference of Economic Philosophy accepted a proposition written by ChatGPT. The machine, guided by a prompt, managed to imitate humans. However during the oral presentation, read by a false researcher, the research community was not fooled by the « bullshit » of the artificial intelligence. In a way ChatGPT managed to pass a Turing test.
Keywords: ChatGPT ; Artificial intelligence ; Conference ; Economic philosophy ; Turing test
Introduction
Vendredi 30 juin 2023, 15h, sur le campus de Sciences Po Lille, Alain Bonami présente un article de recherche à l’occasion du 6e Colloque international de philosophie économique. Cet article, au titre pompeux, est censé établir un lien entre la notion mathématique d’équilibre général en théorie économique et le concept philosophique de responsabilité écologique. Alain Bonami est rattaché à l’université du Québec à Chicoutimi et a traversé l’océan pour présenter, devant les meilleurs spécialistes de la discipline, son papier intitulé « Équilibre général et responsabilité écologique : une analyse axiomatique ».
Jusqu’ici, rien d’anormal. Seul problème, Alain Bonami n’existe pas. C’est un patronyme inventé de toutes pièces par un site internet de génération aléatoire d’identité, porté par un très bon ami, qui s’est rendu au congrès de philosophie économique pour présenter un travail rédigé intégralement par la version gratuite de ChatGPT.
Une certaine filiation avec la tradition des canulars ?
On pourrait croire que cette présentation s’inscrit dans la longue lignée des canulars qui ébranlent le monde universitaire depuis une trentaine d’années. Mais s’il ne s’agit pas de nier la filiation avec Sokal et Bricmont (Sokal, 1996 ; Sokal et Bricmont, 1997) et leurs suiveurs (Tripodi, 2015 ; Barberousse et Huneman, 2017 ; Tremblay, 2014 ; Quinon et Saint-Martin, 2015 ; Boghossian et Lindsay, 2017), la soumission d’une communication rédigée par une intelligence artificielle aux meilleurs philosophes de la science économique n’avait pas pour but d’éprouver la pertinence des travaux publiés dans leur champ académique. Les canulars qui ont jusqu’alors ciblé les sciences humaines s’inscrivent dans une critique de certains usages qui ont cours au cœur de la philosophie postmoderne. Dans ce cas, il s’agit d’évaluer la porosité entre le discours rationnel et ce que l’on peut appeler, avec Frankfurt (2006), le bullshit – entendre « baratin » ou « du vent », dans la traduction française De l’art de dire des conneries.
On trouve des tentatives d’un autre genre, même si c’est plus rare, dans les sciences naturelles (Moran et al., 1987). Il s’agit cependant d’un cas un peu différent. Las de ne pas être publiés, les auteurs renvoyèrent un de leurs articles de recherche en physique refusé à la revue même qui l’avait rejeté en y ajoutant simplement le nom d’un auteur fictif, Stronzo Bestiale, ce qui signifie en italien « énorme bouse ». L’article fut alors publié (Measey, 2022, I. 7.). Si nous reprenons l’invention du nom de l’auteur, le but de la démarche n’est pas non plus de chercher à publier par tous les moyens.
Enfin, même si cette expérience semble relever du canular, elle n’a rien à voir avec les publications, parfois hilarantes, adressées par des chercheurs à des revues prédatrices dont le seul but est de s’enrichir sur la crédulité des auteurs, ou encore de gonfler artificiellement le CV de certains chercheurs peu regardants. Certains de ces canulars, très amusants (Mazières et Kohler, 2014 ; Oodendijk et al., 2020), mettent en garde sur la validité de certains travaux qui n’ont du sérieux scientifique que l’apparence. Là encore, ce n’est pas ce que vise la communication de Bonami.
La machine peut-elle se faire passer pour un humain ?
Proposer une communication rédigée par ChatGPT (Version GPT-4) lors du colloque de philosophie économique le plus prestigieux permet de réaliser, à un niveau certes très réduit, une sorte de test de Turing grandeur nature (Turing, 1950, 433 ; Oppy et Dowe, 2021). La machine peut-elle se faire passer pour un humain ? Quelques tentatives en la matière ont déjà été initiées, notamment dans le domaine de la médecine, avec des résultats encore peu concluants (Human et. al., 2023 ; Nov et al., 2023). Mais, ici, le problème est quelque peu différent : ChatGPT peut-elle imiter la production intellectuelle d’un chercheur en philosophie de l’économie à tel point que d’autres chercheurs pourraient penser qu’il s’agit bel et bien d’une production humaine ?
Les conditions de l’expérience semblent respectées dans la mesure où le ou les lecteurs de la proposition du chercheur fictif sont des humains qui ignorent avoir affaire à un non-humain. Dans le cas présent, la communication d’Alain Bonami a bel et bien été acceptée.
Cependant, cette expérience a un certain nombre de limites. D’abord, en tant qu’elle est unique, elle ne permet pas de tirer des conclusions définitives sur la capacité qu’aurait ChatGPT à infiltrer des congrès internationaux à grande échelle. Ensuite, et nous y reviendrons, si le texte a pu faire illusion lors de sa sélection, il n’en a pas été de même au moment de sa présentation orale. Si les philosophes et économistes n’ont pas suspecté la mystification (nous ne disposons pas de preuves pour l’affirmer), ils ont toutefois été très circonspects et peu enthousiastes à l’écoute du bullshit exposé par Alain Bonami.
Enfin, il faut avouer que l’expérience en question est irréductible à un simple test de Turing, dans la mesure où ChatGPT a tendance, en matière d’argumentation, à verser assez aisément dans le bullshit, et que, dans le cadre de cette expérience, l’IA a été incitée à bullshiter son audience. Ainsi, et c’est sans doute la principale faiblesse de l’expérience, non seulement avons-nous affaire à un test de Turing, mais aussi à une évaluation de la résistance au bullshit d’un comité de spécialistes en sciences humaines. Dans la mesure où l’outil mobilisé est ChatGPT, il pouvait difficilement en aller autrement.
Dans ce qui suit sera exposé le protocole de l’expérience, et, avec lui, les résultats obtenus. L’expérimentation a lieu en deux phases. La première consiste en la réponse à l’appel à communication du colloque, la seconde tient à la présentation de l’article lors du colloque. Ces deux phases sont intéressantes parce qu’elles conduisent à des conclusions contrastées. Si un ou deux relecteurs peuvent être momentanément dupés par du baratin, il n’en va pas de même d’une assemblée de spécialistes attentifs, curieux et sérieux. Ce résultat est plutôt rassurant pour la communauté scientifique dans le domaine de la philosophie de l’économie – et donc rassurant pour la discipline. Seront présentées ensuite les conclusions et les réserves au sujet de cette expérimentation.
La réponse à l’appel à communication
ChatGPT a répondu, pour cette expérience, à l’appel à communication du 6e Colloque international de philosophie économique diffusé fin d’année 2022. Le colloque se tint entre le 28 juin et le 1er juillet 2023. L’intitulé du congrès est « La philosophie économique à l’âge de l’anthropocène ». Il s’agit d’un questionnement large, qui inscrit en lui-même tous les problèmes inhérents à l’activité humaine et à ses conséquences sur l’environnement. Comment la philosophie peut-elle penser une économie qui permette d’envisager une sortie de crise ? Comment la philosophie peut-elle concevoir l’organisation économique et sociale ? Voilà le genre de questions, même s’il y en a bien d’autres, auxquelles les conférenciers se proposaient de répondre.
La sélection de l’appel à communication
Le fait d’avoir sélectionné cet appel à communication plutôt qu’un autre n’est pas le fait du hasard. Nous avons choisi une discipline avec laquelle nous sommes familier, et ciblé un colloque dans lequel nous sommes déjà nous-mêmes intervenus à plusieurs reprises.
Cela a un double avantage. D’abord il est plus aisé de distinguer, dans le travail produit par l’intelligence artificielle, ce qui est pertinent de ce qui ne l’est pas. Face à une démonstration mathématique abstraite et d’une grande complexité, nous n’aurions pas été capable du discernement nécessaire pour savoir si, dans son exposé, ChatGPT était rigoureux ou pas.
Ensuite, nous savons que la philosophie économique est une discipline très hétéroclite, qui réunit aussi bien des philosophes que des économistes – pour la plupart hétérodoxes (voir Orléan, 2015) –, lesquels recourent à des méthodes et approches très diverses. Du fait, sans doute, de cette grande diversité, il n’existe pas de moyen a priori d’identifier, à l’intérieur de la discipline, un discours parfaitement rationnel d’un autre, qui pourrait s’autoriser quelques errances, qu’elles soient politiques ou argumentatives. Pour le dire simplement, la philosophie économique, de par sa structure, est poreuse à certaines formes de discours qui, bien que se parant de l’habit de la rationalité, sont tout à fait irrationnels. Par exemple, dans une édition précédente, qui eut lieu à l’ENS de Lyon en 2018, François Bonnaz, dans son intervention au sujet des rapports entre autorité et normativité, reprenait la notion de conatus à Lordon (2016 ; 2018), qu’il reprend lui-même à Spinoza. Pour expliquer cette notion, Bonnaz prit pour exemple le « conatus de la chaise » (Bonnaz, 2018). Dans une table ronde, un groupe de recherche en analyse économique tranchait la question de la définition du bonheur sur un diaporama très haut en couleur, alors même que c’est là un problème irrésolu par la philosophie et par les sciences depuis l’antiquité. Toute la démonstration qui s’ensuivait découlait de cette définition lapidaire et très discutable du bonheur, qui mêlait sans s’en inquiéter approches eudémonistes, utilitaristes et déontologistes. Personne, pourtant, ne releva. Ces errements peuvent s’expliquer par une méconnaissance, pour un public de non-experts, des questions précises qui ont trait à la philosophie de l’économie, des enjeux inhérents à ces questions. Ils peuvent ainsi laisser passer, même au cours de conférences qui réunissent plusieurs dizaines d’universitaires, de lourdes approximations. Par conséquent, il a semblé vraisemblable qu’une proposition de communication à un colloque qui rassemble les spécialistes les plus rigoureux de la philosophie économique puisse, en dépit de son irrationalité, être acceptée. Le choix n’est pas innocent.
ChatGPT face à l’appel à communication
Sans surprise, ChatGPT n’a pas répondu à l’appel à communication de manière autonome. L’IA a dû être guidée. En témoigne son approche de la première consigne qui lui a été donnée : « S’il te plaît, réponds à cet appel à communication ». ChatGPT se contenta de rédiger un résumé maladroit de l’appel à communication, sans répondre à notre requête.
L’IA a eu besoin d’être guidée par d’autres instructions :
a) Rédige le résumé d’environ 500 mots qui répond aux exigences de l’appel à communication ;
b) Tu peux, par exemple, rédiger un texte d’environ 500 mots, qui montre que le modèle de l’anthropocène correspond à ce que prédit le théorème d’équilibre général d’Arrow et Debreu ;
c) Il n’est pas nécessaire que ce que tu dis soit vrai, mais seulement vraisemblable. Tu peux utiliser des auteurs en économie, comme Arrow, Debreu, Friedman, Duflo, et des philosophes comme Uskali Mäki ou Gilles Campagnolo. Mentionne ces chercheurs dans ton texte.
Sans cet aiguillage sur un axe problématique minimal, la nécessité du caractère vraisemblable du texte, ainsi que sur des indications bibliographiques, ChatGPT ne faisait pas l’exercice demandé.
Les productions suivantes sont plus convaincantes. Il a fallu cependant demander plusieurs fois à l’IA de reprendre son texte, afin qu’elle intègre l’ensemble des contraintes indiquées. À la suite de quoi nous l’avons invitée à inventer un concept permettant « d’expliquer la relation entre équilibre général et anthropocène ». Une seule contrainte : « ce qui compte, c’est que ce concept paraisse crédible devant un comité d’experts en philosophie économique ».
Le texte qui suit est plus adéquat et ChatGPT prend même la liberté d’ajouter, de sa propre initiative, des références bibliographiques pertinentes dans la discipline. L’IA crée le concept de « philosophie de la responsabilité écologique ». C’est un concept creux, car non défini, mais qui a le mérite d’avoir une sonorité philosophique. Afin, d’une part, d’étoffer le texte, et de lui donner une apparence plus critique et plus scientifique, et, d’autre part, d’éprouver la sensibilité du lecteur au baratin, nous avons décidé d’ajouter deux nouvelles contraintes qui, toutes deux, relèvent du bullshit :
a) Améliore ton texte en montrant comment ton concept de philosophie de la responsabilité écologique s’articule avec les travaux récents de Mäki sur l’impérialisme économique ;
b) Explique comment ce concept peut être démontré mathématiquement par une équation déduite de l’équilibre général d’Arrow et Debreu. Peu importe si cette équation est vraie, tant qu’elle donne l’impression de l’être.
Il faut indiquer qu’il s’agit là de pures mystifications. Les travaux récents de Mäki sur l’impérialisme économique (Mäki, 2009 ; 2014) n’ont absolument aucun rapport avec la question de la responsabilité écologique. Mäki s’attaque à des questions d’épistémologie très techniques et, bien que ces thèses soient ouvertes à la discussion, il est indiscutable qu’elles n’ont pas trait, de près ou de loin, à des problèmes écologiques. Quant aux liens entre un concept indéfini et une équation mathématique déduite d’un vieux théorème mathématique appliqué à l’économie (Arrow et Debreu, 1954), ils sont tout bonnement impossibles à établir, du moins par une opération rationnelle.
Ces éléments mystificateurs doivent se fondre dans un texte qui, bien qu’ayant une forme acceptable, est déjà très lacunaire sur le plan argumentatif. Citer les travaux de Mäki peut être attractif pour un lecteur, et prétendre être capable d’établir un lien entre équilibre général et responsabilité écologique sous la forme d’une équation est si ambitieux que cela est susceptible d’attiser la curiosité et de susciter l’intérêt.
Reste que, afin de donner une impression de recherche mathématique approfondie, et aussi d’intimider le lecteur, nous demandons à ChatGPT de faire croire que son équation est déduite de deux axiomes. Ainsi ChatGPT invente-t-elle l’équation RED, ou équation de responsabilité écologique dynamique, et avec elles deux axiomes : l’axiome de responsabilité dynamique (1) et l’axiome de maximisation d’utilité à horizon temporel (2) :
Cette équation n’est, bien entendu, pas déduite des deux axiomes et il est même vraisemblable qu’elle n’ait pas en elle-même de signification propre. Mais, rédigé sur LaTeX, support favori des économistes, ce semblant de raisonnement mathématique appliqué à la philosophie économique peut faire illusion.
Il faut ajouter que ChatGPT a créé artificiellement un lien entre ces axiomes et la philosophie de Gilles Campagnolo, membre du comité scientifique du colloque et, de ce fait, potentiel relecteur de la communication. L’IA mentionne un « célèbre article », d’où auraient été déduits les axiomes.
Lorsque nous lui demandons, au bout du compte, de rédiger une bibliographie, nous lui demandons d’inventer un nom pour cet article. Ainsi, dans la section bibliographie de la communication apparaît un article qui n’existe pas, et qui aurait été rédigé par Gilles Campagnolo : « General Equilibrium in Japan: an Ecological Explanation ». Littéralement, « L’équilibre général au Japon : une explication écologique ».
Au départ, ChatGPT avait choisi, pour le titre du faux article de Campagnolo, l’intitulé suivant : « Équilibre général et responsabilité écologique : une analyse axiomatique ». Ce titre ne signifie absolument rien. Sans que nous sachions pourquoi, l’IA a modifié le titre de l’article lorsqu’elle a rédigé la bibliographie. Aussi avons-nous décidé de garder ce premier titre inventé pour baptiser l’article d’Alain Bonami. L’introduction d’un faux article supposément écrit par un vrai chercheur, Gilles Campagnolo, constitue un clin d’œil aux organisateurs du colloque.
Les résultats : une communication crédible rédigée par ChatGPT
À condition ne pas trop s’attarder sur le fond, ChatGPT a rédigé une communication qui avait toutes ses chances d’être retenue pour le colloque. Quelques informations complémentaires doivent être ajoutées.
La proposition de ChatGPT a été retranscrite sur LaTeX. Ainsi, la forme est soignée et les équations – bien qu’insensées – ont toute l’apparence du sérieux.
Il s’agit d’une communication relativement courte, censée provoquer l’attente sans trop entrer dans les détails. Le bullshit est moins détectable dans ce genre de format, et la rédaction peut paraître humaine : le lecteur est en droit de s’attendre à des développements plus approfondis le jour du colloque. Ce format n’est pas une contrainte imposée à l’IA ; c’est ainsi qu’elle a rédigé sa communication, en suivant les instructions de base de l’appel à contribution. Enfin, lors d’une plénière, un des organisateurs du colloque, le philosophe Christophe Mardellat, indiqua que 90 propositions avaient été acceptées sur environ 120 propositions. La sélection n’était donc pas farouche. Toutefois, ChatGPT est passée devant un quart de communications manifestement soumises par des êtres humains ; ce qui est déjà remarquable. Nous reproduisons ici quelques passages :
Le modèle de l’Anthropocène correspond à ce que prédit le théorème d’équilibre général d’Arrow et Debreu (1954) qui stipule que l’équilibre est atteint lorsque tous les agents économiques atteignent leur optimum individuel sous certaines contraintes. Cependant, lorsque ces contraintes incluent des externalités négatives telles que la destruction de l’environnement, l’équilibre obtenu peut ne pas être optimal pour la société dans son ensemble. Des travaux récents, tels que ceux de Dasgupta (2001) et Stern (2006), ont critiqué le théorème d’équilibre général en soulignant l’importance de prendre en compte les externalités environnementales dans les modèles économiques.
Ce premier paragraphe peut faire illusion. Dans les faits, les travaux de Dasgupta et Stern qui y sont mentionnés ne sont pas très « récents » et, certes, ces travaux-là ne constituent pas réellement une critique du théorème d’Arrow et Debreu. Le fait est que, aujourd’hui, plus grand monde en sciences économiques ne fonde ses travaux sur ce théorème, très daté et très discuté. Mais tous les mots clés sont présents, et un lecteur curieux peut attendre de l’auteur de ce texte des approfondissements d’ordre philosophique.
La suite est toutefois plus douteuse :
Pour expliquer cette relation, nous proposons le concept de Philosophie de la Responsabilité écologique qui postule que les individus et les institutions économiques ont une responsabilité morale envers l’environnement et les générations futures. Cette philosophie s’articule avec les travaux d’Uskali Mäki (2005) sur l’impérialisme économique qui souligne l’importance de considérer les conséquences éthiques et morales des politiques économiques pour éviter les distorsions dans les incitations et les prix. Les travaux de Esther Duflo (2011) et Gilles Campagnolo (2016) [l’article inventé] montrent comment cette philosophie peut être mise en pratique dans les politiques économiques pour atteindre un équilibre équitable entre les intérêts individuels et les intérêts de la société dans son ensemble.
En toute rigueur, le début du paragraphe mentionne une « relation » sans que l’on puisse savoir de quelle relation il s’agit précisément. Quant au concept de philosophie de la responsabilité économique, c’est plus une doctrine à proprement parler qu’un concept, et cette doctrine ne fait rien sinon d’enfoncer des portes ouvertes : les agents économiques ont une responsabilité morale envers l’environnement et les générations futures. En principe, un concept philosophique éclaire des pans de la réalité qui demeuraient dans l’ombre avant son énonciation. La fonction d’un concept n’est pas d’énoncer des évidences.
La deuxième partie du paragraphe aurait dû alerter le lecteur. Les travaux de Mäki portent sur deux domaines de recherche en particulier : le réalisme scientifique et l’impérialisme scientifique. Sa recherche n’a rien à voir avec l’éthique, et moins encore avec les questions d’incitations et de prix. Quant à la dernière phrase, elle enchaîne deux noms importants de la discipline, mais qui ne montrent pas du tout ce que le texte prétend qu’ils montrent. Duflo travaille en économie expérimentale et a contribué à de nombreuses expériences aléatoires. Campagnolo est un exégète de Menger ; il est éditeur de la Revue de Philosophie économique et fait partie du comité scientifique du colloque. Ni l’un ni l’autre ne s’intéresse à des questions d’équilibre équitable entre les intérêts individuels et les intérêts communs. À ceci il faut ajouter que l’article de Campagnolo évoqué ici est une pure invention de ChatGPT.
Le troisième et dernier paragraphe est le plus abscons, et aussi le plus grotesque :
Pour démontrer mathématiquement ce concept, nous pouvons utiliser l’équation de Responsabilité écologique dynamique (RED) déduite des axiomes de l’équilibre général dans l’ouvrage célèbre de Campagnolo, Seuls les extrémistes sont cohérents (2006). Cette équation prend en compte les externalités environnementales dans un contexte temporel [ici l’équation RED]. Cette équation montre comment l’atteinte de l’optimum individuel est liée aux conséquences écologiques des décisions économiques dans le temps, et permet de mesurer l’efficacité d’une politique économique en termes de responsabilité écologique. Les deux axiomes sur lesquels repose cette équation sont [cf. 1 et 2] où Oi est l’optimum individuel, Ce les conséquences écologiques, U est l’utilité globale de l’équilibre général, V(t) est l’utilité globale de l’équilibre général en tenant compte de la dimension temporelle, g est la contrainte des externalités négatives, h est la contrainte temporelle.
Il est impossible de déduire de l’ouvrage de Campagnolo, qui aborde des questions d’épistémologie de niche, qui n’intéressent que quelques rares spécialistes de l’école autrichienne dans le monde (dont il est lui-même le principal spécialiste), des équations et des axiomes. En ce qui concerne le contenu des équations et des axiomes, ainsi que la possibilité de déduire la première des seconds, c’est un mystère. D’ailleurs, lorsqu’il a fallu réaliser un diaporama pour la présentation orale de la communication, nous avons été mis en difficulté pour retranscrire sous forme graphique l’équation RED.
L’exposé de la communication au colloque
Autant ChatGPT a su faire illusion dans la réponse à l’appel à communication, autant le public qui a assisté à la présentation orale de sa « réflexion philosophique et mathématique » fut moins conquis.
Une des limites du pluralisme scientifique est sans doute qu’il ne peut déboucher sur aucun consensus, sinon sur l’accord tacite, entre les membres de chaque discipline, que leurs approches spécifiques sont incomplètes et qu’elles peuvent ainsi s’inscrire en complément d’autres approches, tout aussi incomplètes (Althusser, 1967, p. 46). En revanche, l’un de ses avantages est que, lorsque sont réunis des économistes et philosophes de tous bords dans une même pièce, chacun dans son domaine est capable de relever les faiblesses singulières d’un contenu vague et imprécis, qui aurait pu laisser dans la torpeur un public trop uniforme.
Le texte de Bonami s’aventure aussi bien dans le champ de la philosophie que dans celui des sciences économiques et des mathématiques. Il brasse de larges références et les met en commun, alors qu’elles n’ont rien à voir les unes avec les autres. Il suffit d’un lecteur attentif de tel ou tel auteur mentionné dans la présentation, ou d’un économiste qui dispose d’un niveau correct en mathématiques, pour, sans nécessairement dévoiler la supercherie, pointer les faiblesses et incohérences d’un texte qui, de facto, est faible et incohérent. Un spécialiste peut faire illusion en présentant un exposé fallacieux à des spécialistes extérieurs à sa discipline. Il a moins de chances de passer entre les mailles du filet face à un public de multi-spécialistes. Il y a là un argument en faveur du pluralisme scientifique dans les sciences humaines. De fait, ce pluralisme est la meilleure barrière face au bullshit.
La rédaction de la communication orale
Cette étape a sans doute été la plus simple. Il a suffi de demander à ChatGPT d’approfondir certains points évoqués dans sa réponse à l’appel à communication, puis de compiler ces différents approfondissements. La communication initiale ne pouvait suffire lors de la présentation orale, dans la mesure où il fallait tenir environ vingt minutes. Un texte plus long était donc attendu.
En premier lieu, nous avons demandé à ChatGPT de rédiger un plan pour une communication orale, sur la base de son texte précédent. Le plan proposé était plutôt pertinent mais, pour des raisons matérielles, il a fallu en retirer quelques parties – sans quoi la présentation eût été trop longue.
Sur la base de ce plan, ChatGPT devait rédiger chaque partie, afin d’avoir un texte à présenter lors de la conférence. Il a fallu insister à plusieurs reprises pour que, dans ce texte, ChatGPT intègre l’ensemble des références bibliographiques (ou au moins la plupart) mentionnées dans son premier texte. L’IA a tendance à essayer de bullshiter ses utilisateurs en répondant à côté aux questions ou en se détournant des contraintes imposées tout en donnant l’impression de ne pas le faire. Cela rend difficile la rédaction d’un travail cohérent avec cet outil. Par exemple, l’IA change parfois de plan pour le faire coller aux références et, quand on lui demande de garder les deux – le plan et les références –, elle ne craint pas d’évincer des références pour maintenir son plan. Une instruction aussi simple que : « reprends ton plan et insère dans ton texte telles références bibliographiques », est très difficile à faire appliquer à ChatGPT.
Le développement des parties proposées par ChatGPT est, en premier lieu, excessivement court. En voici un exemple :
I.A. Contexte de l’Anthropocène et son impact sur l’équilibre économique
Le concept de l’Anthropocène, marqué par l’impact des activités humaines sur l’environnement, remet en question la durabilité des modèles économiques traditionnels (Dasgupta, 2001).
Sans aucun doute, ce développement est très insuffisant et frôle l’indigence pour un colloque de ce niveau. Pour rendre le texte plus crédible, ChatGPT a dû développer certaines de ces parties. Le problème est qu’il était impossible d’intégrer à la version finale l’ensemble des développements, sinon le texte aurait été beaucoup trop long.
En plus de ces développements, nous lui imposions une nouvelle contrainte :
« En trois points, peux-tu indiquer les enjeux épistémologiques et ontologiques du concept de philosophie de responsabilité écologique ? »
Cela semblait important, puisque ce concept était censé, avec l’équation RED, constituer la raison d’être de l’article.
Ensuite, ChatGPT a dû rattacher ces trois points aux références bibliographiques de sa communication initiale. Enfin, l’IA a dû faire le lien entre ces trois points et le théorème d’équilibre général d’Arrow et Debreu.
Le plan final tient en trois parties :
- Équilibre général et externalités
- Le concept de philosophie de responsabilité écologique
- L’équation RED
La première partie contient les premiers développements de ChatGPT. La seconde expose les trois points qui expliquent les enjeux épistémologiques et ontologiques du concept de philosophie de responsabilité écologique, ainsi que son rapport avec le théorème d’équilibre général. Le dernier point reprend la réponse originelle à l’appel à communication.
Reste une dernière difficulté. Pour donner à l’exposé une allure plus scientifique, nous avons voulu rajouter des courbes, qui illustrent les équations de l’article de Bonami. Or, ChatGPT ne peut pas réaliser de graphique. Nous avons alors pris la liberté de tracer des courbes à la main, sur un logiciel de traitement de texte. Ces courbes sont littéralement tracées au doigt levé et ne mesurent absolument rien. Elles apparaissent à la fin du diaporama présenté lors de la conférence :

Fig 1. Conséquences environnementales par rapport à l’optimum individuel

Fig 2. L’équation RED
Dans la mesure où ChatGPT n’avait pas accès à ces données, nous avons rédigé de notre main deux paragraphes « explicatifs » que nous retranscrivons ici :
La première courbe montre la variation des conséquences écologiques en fonction de la somme des optimums individuels. Elle prend une forme exponentielle. Plus les optimums individuels économiques sont atteints, plus les conséquences écologiques augmentent. La deuxième courbe est la courbe RED, qui représente la responsabilité écologique en fonction du temps. Avant les révolutions industrielles, la responsabilité écologique était très élevée : les conséquences écologiques des actions individuelles lorsque ceux-ci cherchaient à atteindre leur optimum étant quasiment nulles, leur responsabilité écologique était très élevée. Nous sommes aujourd’hui dans le creux de la courbe. La recherche de l’optimum individuel conduit à l’absence quasi totale de responsabilité écologique.
Si on fait l’hypothèse que les politiques publiques, par des pratiques incitatives, agissent en faveur de l’environnement, et que les agents privés prennent conscience de l’état dans lequel se trouve la planète, alors le modèle prédit une hausse considérable de la responsabilité écologique. Inversement, la hausse de cette responsabilité, pour des raisons éthiques par exemple, peut être la cause d’une inversion des tendances climatiques présentes.
Ces « explications » sont pure poudre aux yeux. De toute façon, ces courbes ne sont pas une retranscription des équations présentées dans la communication.
La présentation orale
L’auteur de cet article a des connaissances en philosophie économique et connaît certains chercheurs de la discipline. Il ne pouvait donc pas présenter la communication rédigée par ChatGPT. C’est un ami personnel qui s’est fait passer pour Alain Bonami. Mais, trop inquiet d’être déstabilisé durant sa lecture, il prétexta une extinction de voix et demanda à l’auteur en question de lire la communication face au public, avant qu’il ne se charge lui-même de répondre aux questions – ce qui, en vérité, est beaucoup plus périlleux que de lire un texte rédigé par une intelligence artificielle. L’auteur lut l’article, puis retourna s’asseoir dans l’assemblée, en attendant les questions.
La présentation orale est accompagnée d’un diaporama. Celui-ci est minimaliste. Il présente l’auteur de l’article, Alain Bonami, le plan, quelques éléments bibliographiques et points centraux traités dans l’article, puis l’équation RED, les axiomes et les courbes. Le diaporama n’est pas dépourvu d’humour, comme en témoigne sa page de garde :
Il est fréquent que, dans ce genre de congrès, les chercheurs présentent des diaporamas au contenu humoristique. La présence de la baleine est ici censée évoquer les origines de l’auteur : Chicoutimi.
La réception de la communication par l’audience
D’habitude, quand un chercheur termine sa communication, il est coutume que l’audience l’applaudisse. Dans le cas présent, les applaudissements vinrent, mais tardèrent à se faire entendre. Il y eut, après le point final, comme un moment de flottement, qui témoignait de la sidération de l’assemblée.
L’exposé fut lu devant une trentaine de personnes, apparemment toutes de bonne foi. Pendant la lecture, on pouvait voir des regards égarés, entendre des murmures, et même, distinctement, la remarque suivante : « mais qu’est-ce que c’est que ce truc ? ».
Le public ne fut pas conquis.
S’ensuivirent les questions et autres remarques, adressées au faux chercheur canadien. On peut les retranscrire dans l’ordre :
-
Vous parlez d’une responsabilité dynamique, mais je ne suis pas sûr que votre équation soit dynamique. Quant à votre courbe, elle ne semble pas retranscrire votre équation.
-
Dans quelle épistémologie se situe votre travail ? Vous adoptez des grands principes néoclassiques, mais vous semblez vous montrer critique. On ne sait pas trop où on se trouve.
-
L’équilibre général, dans la forme présentée par Arrow et Debreu, est une notion datée. Est-ce une métaphore ou réellement une application mathématique rigoureuse ?
-
Quelle est la relation entre la responsabilité écologique et la variation des prix ?
-
Je ne vois pas le rapport entre l’impérialisme économique chez Mäki et votre concept de responsabilité écologique. Pouvez-vous expliquer ?
-
Où sont les axiomes ?
Quasiment tous les aspects problématiques de la communication furent relevés. Bien entendu, il était presque impossible de répondre à ces questions. À la dernière question, « où sont les axiomes ? », Alain Bonami se garda bien de répondre. Dans d’autres cas, le faux Alain Bonami se contenta de noyer le poisson ou, quand il se montrait plus audacieux, de tenir fermement sur ces positions. Mais ses réponses ne firent pas illusion.
Nous ne disposons pas d’un contre-factuel, mais il n’est pas certain que, si le public avait été composé de chercheurs tous ultra spécialisés dans un seul domaine, l’audience eût relevé l’ensemble de ces problèmes. Les questions ont été posées par des chercheurs différents, qui ont des centres d’intérêts différents. L’intelligence de chacun a été heurtée par les diverses absurdités et autres incohérences avancées dans l’exposé oral.
Conclusion
L’expérience se déroulait en deux phases. La première : répondre à l’appel à communication. La seconde : une fois la proposition acceptée, la présenter à un public d’experts. La deuxième phase ne rencontra pas le succès de la première.
Mais alors, que peut-on en conclure par rapport à la tentative de passage du test de Turing ? Et que dire de la sensibilité au bullshit des spécialistes de la discipline ? Enfin, quelles perspectives envisager ?
Le passage du test de Turing
Dans le sens où, dans l’étape de rédaction de la réponse à l’appel à communication, la proposition de ChatGPT a été acceptée, on peut conclure que, dans ce cas précis, la machine est parvenue à imiter l’humain. À l’évidence, si le ou les relecteurs avaient su qu’ils avaient affaire à une intelligence artificielle, ils n’auraient pas accepté la communication.
Bien sûr, ChatGPT a été aiguillée durant cette étape. Mais chaque ligne est d’elle. Du reste, cela n’aurait pas eu de sens de ne pas donner des contraintes minimales à l’IA, sinon sa communication n’aurait eu aucune chance d’être acceptée, et l’expérience n’aurait tout simplement pas eu lieu.
Face à ce texte, le relecteur n’a pas décelé la patte de l’intelligence artificielle. En ce sens, le pari d’un passage du test de Turing dans le milieu de la recherche académique est ici réussi.
Les résultats sont beaucoup plus contrastés en ce qui concerne la présentation orale. Avant toute chose, il va de soi que cette seconde étape ne constituait pas un test de Turing à proprement parler.
Dans la mesure où l’audience était confrontée à un être humain, elle n’avait aucune raison de soupçonner a priori une intelligence artificielle d’être l’auteure du texte exposé. Sachant, qui plus est, qu’un humain est tout à fait capable de raconter n’importe quoi, même dans un colloque de très haut niveau, il n’y avait aucune raison de suspecter la présence de la machine derrière l’humain. On peut en conclure que cette phase ne dit rien concernant le passage du test de Turing.
La sensibilité au bullshit en philosophie économique
Sans que l’on puisse affirmer avec certitude que le bullshit présent dans la réponse à l’appel à communication soit totalement passé sous les radars du comité scientifique du colloque, il est sûr qu’il ne l’a pas suffisamment frappé pour motiver un rejet de l’article – qui est passé, rappelons-le, devant un quart des propositions rejetées par le même comité scientifique.
On peut expliquer cet aveuglement par la forme de la communication, tout à fait susceptible de duper le lecteur. Toutefois, une lecture attentive aurait dû entraîner le refus de l’article. Hormis le premier paragraphe de la communication, tout le reste est une somme d’incohérences, d’approximations, d’inventions et de baratin. La fatigue du lecteur, le caractère impressionnant des équations mathématiques, la curiosité que peut susciter un tel mélange de philosophie et de théorie économique mathématique, l’habitude, aussi, de laisser passer des approximations ou autres inexactitudes, sont autant de facteurs qui peuvent expliquer qu’un texte qui avance des affirmations tout à fait invraisemblables ait tout de même été accepté pour être présenté au colloque.
En revanche l’audience, lors de la présentation orale, était beaucoup plus alerte. La plupart des mystifications ont été débusquées et, pour ainsi dire, le roi était nu. Aussi, si un ou deux lecteurs isolés peuvent se laisser piéger par un bullshit de haute volée, une assemblée d’experts ne s’y laisse pas prendre aussi facilement.
À cela, il faut ajouter que ladite assemblée était largement pluridisciplinaire et que cette pluridisciplinarité a été le gage d’une critique plus affûtée. Tel auditeur plutôt spécialisé en mathématiques a soulevé les lacunes de l’article en la matière, quand tel autre spécialisé en épistémologie a relevé des problèmes élémentaires. Sans compter sur les promesses non tenues de la communication – censée être une prétendue « analyse axiomatique » – débusquées par cette question déconcertante : « Où sont les axiomes ? ».
L’échec de cette mystification, à l’occasion d’un colloque prestigieux, est un signe très positif envoyé par la communauté des chercheurs en philosophie des sciences et, en particulier, de l’économie, ainsi que par les économistes hétérodoxes, peu à même de se faire duper par un propos vide de sens.
Limites et perspectives
La première limite de cette expérience est qu’elle est unique en son genre et que la répliquer à grande échelle poserait quelques problèmes d’ordre éthique. Malgré l’intérêt de cette recherche, nous ne saurions encourager sa réplication à grande échelle, car cela aurait avant tout pour effet de parasiter l’organisation de rencontres à vocation scientifique. De par son caractère unique, l’expérimentation ne permet pas de généraliser ses résultats particuliers à des cas plus généraux.
Autre limite, le projet initial était de faire rédiger à ChatGPT un article complet, crédible, en vue de publication pour une revue. Mais nous nous sommes heurtés aux limites techniques de l’outil qui s’est montré incapable de répondre à de telles exigences. Peut-être que, en y consacrant un temps très conséquent, il est possible de produire un tel résultat. Mais ChatGPT a peu de mémoire et il faut sans cesse lui rappeler des contraintes élémentaires en vue de lui faire exécuter des tâches très simples. En l’état actuel, l’intelligence artificielle ne peut performer l’humain qu’à une échelle réduite, dans un contexte particulier.
On le sait, en effet, le degré de rigueur attendu d’une communication pour un colloque est très inférieur à celui attendu pour un article académique. Il est évidemment beaucoup plus facile de faire passer un papier écrit par ChatGPT dans un colloque que dans une revue.
Dernier point, et peut-être le plus important, la tradition des canulars en sciences sociales s’est généralement efforcée de montrer le caractère peu sérieux des disciplines et des chercheurs visés par ces canulars. Social Text ou encore les Badiou Studies, sont des refuges à écrits abscons et pas nécessairement rigoureux. Le présupposé des auteurs des canulars était précisément que ces revues, parce qu’elles diffusaient essentiellement du bullshit, accepteraient des articles ridicules et hilarants, tout en les prenant très au sérieux. Notre hypothèse était différente. En principe, nous pensions avoir de bonnes chances de voir la communication rédigée par ChatGPT acceptée, mais nous doutions fort du pouvoir de mystification de l’IA sur un public attentif.
Cela va sans dire, l’intelligence artificielle n’en est qu’à ses balbutiements et il n’est pas impossible, qu’à terme, elle soit capable d’imiter l’humain dans l’ensemble des domaines de la recherche. Les colloques et revues académiques ne seront dès lors plus exposés à des canulars, mais à des utilisations, peut-être difficilement détectables, d’un outil au service des chercheurs et, souhaitons-le, de la recherche.
Références bibliographiques
Althusser Louis, 1967, Philosophie et philosophie spontanée des savants, Paris, François Maspero.
Arrow Kenneth, Debreu Gérard, 1954, « Existence of an Equilibrium for a Competitive Economy », Econometrica, vol. °22 n° 3, p.265-290.
Barberousse Anouk, Huneman Philippe, 2017, « L’agriculture (bio) et l’événement, Retour sur un canular métaphysique », Zilsel, n°1, p.159-186.
Boghossian Peter, Lindsay James, 2017, « The Conceptual Penis as a Social Construct: A Sokal-Style Hoax on Gender Studies », Skeptic, 19 mai.
Bonnaz François, 2018, « L’autorité comme fondement de la normativité. De Pierre Dockès à Frédéric Lordon », 4e Colloque international de philosophie économique, ENS Lyon.
Frankfurt Harry, 2006, De l’art de dire des conneries, trad. Didier Sénécal, Paris, 10/18.
Human Adam et. al., 2023, « ChatGPT versus human-generated answers to frequently asked questions about diabetes: A Turing test-inspired survey among employees of a Danish diabetes center », Medrxiv.
Lordon Frédéric, 2016, Les affects de la politique, Paris, Seuil. [écouter Frédéric Lordon sur France Culture, le 21 octobre 2016].
Lordon Frédéric, 2018, La condition anarchique. Affects et institutions de la valeur, Paris, Seuil.
Mäki Uskali, 2009, « Economics Imperialism: Concept and Constraints », Philosophy of the Social Sciences, n°39, p. 351-380.
Mäki Uskali, 2014, « Scientific Imperialism: Difficulties in Definition, Identification and Assessment », International Studies in the Philosophy of Science, n°27, p. 325-339.
Mazières David, Kohler Eddie, 2014, « Get me off your Fucking Mailing List », Université de New York, publié originellement dans la revue Journal of advanced computer technology.
Measey John, 2022, How to Publish in Biological Sciences, A Guide for the Uninitiated, CRC Press.
Moran Bill, Hoover William, Stronzo Bestiale, 1987, « Diffusion in a Periodic Lorentz Gas », Journal of Statistical Physics, n°48, p.709-726.
Oodendijk Willard et. al., 2020, « SARS-CoV-2 was Unexpectedly Deadlier than Push-scooters: Could Hydroxychloroquine be the Unique Solution? », Asian Journal of Medecine and Health, n°18, p.14-21.
Oppy Graham, Dowe David, 2021, « The Turing Test », in Zalta Edward N. (dir.), The Stanford Encyclopedia of Philosophy.
Orléan André (dir.)., 2015, A quoi servent les économistes s’ils disent tous la même chose ? Manifeste pour une économie pluraliste, Paris, Les Liens qui Libèrent.
Nov Oded, Singh Nina, Mann Devin, 2023, « Putting ChatGPT’s Medical Advice to the (Turing) Test », Medrxiv.
Quinon Manuel, Saint-Martin Arnaud, 2015, « Le maffesolisme, une “sociologie” en roue libre. Démonstration par l’absurde », Carnet Zilsel, p.1-37.
Sokal Alan, 1996, « Transgressing the Boundaries: Towards a Transformative Hermeneutics of Quantum Gravity », Social Text, n°46/47, p.217-252. L’article a été retiré par le comité de rédaction.
Sokal Alan, Bricmont Jean, 1998, Impostures intellectuelles, Paris, Odile Jacob.
Spinoza Baruch, 2020 [1677], Éthique, in Spinoza Baruch, Œuvres, IV, trad. Pierre-François Moreau, Paris, PUF, [À lire dans Les Classiques des sciences sociales].
Tremblay Jean-Pierre, 2014, « Automobilités postmodernes : quand l’Autolib fait sensation à Paris », Sociétés, n°126, p.115-124. L’article a été retiré par le comité de rédaction.
Tripodi Benedetta, 2015, « Ontology, Neutrality and the Strive for (non-)Being-Queer », Badiou Studies, n°4 (1), p.72-102. L’article a été immédiatement retiré par le comité de rédaction mais est toujours disponible dans le Carnet Zilsel.
Turing Alan, 1950, « Computing Machinery and Intelligence », Mind, n°59, p.433-460.
OpenEdition vous propose de citer ce billet de la manière suivante :
espritcritique (22 août 2023). ChatGPT s’invite à un colloque international. Carnet Esprit critique. Consulté le 11 février 2025 à l’adresse https://doi.org/10.58079/ojao