Pourquoi notre civilisation « est plus fragile que nous le pensions »

Le philosophe américain Daniel Dennett est décédé le 19 avril, à l'âge de 82 ans . Il fut l’un des esprits les plus brillants et les plus prophétiques du dernier demi-siècle.

Tout au long de sa vie, il a osé affronter certaines des plus grandes questions concernant l’esprit et la conscience humaine. Dennett a publié plus d'une douzaine de livres et a laissé d'importantes contributions dans des domaines allant des sciences cognitives et de la philosophie de l'esprit à la théorie de l'évolution . Il était un ardent défenseur de la rationalité et du scepticisme.

En décembre 2023, j'ai parlé avec lui pendant des heures de ses mémoires, I've Been Thinking , mais aussi de sa vie et de son œuvre.

Il était toujours passionnément impliqué dans les questions de vérité, de cognition et de possibilités technologiques qui l’ont d’abord fasciné alors qu’il était doctorant à l’Université d’Oxford au Royaume-Uni dans les années 1960, et il était toujours prêt à se battre pour une pensée rigoureuse.

Notre conversation a porté spécifiquement sur les risques sérieux posés par l'intelligence artificielle.

Son avertissement ne concernait pas une superintelligence qui prendrait le contrôle de tout. Sa préoccupation concernait une autre menace, qui, selon lui, pourrait être un problème existentiel pour la civilisation, enraciné dans les vulnérabilités de la nature humaine.

« Si nous transformons cette merveilleuse technologie dont nous disposons pour la connaissance en une arme de désinformation, nous aurons de graves problèmes », a-t-il déclaré. Pourquoi?

« Parce que nous ne saurons pas ce que nous savons, nous ne saurons pas à qui faire confiance et nous ne saurons pas si nous sommes bien ou mal informés. Nous pouvons devenir paranoïaques et hypersceptiques, ou simplement apathiques et paralysés. des chemins dangereux. Et ils sont tout autour de nous.

La philosophie sous forme de science-fiction

Pour comprendre les arguments de Dennett sur l’IA et ce qui a fait de lui un penseur si profond et original, il est nécessaire d’examiner l’une de ses études universitaires les plus inhabituelles.

En 1978, il publie Où suis-je ? ("Où suis-je ?"), un conte de science-fiction mettant en scène son propre cerveau dans une cuve.

"Il y a plusieurs années", commence l'histoire, "j'ai reçu la visite de responsables du Pentagone qui m'ont demandé de me porter volontaire pour une mission secrète et très dangereuse."

Dans l'histoire, à la suite d'un accident survenu lors d'un projet de recherche secret, une perceuse à tête atomique s'est retrouvée coincée à un kilomètre sous terre, sous la ville de Tulsa, dans l'État américain de l'Oklahoma. Et le Pentagone avait besoin de son aide pour le récupérer. Ou plus précisément, votre corps.

Pour empêcher l’appareil d’émettre des rayonnements nocifs vers les neurones (en gardant à l’esprit que la plausibilité n’est pas nécessairement une caractéristique de la science-fiction philosophique), son cerveau serait chirurgicalement retiré et connecté au corps via des émetteurs-récepteurs radio. Il pourrait alors le contrôler à distance, sans s'exposer à aucun risque.

La question derrière le merveilleux fantasme de Dennett était la suivante : en supposant que la procédure réussisse et que son cerveau continue de contrôler son corps et de recevoir des informations via ses organes sensoriels, où serait Daniel Dennett ?

Dans l'histoire, il imagine son corps se déplaçant dans la pièce où son cerveau flotte à l'intérieur d'une cuve renforcée. Il s'assoit ensuite et regarde le cerveau.

La scène a été recréée à la télévision en 1988, dans un documentaire du réalisateur néerlandais Piet Hoenderdos. Dans ce film, Dennett a joué lui-même – avec enthousiasme, bien entendu.

Il s’agit certainement d’une des rares études académiques ayant mérité ce type d’adaptation.

"Eh bien, me voici, assis sur une chaise pliante, admirant mon propre cerveau à travers un morceau de verre", a déclaré Dennett, abasourdi. "Mais attends...ne devrais-je pas penser 'me voici, suspendu dans un liquide bouillonnant, observé par mes propres yeux' ?"

Cette dernière pensée est encore plus difficile à défendre que la première. L’idée qui en résulte est qu’il est impossible de savoir avec certitude où « je » – ou même ce que signifie le mot « ici » – sur la seule base de l’expérience personnelle.

« Comment ai-je su ce que je voulais dire par « ici » quand je pensais « ici » ? "Je pensais peut-être que je faisais référence à un endroit, mais en réalité c'était un autre endroit ?"

Peu importe ce qu'il pense de sa propre situation géographique ou de son état mental. Ces croyances ne fournissent aucune garantie spécifique quant à leur exactitude.

C'est la vision externe des événements, et non la vision interne, qui compte – la situation réelle, et non la façon dont elle apparaît à la personne assise sur la chaise (ou flottant dans la cuve, selon le cas).

Contrairement à des siècles de traditions philosophiques, Dennett a proposé que nous n’ayons aucune connaissance spécifique du fonctionnement de notre propre esprit. Le sentiment que notre « moi » est une entité cohérente et unifiée n’est qu’une illusion merveilleusement évoluée.

Comme il l'écrit dans I've Been Thinking , "il y a peu de choses que je puisse savoir avec certitude par une introspection isolée dans mon propre esprit". Mais il y a beaucoup à apprendre en « étudiant scientifiquement l’esprit des autres » – pour autant que cette étude présuppose un scepticisme rigoureux, même à l’égard des intuitions les plus plausibles.

La vérité ne vous libérera pas des contraintes cognitives, car cela est impossible. Mais si vous faites attention, cela peut vous apprendre les types de liberté qui valent la peine d’être recherchés.

Cela nous ramène à une technologie étrangement capable d’inverser le scénario central de Où suis-je ? : IA générative.

Sa capacité à créer des simulacres humains convaincants à partir de milliards d’octets de données permet de bouleverser des siècles d’hypothèses sur la vérité, l’identité et nos expériences communes de la réalité.

Par exemple, en seulement 30 secondes de vidéo de qualité modérée, les services d’IA disponibles gratuitement peuvent créer une version artificielle de n’importe qui – ou de quelqu’un de complètement fictif – et lui faire dire absolument n’importe quoi.

Des dirigeants comme le Premier ministre indien Narendra Modi ont utilisé des outils d’IA pour créer des versions d’eux-mêmes parlant couramment les dialectes régionaux afin de susciter des votes. Des techniques similaires sont également développées en Indonésie et au Pakistan.

En juillet 2023, des vidéos deepfakes de dirigeantes de l’opposition au Bangladesh qui auraient été montrées dans des piscines en bikini ont été rapidement démystifiées mais largement partagées.

Et bien plus encore est à venir. L'année 2024 est la plus grande année électorale de l'histoire (la moitié de la population mondiale exercera son droit de vote). Et il n'a jamais été aussi facile de manipuler l'information pour influencer les décisions des gens – ou pour renverser nos intuitions et nos inclinations quotidiennes.

En effet, nous avons toutes les raisons d’imaginer que, avec suffisamment de données, il sera bientôt possible de créer une copie convaincante d’une personne – une entité qui pourrait passer pour un homme politique (ou vous, ou moi) d’une manière acceptable, non seulement dans une présentation préenregistrée, mais aussi dans les conversations quotidiennes.

Le conte et la réalité actuelle

Prophétiquement, Dennett a imaginé ce scénario il y a des décennies.

Dans le conte et le documentaire de science-fiction de Hoenderdos, les scientifiques créent un nouveau Dennett : aux côtés du cerveau d'origine dans la cuve, son esprit est dupliqué comme un « jumeau numérique » et ils rivalisent pour garder le contrôle de son corps.

Dans ce scénario, la question de savoir si une personne se trouve réellement quelque part – ou si elle a parlé, ou fait quelque chose, ou même si elle existe – devient encore plus troublante.

Pour observer à quel point la réalité est proche de la fiction, considérons le cas du robot de Luciano Floridi, une imitation créée par l'IA d'un autre philosophe technologique important.

Il était "conçu pour répondre à des questions et rédiger des textes imitant la façon de penser et le style d'écriture de Floridi".

Le bot est un outil pédagogique fascinant et une étude de cas sur la façon dont, à l’ère de l’IA, nos idées et nos identités peuvent commencer à prendre vie.

Pour Dennett, il y avait quelque chose de problématique dans notre obsession pour l’IA d’apparence humaine.

Pour lui, même si des fac-similés complets de l’esprit humain ne sont peut-être pas imminents, la façon dont nous utilisons l’IA pour imiter les humains nous met déjà sur une trajectoire dangereuse.

Il a qualifié ces IA de « personnes contrefaites » – et m’a dit que le développement massif de ces entités constitue une « malveillance de la pire espèce » : une forme de « vandalisme social » qui devrait être interdite par la loi. Pourquoi?

Car si des représentations numériques convaincantes des êtres humains peuvent être créées à volonté, l’ensemble du travail de détermination collective des revendications, des expériences et des actions des autres sera menacé, sans parler de l’infrastructure sociale essentielle des contrats, des obligations et des conséquences.

D’où la nécessité d’une interdiction légale, qu’il détaille dans un article publié en mai 2023 dans le magazine The Atlantic.

"Ce ne sera pas parfait", a-t-il déclaré, "mais cela aiderait si nous parvenons à criminaliser la production de fausses personnes".

"Nous pouvons imposer des sanctions sévères aux contrefaçons, tout comme à la contrefaçon d'argent... nous pouvons en faire une marque de honte, et non de fierté, lorsque vous rendez votre IA plus humaine."

Il y a ici une ironie dans le fait que Dennett a passé des décennies à argumenter contre ceux qui essayaient de créer une catégorie insaisissable d’« humanité » que seul notre esprit pouvait imaginer.

Matérialiste convaincu, il a défendu à plusieurs reprises des idées telles que celle dans son étude de 1995 sur la théorie de l'évolution, L'idée dangereuse de Darwin : « Toutes les réalisations de la culture humaine – le langage, l'art, la religion, l'éthique et la science elle-même – sont des artefacts... du même processus fondamental qui a développé les bactéries, les mammifères et l'Homo sapiens . Il n'y a pas de création spéciale du langage, et l'art et la religion ne sont pas littéralement inspirés par Dieu.

Il a soutenu que l’émergence de l’humanité à partir d’une matière qui ne pense pas est quelque chose de merveilleux, mais pas de miraculeux.

Même des esprits remarquables comme le nôtre sont, en fin de compte, le produit d’un ensemble de modules incompréhensibles, composés de composants plus grossiers, connectés en séquences continues aux premières formes de vie.

Par conséquent, en principe, rien n’empêche les algorithmes d’intelligence artificielle d’atteindre ou de dépasser leurs propres capacités ; ou que les êtres humains agrandissent et remodèlent leur esprit avec des moyens artificiels.

En effet, certains des travaux les plus anciens et les plus importants de Dennett visaient à défendre la puissance et le potentiel du calcul contre ceux qui affirmaient que le simple calcul ne générerait jamais de phénomènes comme la conscience, comme le philosophe américain John Searle.

Pour Dennett, il n’y avait rien de « simple » dans le calcul ou les processus algorithmiques. C'était toujours juste une question d'échelle et de complexité.

En ce sens, les réalisations de l’IA moderne – depuis ses prouesses linguistiques et sa maîtrise de jeux comme les échecs et le Go jusqu’à sa capacité à réussir des examens juridiques et médicaux – justifient continuellement l’insistance de Dennett sur le fait que la compétence au niveau humain peut émerger de processus complètement incompréhensibles (et non pas mentionner que, dans notre cas, cela s'est déjà produit).

Au cours de notre conversation, il a également tenu à souligner l’écart entre l’architecture informatique actuelle et les complexités analogiques humaines.

L’obsession de savoir si l’IA parviendra à une « intelligence générale », avec toute la flexibilité cognitive des êtres humains, est dangereuse, sans parler de savoir si elle permettra d’accomplir quelque chose d’encore plus grand.

Il a noté que, bien avant que quelque chose d’une telle ampleur puisse se produire, nous devrons faire face à l’émergence d’agents autonomes « extrêmement manipulateurs », qui constitueront une menace bien plus grande que d’hypothétiques superintelligences (« oubliez ça ! »). Pourquoi?

Car, de la même manière que les réseaux sociaux se sont révélés être un environnement favorable à l'évolution de contenus capables d'exploiter les vulnérabilités humaines, les mêmes dynamiques favorisent aussi bien les contenus générés par l'IA que les IA capables de développer une combinaison attractive de persuasion, de séduction, de choc. et la flatterie.

Des influenceurs artificiels glamour et parfaits à la pornographie deepfake, des compagnons infiniment empathiques aux fraudes amoureuses, les passions et les désirs humains sont un champ fertile pour affiner la manipulation.

Nous ne sommes peut-être pas (encore) des cerveaux dans des cuves. Mais ce que nous voyons, croyons, participons et accomplissons est de plus en plus interconnecté avec d’innombrables systèmes d’information – nombre d’entre eux étant plus susceptibles d’offrir la persuasion et la plausibilité que la vérité.

Rien de tout cela ne devrait nier la puissance et le potentiel de technologies telles que l’IA, ni les innombrables façons dont elle peut accroître les capacités et la connaissance de soi de l’humanité. Mais il est facile d’affirmer, comme l’a fait Dennett, que les IA vont probablement « évoluer jusqu’à ce qu’elles se reproduisent ».

"Et ceux qui se reproduiront le mieux seront les manipulateurs les plus intelligents des interlocuteurs humains comme nous. Les ennuyeux, nous laisserons de côté, et ceux qui retiennent notre attention, nous les diffuserons. Tout cela se produira sans aucune intention. sera la sélection naturelle du logiciel."

Vérité contre mensonge

Un plan directeur élaboré par une machine ou par des êtres humains n’est pas nécessaire pour que des scénarios néfastes se développent.

Dans le livre From Bactérias to Bach and Vice-Versa: The Evolution of Minds (Editions 70, 2021), Dennett soutient que « lorsque l'infrastructure culturelle est conçue et installée [c'est-à-dire qu'elle évolue dans l'esprit humain]... la possibilité de mêmes les parasites exploitant cette infrastructure sont plus ou moins garantis."

En termes d’évolution, nos esprits ne sont pas des appareils réglés pour différencier la vérité des mensonges. Nous sommes des créatures tribales partiales et passionnées – des animaux sociaux liés par des liens d’amour et de loyauté qui définissent notre humanité et nous rendent douloureusement vulnérables.

Que pouvons-nous y faire?

Heureusement, une autre caractéristique déterminante de la pensée humaine est notre capacité à réfléchir avec précision à ces limites, à corriger de plus en plus et collectivement les angles morts de la perception sociale.

"Ce que vous voulez", a déclaré Dennett, "c'est que votre pensée soit déterminée par la vérité sur tout ce qui existe."

"Vous voulez être guidé par les preuves solides qui existent sur ce qu'est le monde. Mais vous voulez aussi avoir la possibilité de reconsidérer, de reconsidérer et de reconsidérer encore plus : vos perspectives, vos projets, vos objectifs. Vous voulez être un système d'intentions d'ordre supérieur, qui réfléchit sur les moyens, les fins et les buts.

C’est la méthode scientifique du microcosme, avec une touche de libre pensée humaniste.

La « liberté » d’agir sur la base d’informations manipulatrices et inexactes n’est pas la liberté. Les actions déterminées par les « bonnes preuves existantes » sont émancipatrices : elles sont ouvertes aux complexités de la réalité et ne sont pas trahies par les mensonges.

Pour prolonger l’expérience Où suis-je ?, imaginez ce qui se passerait si votre cerveau était placé dans une cuve et, à votre insu ou sans votre permission, connecté à une version simulée de la réalité.

Dans ce domaine virtuel, vous pourrez toujours disposer de certaines libertés. Mais dans le contexte du monde extérieur, vous seriez acculé et trompé – exclu de toute forme significative de compréhension et d’action.

Cela peut sembler purement spéculatif, mais une version de ce scénario se produit chaque fois que quelqu’un croit qu’une fausse déclaration est la vérité littérale – ou qu’une entité artificielle est un être humain.

Des théories du complot à la propagande totalitaire, des preuves fabriquées aux faux êtres humains, le rejet de la réalité est une affaire en plein essor. Et il n’y a rien d’inévitable dans la persistance de la tolérance, du scepticisme ou du débat rationnel dans un monde inondé par ce genre de situation.

Pour Dennett, notre civilisation « est plus fragile que nous le pensions » – et, précisément pour cette raison, plus précieuse.

Malgré tous les conflits, injustices et rancunes, nous vivons à une époque où la plupart des êtres humains peuvent « se faire confiance, avoir des projets à long terme, voyager librement, fonder une famille et vivre avec très peu de peur ».

"C'est tout simplement merveilleux. Et nous devons préserver cela. Cette structure, vraiment, à tout prix."

C’est le grand risque des grands modèles de langage d’IA et des fausses personnes : « qu’ils détruisent la confiance qu’il nous a fallu des milliers d’années pour construire ».

Malgré tout cela – et sa réputation de raisonnement inébranlable – Dennett a clairement indiqué qu’il n’avait aucun intérêt à transcender les limites de la nature humaine.

Pour lui, l’amour et la fidélité n’étaient pas un bagage biologique qu’il valait mieux surmonter. Ce sont plutôt des forces motivantes des plus profondes : des sources de but et de bonté, pour autant qu’elles puissent être libérées de la haine et de l’égoïsme.

"Rechercher l'essentiel est un guide parfait. Mais l'essentiel peut être compris de manière très large. L'essentiel peut inclure vos enfants, une idée, jouer de la guitare, les Chicago Bears."

"L'essentiel peut être tout ce que vous voulez. C'est ce qui est le plus important pour vous. C'est ce que vous recherchez comme protection. Et c'est évident. Si quelqu'un veut vous extorquer, il n'a pas besoin de vous menacer. Il lui suffit de menacer. ce que vous aimez."

La biologie est le point où tout commence et se termine : le surprenant schéma d’évolution de notre émergence aux côtés de toutes les autres formes de vie ; les complexités infinies que nous sommes capables de concevoir à travers la culture, le langage et l’informatique ; et notre existence commune en tant que créatures de chair et de sang.

«Mes deux enfants sont adoptés», a déclaré Dennett à la fin de notre conversation. "Mais je les aime autant que n'importe quel parent biologique."

"Je me souviens d'un moment de l'enfance de notre aînée, quand elle était une petite fille, peut-être âgée de deux ans ou moins, où j'ai remarqué une menace possible sur le terrain de jeu ou quelque chose du genre et cela m'a soudainement frappé. 'Oh, regarde. Juste, je pense Je tuerais pour protéger cet enfant.'"

"Et cela m'a presque fait peur. Mais cela m'a aussi ému, car c'était la reconnaissance d'un lien émotionnel intense et profond. Et c'est le sens de la vie."

*Tom Chatfield est un écrivain et philosophe britannique spécialisé dans la technologie. Son livre le plus récent, Wise Animals, explore l'évolution conjointe de l'humanité et de la technologie.