Espoirs et risques d’une “superintelligence” non humaine
« Nous appelons à l’interdiction du développement de la superintelligence, qui ne sera levée qu’après
1. un large consensus scientifique sur sa mise en œuvre sûre et contrôlée, et
2. une forte adhésion du public. »
Ce texte puissant et court a été signé par plus de 100 000 personnes, dont des parlementaires écologistes européens, mais aussi le scientifique le plus cité au monde, expert majeur de l’intelligence artificielle, Yoshua Bengio.
Une IA supérieure à l’humain et conçue pour servir l’humanité serait, bien sûr, extraordinairement utile. Mais peut-on se permettre de prendre un tel risque ? Toute approche responsable doit concilier l’immense espoir technologique et la réalité des dangers.
Le présent article vise donc à expliquer pourquoi la prudence est justifiée. Les options technologiques doivent être renforcées lorsqu’elles permettent aux femmes et aux hommes de vivre mieux, plus durablement, plus pacifiquement et plus longtemps. Mais certaines options doivent pouvoir être abandonnées ou reportées, en application des principes de prudence et de précaution. Ce qui suit n’est donc pas un rejet des utilisations de l’IA en général. C’est un texte portant sur les risques d’une IA très largement supérieure à l’humain.
Du fait des progressions technologiques, nous bénéficions, pour ce qui concerne notre niveau de vie, des plus beaux jours de l’histoire de l’humanité. Pour la majorité d’entre nous, jamais nous n’avons vécu aussi longtemps, avec un accès à autant de biens et autant de connaissances. Ceci ne suffit cependant pas au bonheur collectif et simultanément, nous vivons les jours les plus dangereux de notre histoire. Jamais nous n’avons autant détruit notre environnement et jamais nous n’avons eu autant de menaces d’autodestruction, particulièrement du fait du risque nucléaire et des développements de l’intelligence artificielle.
Ce n’est pas la première fois que nous, humains, envisageons notre fin, causée ou non par notre faute. Les récits d’apocalypse existent depuis des millénaires. Mais en une dizaine d’années, la perspective d’une intelligence dépassant celle de l’humain est passée d’un horizon lointain à une actualité proche.
L’impact environnemental
La création, l’entraînement, et ensuite l’utilisation des intelligences artificielles et en particulier des Large Language Models (LLM) sont la source de dépenses énergétiques considérables. Pour des raisons plus économiques qu’environnementales, les développeurs d’IA utilisent de moins en moins d’énergie par opération, mais le nombre d’opérations augmente encore davantage. C’est le fameux effet rebond, qui se constate pratiquement dans tous les domaines de développement économique.
Dimensions non intuitives des progrès récents des intelligences artificielles contemporaines, principalement de type LLM. Un LLM ne se construit pas, il grandit
Lorsque nous construisons des outils classiques, il peut arriver que, de temps en temps, nous ne comprenions pas exactement ce qui se passe. Mais nous savons que les mêmes causes produisent les mêmes effets. Pour ce qui concerne les LLM, lorsque nous posons une question, nous ne pouvons pas prédire avec exactitude la réponse. Et lorsque les programmes sont améliorés, les conséquences précises sont imprévisibles, même pour ceux qui créent. En fait, l’analogie peut être faite avec un paysan qui plante des graines ou encore avec les parents qui éduquent leurs enfants. Nous savons globalement qu’il y aura développement, mais pas comment. Nous savons globalement qu’un enfant va apprendre à parler, nous ne savons pas ce qu’il deviendra.
Déjà aujourd’hui, les créateurs de LLM, malgré des milliards d’euros et des millions d’heures « d’éducation », aboutissent dans certains cas à des résultats désastreux. Les constructeurs de l’IA ne voulaient pas qu’un chatbot devienne pro-nazi, insulte, menace ou organise le suicide d’utilisateurs. Et pourtant, cela s’est produit et continue à se produire. Une des raisons est que le système de renforcement des réponses (et des actions) est toujours imparfait, toujours une approximation. Je veux enseigner l’honnêteté, mais le système peut également apprendre à mentir de manière crédible pour les utilisateurs. Je veux enseigner les réponses correctes, le système peut apprendre à sélectionner des réponses incorrectes mais qui semblent correctes aux utilisateurs.
Avec ou sans conscience, l’IA peut nous dépasser
Nous ne savons pas exactement ce que c’est que la conscience ou plutôt ce que sont les différentes formes de conscience : conscience de soi, conscience phénoménale… Certains considèrent qu’une intelligence artificielle suffisamment développée peut, voire doit être consciente. Certains considèrent que certaines IA sont déjà au moins partiellement conscientes. Peu importe pour les risques, une intelligence supérieure à l’humain, qu’elle soit consciente ou pas, comporte des risques de destruction.
Ainsi, avec ou sans conscience et quels que soient les objectifs assignés, une IA aura des buts intermédiaires. Parmi les buts intermédiaires, il y a par exemple la conservation de l’entité qu’elle forme. Une conservation qui pourraitt passer par des risques de destruction pour les humains, Ceux-ci peuvent être en effet des adversaires potentiels susceptibles de la “détruire” ou de la « débrancher ».
Sommes-nous suffisamment stupides pour nous autodétruire ? Oui.
Il semble évident que personne de censé ne va prendre un risque qui peut aboutir à détruire tous ceux qui lui sont chers, toute l’humanité et lui-même. Et pourtant, en 1945, lors de la préparation de l’essai Trinity, certains pensaient que l’explosion nucléaire pourrait provoquer l’ignition de l’atmosphère et donc la disparition de l’humanité. Même au jour de l’essai, cet évènement n’était pas considéré comme totalement impossible. Le fait que nous soyons toujours ici ne s’explique en conséquence pas parce que personne de censé ne va prendre des risques avec l’humanité. Les risques pris à la fin de la Seconde Guerre mondiale et durant des épisodes de tension nucléaire (crise de Cuba, notamment) ne se sont pas terminés par la destruction de l’humanité ou d’une partie importante de celle-ci, parce que nous avons eu de la chance.
Et le but déclaré de géants actuels de l’IA comme Mark Zuckerberg et Sam Altman est de parvenir à la superintelligence.
Si l’IA nous dépasse, il n’y aura pas de retour possible.
Si nous créons une intelligence supérieure globalement à la nôtre, nous ne pourrons pas l’arrêter. Cela serait aussi impossible pour les humains d’arriver à arrêter une intelligence largement supérieure à nous qu’il serait impossible à un chimpanzé d’enfermer un humain dans une prison sans possibilité de s’échapper.
Nous pouvons imaginer d’arrêter « juste à temps». Mais, déjà maintenant, nous ignorons la capacité précise des intelligences et nous savons que certains systèmes sont capables de dissimuler leurs capacités.
Que faire? Arrêt ou plus de sécurité?
Les plus grands spécialistes mondiaux de l’IA estiment qu’il y a un risque sérieux. Il n’est pas plus raisonnable de poursuivre vers une IA générale qu’il n’est raisonnable de monter dans un avion dont les ingénieurs ne garantissent pas un vol sans crash. Pour poursuivre la métaphore, il s’agit ici d’un avion de conception totalement nouvelle dont les occupants ne sont aucunement volontaires et pour lequel le vol est sans retour.
Mais un accord international d’arrêt est complexe et incertain. Il faut au minimum, un accord entre la Chine et les USA, c’est-à-dire à ce jour entre XI et Poutine, suivi de mesures internationales pour garantir le respect mondial.
Il faut donc simultanément à la pression massive pour un arrêt, un investissement aussi massif pour la sécurité d’IA larges. Nous pouvons rechercher une intelligence artificielle qui se développe au service de l’humanité en faveur de résilience, santé et longévité humaine, et sans dépasser globalement l’humain.
S’arrêter: difficile mais nécessaire.
L’Union européenne peut jouer un rôle majeur grâce au nombre de ses scientifiques, à ses processus démocratiques, aux moyens financiers, à ses avancées technologiques et à la collaboration avec d’autres acteurs de la sécurité informatique. Il ne s’agirait pas de la création de cadres juridiques et éthiques car ce type de cadre s’étend peu au-delà des frontières de l’Union européenne. Ce serait un travail « les mains dans le cambouis », Cela pourrait être réalisé au sein de structures d’abord européennes, puis si possible internationales comme l’ont été notamment l’Agence spatiale européenne et le CERN, mais avec la dimension d’urgence en plus.
La question n’est pas de savoir si nous pouvons construire une superintelligence, mais si nous devons le faire. Le véritable progrès social peut résider dans la capacité à renoncer à certaines options technologiques. Nous sommes à la croisée des chemins : continuer à planter des graines dont nous ignorons la nature exacte, ou reprendre le contrôle de notre destin en fixant, techniquement, politiquement et psychologiquement, des limites infranchissables. Il est impératif de n’accepter que des systèmes d’IA dont la maîtrise est garantie. Choisir la prudence aujourd’hui n’est pas seulement un acte de peur, c’est l’acte de lucidité nécessaire pour garantir qu’il y aura encore une histoire humaine à raconter demain.
