Les principes d'Asilomar, quand la recherche scientifique se fait show-business

Il y a quelques semaines, la presse techno faisait l'éloge d'une initiative novatrice et excitante : l'écriture d'une charte de référence pour un "développement éthique de l'intelligence artificielle", appelée "les 23 principes d'Asilomar". Dans un contexte économique où l'IA se répand de plus en plus, aussi bien poussée par de grands groupes (Google, Amazon, IBM, ...) que des start-ups plus ou moins innovantes, de nombreuses voix ont dénoncé le risque que constitue le pouvoir croissant accordé aux machines. Force est de constater que l'IA inquiète certains spécialistes et que le grand public reçoit des signaux contradictoires, mélant éloges de la technologie à des craintes très variées. En particulier, trois "risques" sont régulièrement relayés par la presse spécialisée concernant l'IA : * la singularité, autrement dit le risque de voir apparaître une intelligence artificielle consciente, autonome et bien plus évoluée que nous. C'est le scénario de Terminator. * la dépossession du pouvoir d'agir en faveur des machines. L'automatisation à outrance remplaçerait les humains par des algorithmes. Accéder à un prêt ou à un logement social serait géré de façon automatisée, sans contrôle humain, avec les risques que cela comporte. On sait notamment que les intelligences artificielles spécialisées reproduisent des biais sexistes, voire racistes, similaires à ceux des humains qui ont fourni la base d'apprentissage. * la militarisation de l'IA risque de produire une nouvelle course à l'armement et une escalade des tensions diplomatiques entre des pays d'ores et déjà en désaccord sur d'autres sujets.

Dans ce contexte, nombre de scientifiques et d'industriels prônent un encadrement des pratiques. Ces 23 principes d'Asimolar sont ainsi supposés constituer un guide concret, une charte de référence du travail sur l'IA. Toutefois, ces principes sont bien creux et, comme nous allons le détailler par la suite, cette grande messe de l'IA éthique fait plus penser à une belle opération de communication qu'à une vraie avancée pour l'éthique des sciences et des technologies.

Les auteurs et les signataires

Tout d'abord, il faut s'intéresser à ceux qui se trouvent en coulisse. L'initiative a été portée par la FLI (Future of Life Institue), une fondation s'intéressant aux nouvelles technologies posant des risques pour l'humanité. L'organisation se concentre principalement sur les thèmes du transhumanisme (génie biologique) et de l'intelligence artificielle. Ses administrateurs sont aussi bien des représentants industriels que des chercheurs.

La charte des principes d'Asilomar a été signée par de nombreux scientifiques de renom, aussi bien par des spécialistes de l'IA (Yann LeCun, Yoshua Bengio, Ilya Sutskever, Demis Hassabis) que des représentants d'autres domaines (Donald Knuth, Stephen Hawking). De nombreuses personnalités du monde de l'industrie (Elon Musk, Sam Altman et Jaan Tallin en tête) ou artistiques (Joseph Gordon-Levitt) s'y retrouvent également. Si ce panel influent et renommé soutient cette charte, elle mérite bien que l'on s'y attarde quelques minutes.

Les 23 principes d'Asilomar

Le guide se veut être un manuel pratique sur l'éthique à suivre lorsque l'on travaille sur l'intelligence artificielle. En particulier, ce guide se veut universel pour que tous puis l'appliquer. Compte-tenu des divergences d'opinion multiples qui existent dans le domaine, on imagine bien que le résultat présentera donc une vision simplifiée du problème, mais qui toutefois se veut instructive. Voyons-cela en détail.

Problématiques de recherche

  • 1) Objectif de ces recherches : Le développement de l’IA ne doit pas servir à créer une intelligence sans contrôle mais une intelligence bénéfique.

La formulation de ce premier principe est intéressante, car elle ouvre un large champ d'interprétations possibles. Qu'est-ce qu'une intelligence bénéfique ? À qui doit-elle bénéficier ?

  • 2) Investissements : Les investissements dans l’IA doivent être soutenus par le financement de recherches visant à s’assurer de son usage bénéfique, qui prend en compte des questions épineuses en matière d’informatique, d’économie, de loi, d’éthique et de sciences sociales.

Première occurrence d'un principe yakafokon : qui doit financer ? Qui décide des questions pertinentes à investiguer ?

[Quelques exemples : « Comment rendre les futures IA suffisamment solides pour qu’elles fassent ce qu’on leur demande sans dysfonctionnement ou risque d’être piratées ? » ou encore « Comment améliorer notre prospérité grâce à cette automatisation tout en maintenant les effectifs humains ? »]

  • 3) Relations entre les scientifiques et les législateurs : Un échange constructif entre les développeurs d’IA et les législateurs est souhaitable.

À nouveau, un voeu pieu qui ignore les réalités du terrain, aussi bien en recherche que dans l'industrie.

  • 4) Esprit de la recherche : Un esprit de coopération, de confiance et de transparence devrait être entretenu entre les chercheurs et les scientifiques en charge de l’IA.

De façon amusante, cet esprit de coopération est pourtant diamétralement opposé à la mainmise des entreprises capitalistes (qui sont donc en conccurrence) sur les chercheurs les plus importants du domaine de l'IA.

  • 5) Éviter une course : Les équipes qui travaillent sur les IA sont encouragées à coopérer pour éviter des raccourcis en matière de standards de sécurité.

Redondant avec 4), mais c'est un rappel à la course à l'armement de la guerre froide. Sauf que non seulement, l'IA va de toute façon devenir un enjeu militaire, mais même en termes d'industrialisation, les entreprises sont loin de vraiment pleinement coopérer. À moins d'une véritable volonté étatique, l'IA sera militarisée.

Valeurs éthiques

  • 6) Sécurité : Les IA devraient être sécurisées tout au long de leur existence, une caractéristique vérifiable et applicable.
  • 7) Transparence en cas de problème : Dans le cas d’une blessure provoquée par une IA, il est nécessaire d’en trouver la cause.
  • 8) Transparence judiciaire : Toute implication d’un système autonome dans une décision judiciaire devrait être accompagnée d’une explication satisfaisante contrôlable par un humain.

Ces principes exigent que les IA soient compréhensibles. Ce sont probablement les principes qui sont le plus consistants de toute la charte, mais aussi les plus sujets à polémique, en particulier pour des tâches où l'intelligence artificielle va remplacer l'humain. Les humains ont leurs propres défauts qui ne sont pas systématiquement explicables. Par exemple, si la voiture autonome réduit la mortalité sur les routes de 90%, va-t-on tout de même l'interdire sous prétexte que la boîte noire ne permet pas de comprendre les tenants et aboutissants des rares cas d'accidents ? Comprend-on réellement tous les accidents provoqués par des humains ? Bien entendu, la question de la responsabilité pénale se doit d'être abordée.

  • 9) Responsabilité : Les concepteurs et les constructeurs d’IA avancées sont les premiers concernés par les conséquences morales de leurs utilisations, détournements et agissements. Ils doivent donc assumer la charge de les influencer.

L'intérprétation que l'on donne ici au mot "influencer" change significativement le sens de la phrase. On mélange ici des approches d'IA comme étant dotées d'une conscience et des approches d'IA spécialisées type voiture autonome. Ce principe anticipe d'une certaine façon sur l'émergence d'intelligences artificielles conscientes que leurs concepteurs devraient éduquer. En outre, on donne également aux concepteurs la charge de s'assurer que leurs outils ne sont pas "mal utilisés".

  • 10) Concordance de valeurs : Les IA autonomes devraient être conçues de façon à ce que leurs objectifs et leur comportement s’avèrent conformes aux valeurs humaines.
  • 11) Valeurs humaines : Les IA doivent être conçues et fonctionner en accord avec les idéaux de la dignité, des droits et des libertés de l’homme, ainsi que de la diversité culturelle.

Deux des principes les plus vides de sens, puisque les valeurs humaines varient très fortement en fonction des cultures locales.

  • 12) Données personnelles : Chacun devrait avoir le droit d’accéder et de gérer les données les concernant au vu de la capacité des IA à analyser et utiliser ces données.
  • 13) Liberté et vie privée : L’utilisation d’IA en matière de données personnelles ne doit pas rogner sur les libertés réelles ou perçue des citoyens.

Ces principes n'ont pas trait directement à l'IA, mais plus à l'accumulation de données, principalement réalisée par des grandes compagnies, qui servent à entraîner des IA spécialisées. Concrètement, il formalise une obligation légale qui existe déjà dans de nombreux pays, qui est que toute individu à droit d'accéder aux données collectées le concernant.

  • 14) Bénéfice collectif : Les IA devraient bénéficier au plus de gens possibles et les valoriser.
  • 15) Prospérité partagée : La prospérité économique permise par les IA devrait être partagée au plus grand nombre, pour le bien de l’humanité.

À nouveau, des voeux pieux qui sont d'ores et déjà bafoués par le fonctionnement actuel de la recherche industrielle sur l'IA. Dans une économie capitaliste, ce partage de la prospérité et le bénéfice collectif sont des utopies.

  • 16) Contrôle humain : Les humains devraient pouvoir choisir comment et s’ils veulent reléguer des décisions de leur choix aux IA.

C'est probablement le principe le plus intéressant de cette charte : la liberté de conserver son pouvoir décisionnel. L'IA consiste en l'automatisation de nombreuses tâches, mais aussi de décisions routinières. À terme, même les décisions les plus mineures peuvent avoir un impact sur nos conditions de vie. Pouvoir constamment reprendre la main est une exigence parfaitement censée. Toutefois, reste à savoir si les entreprises commercialisant des produits "intelligents" joueront le jeu.

  • 17) Anti-renversement : Le pouvoir obtenu en contrôlant des IA très avancées devrait être soumis au respect et à l’amélioration des processus civiques dont dépend le bien-être de la société plutôt qu’à leur détournement.
  • 18) Course aux IA d’armement : Une course aux IA d’armement mortelles est à éviter.

Ces deux principes répètent des exigences de non-militarisation et de non-prise de risque avec le développement des IA. Toutefois, cela paraît illusoire de croire que les États - ou même des entreprises du secteur de la défense - respecteront cette clause sans contrôle.

Problématiques à long terme

  • 19) Avertissement sur les capacités : En l’absence de consensus sur le sujet, il est recommandé d’éviter les hypothèses au sujet des capacités maximum des futures IA.

L'interprétation de ce principe m'a causé bien du souci. Je pense que l'idée est d'éviter au maximum de faire des hypothèses sur ce que les IA du futur pourront ou ne pourront pas faire, car on les sous-estimera systématiquement.

  • 20) Importance : Les IA avancées pourraient entraîner un changement drastique dans l’histoire de la vie sur Terre, et doit donc être gérée avec un soin et des moyens considérables.
  • 21) Risques : Les risques causés par les IA, particulièrement les catastrophiques ou existentiels, sont sujets à des efforts de préparation et d’atténuation adaptés à leur impact supposé.

C'est une vérité générale concernant la plupart des sciences. Ces principes ne font que répéter ce qui existe dans les chartes éthiques de tous les laboratoires de recherche (quoique, probablement pas dans les grandes entreprises !).

  • 22) Auto-développement infini : Les IA conçues pour s’auto-développer à l’infini ou s’auto-reproduire, au risque de devenir très nombreuses ou très avancées rapidement, doivent faire l’objet d’un contrôle de sécurité rigoureux.

C'est un risque tout à fait théorique à l'heure actuelle. À nouveau, sans contrôle extérieur, un laboratoire ou une entreprise pourra suivre ou non cette recommandation.

  • 23) Bien commun : Les intelligences surdéveloppées devraient seulement être développées pour contribuer à des idéaux éthiques partagés par le plus grand nombre et pour le bien de l’humanité plutôt que pour un État ou une entreprise.

Sauf que ces IA vont nécessairemment être développées par un État ou une entreprise dans la grande majorité des cas...

Conclusion

Bref, contrairement à ce qui a été annoncé dans certains médias, cette charte n'a rien à voir avec les lois d'Asimov. Celles-ci sont des lois de contrôle inscrites au coeur des robots (et de leur intelligence artificelle). Ce guide, ces 23 principes d'Asilomar, sont des règles de bonne conduite destinées aux créateurs. Ce parallèle est donc très sensationnel et peu justifié.

Dans tout cela, beaucoup de buzz monté par le secteur industriel, Elon Musk jouant comme à son habitude son rôle de figure messianique. Pour autant, cette charte ne correspond à pas grand chose : quelques principes généraux de recherche éthique, deux ou trois réflexions inabouties sur l'IA dans nos vies quotidiennes et beaucoup de souhaits qui font joli sur le papier. Concrètement, la recherche en IA est poussée par des fonds publics d'un côté et par des fonds industriels de l'autre. Le secteur public fait face au risque de la militarisation, tandis que le secteur privé fait face aux risques de concurrence féroce et aux prises d'intérêts privés plus que collectifs. Signer la charte n'engage à rien, et sans moyen extérieur de contrôle, il y a fort à parier que ces principes d'Asilomar resteront une belle opération de communication sans réel impact sur le développement de l'intelligence artificielle.

links

social