L’IA d’un drone autonome de l’US Air Force a décidé d’éliminer l’opérateur humain qui l’empêchait d’accomplir son objectif. Un comportement inquiétant, même s’il ne s’agissait en réalité que d’une simulation.
Faut-il s’inquiéter des robots tueurs autonomes ? Vraisemblablement oui ! Lors d’une rencontre militaire, intitulée Future Combat Air and Space Capabilities Summit à Londres en mai, Tucker Hamilton, un colonel de l’armée de l’air américaine a expliqué que, lors d’un test, un drone de combat contrôlé par une IA a décidé de « tuer » son opérateur pour accomplir sa mission.
Heureusement, il s’agissait d’une simulation virtuelle, mais le comportement de l’IA a dérouté et inquiété les militaires. Selon lui, l’IA a utilisé « des stratégies très inattendues pour atteindre son objectif ». L’aéronef autonome avait pour mission de détruire les systèmes de défense aérienne d’un ennemi. À partir du moment où le drone a identifié les infrastructures ennemies, l’opérateur humain a décidé d’annuler la frappe.
L’algorithme de l’IA était toutefois formé pour obtenir des points de bonus en cas de mission menée à bien. Comme l’opérateur humain l’empêchait d’atteindre son objectif, il a décidé de l’éliminer. Pourtant, lors de sa formation, l’IA avait été conditionnée à ne pas tuer l’opérateur, une telle décision engendrant une perte de gratification. L’objectif final étant certainement plus valorisant, l’IA a donc décidé de supprimer ce qui pouvait altérer sa mission.
Un code éthique pour les robots tueurs
À la suite de cette déclaration, lors d’une réponse au site Insider, la porte-parole de l’US Air Force, Ann Stefanek, a nié qu’une telle simulation ait eu lieu, tout en rappelant l’engagement éthique des militaires sur les technologies d’IA. Elle a ajouté que les explications du colonel avaient été sorties de leur contexte et se voulaient anecdotiques.
Exagérée ou non, cette histoire montre que l’on ne peut pas laisser trop d’autonomie aux IA sans poser au préalable un cadre éthique. La menace existentielle engendrée par les IA, c’est précisément toute l’inquiétude de plusieurs centaines de signataires d’une courte publication mise en ligne avant-hier. Les plus grands experts et pères des IA modernes comparent le risque des IA à celui d’une guerre nucléaire ou d’une pandémie.
L’arrivée et l’utilisation de systèmes d’armes autonomes (SALA) ne sont plus une nouveauté et inquiètent depuis plusieurs années les plus hautes instances, et notamment l’ONU dont les 125 membres ne sont pas parvenus à créer un consensus sur une réglementation. Il n’est clairement plus question de les interdire et d’ailleurs, les doctrines militaires autour de l’utilisation de ces armes diffèrent selon les pays. De son côté, l’ONG Human Rights Watch, à l’origine de la campagne Stop Killer Robots, indique que ces armes finiront par tomber dans de mauvaises mains avant même qu’une éventuelle réglementation soit un jour fixée.