Les armes autonomes diront-elles "non" aux ordres illégaux?

Baynazar Mohammad Nazar était inconscient sur la table d'opération lorsque le plafond a commencé à s'effondrer. Le père de quatre enfants s'était rendu à l'hôpital la veille du jour après avoir reçu une balle dans la jambe et subissait sa deuxième opération en deux jours pour réparer sa blessure. Lorsque les Américains ont commencé à détruire le bâtiment, les médecins qui le surveillaient n’avaient pas d’autre choix que de s’échapper par eux-mêmes aussi vite que possible.

Andrew Quilty à Police étrangère raconte l’histoire de la vie et de la mort de Baynazar dans un article comprenant une photo de son corps recouvert de débris sur la table d’opération. Baynazar est l’une des 31 personnes tuées par les États-Unis lorsqu’il a frappé l’hôpital dirigé par Médecins sans frontières (également appelé MSF) à Kunduz, en Afghanistan, le 2 octobre.

Après des frappes très médiatisées faisant de nombreuses victimes civiles, des politiciens et des experts demandent comment une telle chose pourrait se produire et quelles mesures peuvent être prises pour que cela ne se reproduise plus. Parmi les défenseurs des systèmes d'armes autonomes, parfois appelés «robots tueurs», l'un des arguments populaires est que l'erreur humaine (ou la malice) est responsable d'un grand nombre de crimes commis en temps de guerre. Il est théoriquement possible, disent-ils, que les robots soient plus précis dans leur ciblage et moins sujets aux erreurs que les humains.

«En réalité, le jugement humain peut s'avérer moins fiable que les indicateurs techniques dans le feu de l'action», écrit Michael N. Schmitt, professeur au Naval War College. "Ceux qui croient le contraire n'ont pas connu le brouillard de la guerre."

La frappe aérienne américaine sur un hôpital MSF en Afghanistan "est principalement due à une erreur humaine" http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Telegraph News (@TelegraphNews) 25 novembre 2015

La question qui se pose est donc la suivante: pouvez-vous programmer les outils de la guerre pour restreindre le comportement humain et rendre les frappes telles que l'attentat à la bombe de l'hôpital de Kunduz impossible ou du moins moins probable?

Probablement pas, du moins dans un proche avenir. Mais certains programmeurs en intelligence artificielle ont conçu un robot capable de dire non aux humains. La conception de l’expérience est simple: l’homme demande à un robot de s’éloigner d’une table, ce que le robot refuse d’abord de faire. Lorsque l’homme dit au robot qu’il va l’attraper, le robot accepte la commande.

C’est loin d’un hélicoptère d’attaque semi-autonome qui dit à son équipage humain qu’il ne peut pas effectuer de frappe aérienne contre un hôpital, car ce serait un crime de guerre, mais le principe sous-jacent est en grande partie le même. Comme d’autres l'ont déjà souligné, l'inquiétude humaine à propos de ce type de développement de robots est courante dans la science-fiction - pensez à HAL-9000 en disant: «Je ne peux pas faire ça, Dave» quand il enferme l'homme à l'extérieur de la station spatiale. 2001: l'odyssée de l'espace.

En ce qui concerne les détails de la grève de Kunduz, de nombreux faits entourant l’attaque demeurent controversés. MSF a demandé une enquête indépendante à laquelle le gouvernement des États-Unis s’oppose, promettant de mener ses propres examens.

Certaines parties d’une enquête américaine ont été rendues publiques au début du mois et ont révélé des erreurs humaines et mécaniques responsables de la grève. Mais plus tôt cette semaine, deux membres du service militaire se sont manifestés pour contredire les conclusions du rapport. Ils disent que la grève n’était pas une erreur. Dans leur comptabilité, signalé en premier par AP Les forces d'opérations spéciales américaines ont appelé à la grève parce qu'elles pensaient que l'hôpital était utilisé comme centre de commandement et de contrôle des talibans.

Dans la version officielle, une défaillance mécanique a amené l’équipage du gunship AC-130 à obtenir initialement les coordonnées d’un champ vide. L’équipage a ensuite cherché dans la zone un bâtiment correspondant à la description physique qui lui avait été donnée et a ouvert le feu. Lorsque leurs instruments ont été recalibrés, ils ont donné à l’équipage les coordonnées exactes de leur cible, mais l’équipage a néanmoins continué à tirer sur l’hôpital.

Si ce récit est vrai - que l'ordinateur était finalement précis et que les humains l'ignoraient - cela donne un peu de crédibilité aux partisans d'une plus grande autonomie dans les systèmes d'armes. Cela dit, la guerre des États-Unis contre le terrorisme regorge d’exemples d’armées ou de la CIA frappant la «bonne» cible et finissant toujours par tuer un grand nombre de civils. L’automatisation ne résoudra pas les problèmes de mauvaise intelligence et les tentatives de programmer une approximation de la moralité ne mettront pas fin aux crimes de guerre.

Les États-Unis sont fortement tentés de stériliser la guerre, et l’automatisation, en éloignant les Américains du danger, est destinée à changer la définition même de la guerre. La préférence d’Obama pour l’assassinat par les drones et les assurances qui en découlent que les drones sont les armes les plus précises jamais créées sont la manifestation la plus claire de ces objectifs. "Ils ont été précis, frappes de précision contre Al-Qaïda et leurs affiliés", a déclaré Obama dans un forum Google 2012.

Une étude gouvernementale de 2013, cependant, oppose ces affirmations. Elle a révélé que les drones en Afghanistan avaient causé 10 fois plus de morts que de véhicules sans pilote. "Comme par magie, les drones ne permettent pas d'éviter les civils plutôt que les avions de combat", a déclaré Sarah Holewinski, co-auteure de l'étude. Le gardien. «Lorsque les pilotes pilotant des avions à réaction ont reçu des instructions claires et une formation sur la protection des civils, ils ont pu réduire le nombre de victimes civiles.»

L'armée dépense des millions de dollars pour développer des systèmes de regroupement homme-robot, brouillant encore la démarcation entre les missions effectuées avec des armes habitées ou non. "Ce que nous voulons faire en matière de combats homme-machine, c'est de passer à la vitesse supérieure, de regarder des tactiques comme des tactiques envahissantes", a déclaré le secrétaire général adjoint à la Défense, Bob Work, sur le blog scientifique officiel du DoD. "Un F-35 peut-il se battre avec quatre hommes-ailes sans pilote?"

Est-ce que ces hommes-ailes vont dire non si le pilote humain leur donne un ordre analogue à celui qu’il faut prendre pour se lever d’une table? Qu'en est-il d'un ordre de détruire un hôpital ou une école? Le brouillard de la guerre va s'appliquer dans les deux cas. Et si nous décidons de passer outre aux machines, l'expression «erreur humaine» sera l'un des termes les plus effrayants dans les conflits du futur.