L'apprentissage automatique d'une machine contre ISIS va embrouiller les chaînes de commandement militaires

Tout le monde sur Internet s’est amusé avec Tay, le robot Twitter de Microsoft, qui est devenu un négationniste raciste de l’Holocauste en quelques heures (puis est revenu et l’a refait). La société avait créé un flap de relations publiques - plus incident qu'un désastre - tout en donnant au public une leçon sur les avantages et les inconvénients de l'apprentissage automatique: l'automatisation peut exploiter les modèles de manière fascinante à grande vitesse, mais les résultats seront difficilement prévisibles.

Comme c'est souvent le cas, l'armée est l'une des premières à adopter la technologie d'automatisation. À un moment donné, il mène la charge vers l’apprentissage automatique et tente désespérément de suivre. Le Pentagone se concentre principalement sur les robots autonomes et sur la manière dont ils vont faire équipe avec les humains - un homme des ailes de robot de type R2D2, par exemple. Mais cette semaine, le secrétaire adjoint à la Défense, Robert Work, a décrit une autre tâche pour A.I.: le traitement des données en source ouverte.

«Nous sommes absolument certains que l’utilisation de machines d’apprentissage en profondeur nous permettra de mieux comprendre l’EIIL en tant que réseau et de comprendre comment le cibler avec précision et mener à sa défaite», a déclaré le secrétaire Work, Le site du DoD. Selon ce compte-rendu, Work, qui s'exprimait lors d'un événement organisé par le Washington Post, a eu son épiphanie alors qu'il regardait une société de technologie de la Silicon Valley démontrer «une machine qui a pris en compte des données de Twitter, Instagram et de nombreuses autres sources publiques pour montrer en temps réel la fusillade du vol 17 de Malaysia Airlines en juillet 2014».

Les entreprises privées et les forces de l'ordre tentent de donner un sens au «big data» depuis longtemps. Mais l'armée a un avantage: ressource. Ils ont également accès à des documents classifiés.

Le gouvernement américain semble prêt à parier que les algorithmes logiciels peuvent trier une quantité énorme de données afin d'identifier les cibles ISIS qui les auraient autrement échappées et de détecter et de perturber les parcelles avant que les planificateurs ne puissent les réaliser. Le gouvernement tente déjà d'étudier les médias sociaux pour prévoir l'ampleur des manifestations en ligne. Il ne fait aucun doute que l’apprentissage automatique donnera aux analystes du renseignement un pouvoir accru pour donner un sens à la richesse des informations disponibles dans le monde. Mais lorsque cette intelligence devient la base sur laquelle une grève meurtrière est entreprise, les questions éthiques deviennent plus complexes, même si elles semblent simples.

Bien que le travail ait été prompt à déclarer que le Pentagone ne «déléguerait pas l'autorité létale à une machine», cela reste le jeu final. En attendant, les humains resteront «dans la boucle», comme le dit le jargon. Mais comme le savent tous ceux qui ont consulté un iPhone à la recherche d’une météo en se tenant près d’une fenêtre, la relation que nous entretenons avec nos appareils et nos logiciels n’est pas simple. Nous sommes problématiquement crédules et facilement distraits par des problèmes d’assurance-chômage.

Le «biais d'automatisation», la tendance des hommes à se fier aux machines, présente un danger clair et de plus en plus présent. L’exemple pour illustrer ce phénomène est lorsque votre téléphone vous dit de choisir un itinéraire que vous savez être faux mais que vous le faites quand même, en supposant que le téléphone doit savoir quelque chose que vous ne connaissez pas. C'est un problème courant dans des contextes non militaires. Cependant, ce que le Pentagone semble se rapprocher également, ce sont des rapports de menaces composés d'intelligence artificielle. Nous ne savons rien de l’efficacité potentielle de ce programme, si ce n’est que les humains auront du mal à la mettre en œuvre.

Dans un article de 2001 sur les pilotes d’étudiants et de professionnels et les biais d’automatisation, les chercheurs ont découvert que «dans les scénarios dans lesquels des informations correctes étaient disponibles pour vérifier et détecter les anomalies de l’automatisation, des taux d’erreur approximatifs de 55% étaient documentés dans les deux populations». l'ajout d'un équipier humain supplémentaire n'a pas permis d'atténuer le problème.

De même, une étude du MIT de l'année dernière a révélé de manière quelque peu troublante que les lecteurs de jeux vidéo et informatiques avaient «une propension plus grande à l'automatisation de la confiance en soi». Cela pourrait signifier que plus nous passons de temps à regarder nos écrans, plus nous faisons confiance à ce que nous voyons. Encore une fois, le problème ne vient pas des systèmes que nous utilisons, mais de la façon dont nous les utilisons. La faute n’est pas dans nos étoiles, mais en nous-mêmes.

Le Big Data reste prometteur. L'apprentissage automatique reste prometteur. Mais lorsque les machines conseillent les humains, les résultats sont prévisibles et imprévisibles. La transformation de Tay en misogyne néonazi signifie-t-elle que Twitter déteste les femmes et les juifs? C’est difficile à savoir, mais assez improbable. Lorsque nous ne comprenons pas le processus par lequel les intrants deviennent des extrants, nous avons du mal à gérer les résultats de manière rationnelle. Ce qui met le Pentagone dans une position intéressante. Est-ce que ce sont les personnes programmant le logiciel d’apprentissage automatique militaire qui commandera les frappes aériennes? Ce n’est pas ainsi que fonctionne la chaîne de commandement, mais les chaînes de commandement s’emmêlent lorsque la technologie intervient.