Les sons intelligents peuvent être piratés par le son, disent les chercheurs pour l'arrêter

Et si nous vous disions qu'un pirate informatique pourrait donner une commande à votre Amazon Echo sans même que vous vous en rendiez compte - ou même que vous deviez le faire, comme nous le pensions normalement?

Moustafa Alzantot, doctorat en informatique Un candidat à l’Université de Californie à Los Angeles a déclaré qu’il était théoriquement possible pour un acteur malveillant d’envoyer un son ou un signal particulier qui passerait généralement inaperçu par les humains mais ferait échouer les algorithmes d’apprentissage approfondis de A.I.

«Un exemple d'attaque consisterait à contrôler votre appareil domestique, sans que vous sachiez ce qui se passe», confie Alzantot. Inverse. «Si vous écoutez de la musique à la radio et qu’il ya un écho dans votre chambre. Si un acteur malveillant est capable de diffuser un signal audio ou musical conçu de telle sorte que l’écho l’interprète comme une commande, l’attaquant peut ainsi dire, déverrouiller une porte ou acheter quelque chose."

C’est une attaque connue comme un exemple contradictoire, et c’est ce que Alzantot et le reste de son équipe veulent arrêter, comme le décrit leur document récemment présenté à l’atelier NIPS 2017 Machine Deception.

A.I. n’est pas différent de l’intelligence humaine qui l’a créée: elle a ses défauts. Des chercheurs en informatique ont trouvé des moyens de tromper complètement ces systèmes en modifiant légèrement les pixels d’une photo ou en ajoutant des bruits faibles aux fichiers audio. Ces minuscules modifications sont complètement indétectables par les humains, mais modifient complètement ce qu'est un A.I. entend ou voit.

"Ces algorithmes sont conçus pour tenter de classer ce qui a été dit afin de pouvoir agir en conséquence", explique Mani Srivastava, informaticien à UCLA. Inverse. «Nous essayons de subvertir le processus en manipulant l’entrée de manière à ce que tout le monde à proximité entende« non »mais que la machine entende« oui ». Vous pouvez donc forcer l'algorithme à interpréter la commande différemment de ce qui a été dit. ”

Les exemples de confrontation les plus courants sont ceux relatifs aux algorithmes de classification des images, ou à la retouche d'une photo de chien très légèrement pour obtenir l'indice I.I. pense que c’est quelque chose de complètement différent. Les recherches d'Alzantot et Srivastava ont montré que les algorithmes de reconnaissance vocale sont également sensibles à ce type d'attaques.

Dans le document, le groupe a utilisé un système de classification de la parole standard figurant dans la bibliothèque à code source libre de Google, TensorFlow. Leur système était chargé de classer les commandes d'un mot, afin d'écouter un fichier audio et d'essayer de l'étiqueter avec le mot qui était dit dans le fichier.

Ils ont ensuite codé un autre algorithme pour tenter de tromper le système TensorFlow en utilisant des exemples contradictoires. Ce système était capable de tromper la classification de la parole A.I. 87 pour cent du temps en utilisant ce que l’on appelle une attaque par boîte noire, dans laquelle l’algorithme n’a même pas besoin de savoir quoi que ce soit à propos de la conception de ce qu’il attaque.

«Il existe deux manières de mener ce type d’attaque», explique Srivastava. «L’un est que, en tant qu’adversaire, je sais tout sur le système de réception. Je peux donc maintenant élaborer une stratégie pour exploiter cette connaissance. Il s’agit d’une attaque en boîte blanche. Notre algorithme n'exige pas de connaître l'architecture du modèle victime, ce qui en fait une attaque par boîte noire. ”

Il est clair que les attaques par black-box sont moins efficaces, mais c’est aussi ce qui serait le plus susceptible d’être utilisé dans une attaque réelle. Le groupe UCLA a réussi à atteindre un taux de réussite aussi élevé, de 87%, même s’il n’a pas adapté son attaque pour exploiter les faiblesses de ses modèles. Une attaque en boîte blanche serait d'autant plus efficace pour jouer avec ce type d'AI. Cependant, les assistants virtuels comme Alexa d’Amazon ne sont pas les seules choses qui pourraient être exploitées en utilisant des exemples contradictoires.

«Les machines qui reposent sur une sorte de déduction à partir du son pourraient être trompées», a déclaré Srivastava. «Évidemment, Amazon Echo et autres sont un exemple, mais il y a beaucoup d'autres choses où le son est utilisé pour tirer des conclusions sur le monde. Vous avez des capteurs liés aux systèmes d'alarme qui captent le son."

La prise de conscience du fait que les systèmes d’intelligence artificielle qui prennent en compte les signaux sonores sont également susceptibles de donner lieu à des exemples contradictoires est un pas supplémentaire dans la réalisation de la puissance de ces attaques. Bien que le groupe n'ait pas été en mesure de lancer une attaque diffusée telle que celle décrite par Alzantot, son travail futur consistera à voir dans quelle mesure cela est réalisable.

Bien que cette recherche n'ait testé que des commandes vocales et des formes d'attaques limitées, elle a mis en évidence une possible vénération dans une grande partie des technologies grand public. Cela constitue un tremplin pour la poursuite des recherches en matière de défense contre les exemples contradictoires et d'enseignement A.I. comment les distinguer.