Deepfakes ne correspond pas à l'apprentissage automatique - Voici pourquoi

Une nouvelle forme de désinformation est sur le point de se propager à travers les communautés en ligne à mesure que les campagnes électorales de 2018 à mi-parcours se réchauffent. Appelé “deepfakes” après le compte en ligne pseudonyme qui a popularisé la technique - qui a peut-être choisi son nom parce que le processus utilise une méthode technique appelée “apprentissage en profondeur” - ces fausses vidéos paraissent très réalistes.

Jusqu'à présent, les gens ont utilisé des vidéos deepfake dans la pornographie et la satire pour faire croire que des personnages célèbres font des choses qu'ils ne feraient pas normalement. Mais il est à peu près certain que des deepfakes apparaîtront au cours de la campagne électorale, dans le but de représenter des candidats disant des choses ou se rendant dans des lieux inaccessibles au candidat réel.

Parce que ces techniques sont si nouvelles, les gens ont du mal à faire la différence entre les vidéos réelles et les vidéos deepfake. Mon travail, avec mon collègue Ming-Ching Chang et notre Ph.D. Yuezun Li, étudiant, a trouvé le moyen de raconter de manière fiable de vraies vidéos à partir de vidéos deepfake. Ce n’est pas une solution permanente, car la technologie s’améliorera. Mais c’est un début et offre l’espoir que les ordinateurs pourront aider les gens à dire la vérité à partir de fiction.

Qu’est-ce qu’un «Deepfake»?

Faire une vidéo deepfake ressemble beaucoup à la traduction entre les langues. Des services tels que Google Translate utilisent le machine learning - analyse informatique de dizaines de milliers de textes dans plusieurs langues - pour détecter les modèles d’utilisation des mots qu’ils utilisent pour créer la traduction.

Les algorithmes Deepfake fonctionnent de la même manière: ils utilisent un type de système d’apprentissage automatique appelé réseau de neurones profonds pour examiner les mouvements du visage d’une personne. Ensuite, ils synthétisent des images du visage d’une autre personne faisant des mouvements analogues. Cela crée efficacement une vidéo de la personne cible qui semble faire ou dire ce que la personne source a fait.

Avant de pouvoir fonctionner correctement, les réseaux de neurones profonds ont besoin de nombreuses informations source, telles que des photos des personnes constituant la source ou la cible de l'usurpation d'identité. Plus le nombre d'images utilisées pour former un algorithme deepfake est important, plus l'emprunt d'identité numérique sera réaliste.

Détecter Clignotant

Il y a toujours des failles dans ce nouveau type d'algorithme. L’un d’eux est lié au fait que les visages simulés clignotent - ou ne le font pas. Les humains adultes en bonne santé clignent des yeux toutes les deux à dix secondes, et un seul clin d'œil prend entre un dixième et quatre dixièmes de seconde. C’est ce qu’il serait normal de voir dans une vidéo d’une personne qui parle. Mais ce n’est pas ce qui se passe dans beaucoup de vidéos deepfake.

Lorsqu'un algorithme deepfake est formé sur les images de visage d'une personne, il dépend des photos disponibles sur Internet qui peuvent être utilisées comme données d'entraînement. Même pour les personnes souvent photographiées, peu d'images sont disponibles en ligne et montrent les yeux fermés. Non seulement ces photos sont rares, car les yeux sont généralement ouverts, mais les photographes ne publient généralement pas d’images là où les yeux du sujet principal sont fermés.

Sans images d'entraînement montrant des personnes qui clignotent, les algorithmes de deepfake sont moins susceptibles de créer des visages qui clignotent normalement.Lorsque nous calculons le taux global de clignotement et que nous le comparons à la plage naturelle, nous constatons que les personnages des vidéos deepfake clignotent beaucoup moins souvent que les personnes réelles. Notre recherche utilise l'apprentissage automatique pour examiner l'ouverture et la fermeture des yeux dans des vidéos.

Voir aussi: Hollywood ne fera pas la promotion des stars américano-asiatiques, mais A.I. L'apprentissage automatique peut

Cela nous donne une inspiration pour détecter les vidéos deepfake. Par la suite, nous développons une méthode pour détecter le moment où la personne dans la vidéo clignote. Pour être plus précis, il analyse chaque image de la vidéo en question, détecte les visages qui la composent, puis localise les yeux automatiquement. Il utilise ensuite un autre réseau de neurones profonds pour déterminer si l’œil détecté est ouvert ou fermé, en utilisant son apparence, ses caractéristiques géométriques et son mouvement.

Nous savons que notre travail tire parti d'une faille dans le type de données disponibles pour former des algorithmes de deepfake. Pour éviter de devenir la proie d’une faille semblable, nous avons formé notre système sur une grande bibliothèque d’images contenant des yeux ouverts et des yeux fermés. Cette méthode semble bien fonctionner et nous avons donc atteint un taux de détection supérieur à 95%.

Ce n'est pas le dernier mot sur la détection de deepfakes, bien sûr. La technologie évolue rapidement et la concurrence entre la création et la détection de fausses vidéos est analogue à un jeu d'échecs. En particulier, le clignotement peut être ajouté aux vidéos deepfake en incluant des images de visage avec les yeux fermés ou en utilisant des séquences vidéo pour la formation. Les personnes qui veulent confondre le public seront de mieux en mieux à produire de fausses vidéos - et nous, ainsi que d’autres membres de la communauté des technologies, devrons continuer à trouver des moyens de les détecter.

Cet article a été publié à l'origine sur The Conversation par Siwei Lyu. Lisez l'article original ici.