Une nouvelle technologie peut échanger les expressions du visage en temps réel

$config[ads_kvadrat] not found

L'homme connecté [Documentaire 2020]

L'homme connecté [Documentaire 2020]
Anonim

Rappelez-vous que l'application «Myidol» de Bizarro World est devenue virale ce printemps en raison de sa capacité à utiliser un logiciel de reconnaissance faciale pour créer un avatar numérique à la fois esthétique et mobile. exactement principalement comme vous le faites? C’est sur le point de devenir une réalité… en quelque sorte.

Des chercheurs de Stanford ont découvert comment transférer les expressions faciales d’une personne sur une autre personne en temps réel via vidéo.

Le modèle présenté dans la vidéo de démonstration de Stanford utilise uniquement un ordinateur grand public et une caméra de profondeur pour chaque acteur. Vous n’avez donc pas nécessairement besoin d’équipements fantaisistes pour exécuter ce tromp l’œil, vous avez simplement besoin d’algorithmes complexes.

Les chercheurs ont mis au point un nouvel algorithme en temps réel qui prend des visuels de haute qualité des visages de chaque participant et les utilise pour transposer les expressions d'un «acteur source» (la personne fournissant les expressions faciales et / ou la parole) à un «acteur cible». (la personne dont le visage sera manipulé en fonction de ce que fait l'acteur source). Les informations visuelles de l'acteur source parcourent le programme et sont restituées en haut du flux vidéo de l'acteur cible. Il semble donc que l'acteur cible sourit, parle, tire la langue ou tout ce qui lui passe par la tête.

Grâce à une série de points de référence tracés autour du visage (similaires à l'application Myidol), les types d'informations visuelles mesurées par le système incluent la forme et les caractéristiques du visage (comme les yeux, le nez, la bouche et même les rides), ainsi que texture et profondeur du visage. Le programme fait ensuite correspondre les points de référence de l’acteur source à ceux de l’acteur cible et superpose ces expressions sur la cible pour un flux vidéo hyper réaliste.

Comme ce système est toujours en préparation (et que du matériel assez rudimentaire a été utilisé), les résultats finaux sont encore un peu étranges - comme les fausses dents semi-dérangeantes, le programme se superpose à la bouche de la cible pour qu'il n'y ait pas de trou noir béant quand c'est « ouvert »(voir ci-dessus)… ainsi que le genre de regard vide dans les yeux de la cible. Mais ce ne sont que de petites frites comparées à ce que le développement de ce programme signifie pour nous.

Voici quelques idées pour lesquelles nous pourrions utiliser cette technologie:

  • Vous avez un entretien d'embauche important sur Skype et vous n'êtes pas habillé pour le succès. Utilisez simplement un support à l'apparence sophistiquée pendant que vous fournissez les expressions faciales et les réponses des interviews avec le tueur.
  • Vous regardez une conférence en direct d'un professeur éminent en Allemagne. Le seul problème est que vous ne parlez pas allemand. Pas de soucis, grâce à un traducteur en temps réel qui utilise ce logiciel, vous pouvez regarder la prof prononcer son discours dans votre langue maternelle sans aucun délai de doublage atroce dans les images.

Regardez le changement d'expression en action:

$config[ads_kvadrat] not found