Ce réseau de neurones IA de Nvidia crée de fausses images photoréalistes

En un coup d'œil, la photo du haut ressemble à une photo ordinaire d'une rue ordinaire, prise à partir d'un tableau de bord ou d'une personne assez sotte pour se promener sur la route pour prendre une photo d'une scène aussi mondaine.

Mais regarde un peu plus près. Remarquez à quel point les feux de circulation sont légèrement gondolés ou que certaines voitures semblent floues? Quelque chose ne va pas ici. Ce n’est pas une photo du tout. C’est une image entièrement créée par un A.I.

Des informaticiens de la société de technologie Nvidia et de l’Université de Californie à Berkeley ont rédigé un document de recherche disponible en pré-impression sur arXiv, détaillant la manière dont ils ont pu obtenir un réseau de neurones pour générer des images de rue et des portraits humains réalistes. Ils ont même inclus une interface utilisateur qui vous permet d’ajuster les images comme bon vous semble en ajoutant du feuillage supplémentaire ou même en modifiant les conditions météorologiques.

«Les jeux grandissent rapidement, car les gens aiment dialoguer dans des environnements virtuels», a déclaré Ming-Yu Liu, scientifique senior chez Nvidia. Inverse dans un email. «Cependant, la technologie actuelle coûte cher à la création de mondes virtuels, car elle impose aux artistes de modéliser et de simuler explicitement la texture et l’éclairage du monde qu’ils construisent. Avec la traduction image à image, nous pouvons également échantillonner le monde réel pour créer des mondes virtuels."

Les réseaux de neurones sont des ordinateurs conçus pour fonctionner comme un cerveau humain en recueillant des informations, en les appliquant et en tirant des enseignements des résultats obtenus. Cette recherche a utilisé des types spéciaux de réseaux neuronaux introduits par Ian Goodfellow en 2014, appelés réseaux accusatoires génératifs (GAN), généralement constitués de deux réseaux, le générateur et le discriminateur.

Le générateur reçoit des photos et commence à créer des images synthétiques similaires à celles qui lui ont été données. Il montre ensuite un mélange des images qui lui ont été données et des contrefaçons au discriminateur, à qui il appartient de les différencier. Au fur et à mesure que ce processus se poursuit, le générateur imite mieux les images d'origine et le discriminateur sait mieux distinguer les faux. Les résultats sont des images assez convaincantes - et totalement fausses -.

Cette recherche s'appuie sur le modèle GAN traditionnel en ajoutant la séparation des réseaux générateur et discriminateur en quelques sous-réseaux, ce qui permet de produire des images de résolution supérieure. Les réseaux de neurones peuvent également intégrer une carte sémantique - ou un plan détaillé de l'apparence supposée de la photo - et remplir les textures de manière autonome. Les utilisateurs peuvent même aller dans le plan directeur et changer les choses s'ils veulent ajouter des bâtiments au lieu d'arbres dans une vue de la rue ou agrandir les yeux dans un portrait.

Le document compare ses résultats à des expériences similaires réalisées à l'aide de cette méthode, la plus notable étant pix2pix. L'étude Nvidia et UC Berkeley est capable de générer des images avec des détails aussi minuscules et précis que des plaques d'immatriculation lisibles, tandis que pix2pix génère des images qui ressemblent presque à des peintures à l'aquarelle.

Bien que cet outil puisse être utilisé pour gagner du karma gratuit Reddit avec quelques photos étranges, les auteurs voient un potentiel énorme en utilisant cette approche pour générer des graphiques réalistes avec un simple plan.

Des centaines d'heures de travail laborieux ont été consacrés à la création de mondes virtuels pouvant être utilisés dans Google Maps, des films et des jeux vidéo. Selon M. Liu, ce modèle pourrait être un moyen d’effectuer la plupart des travaux de conception sans douleur, puis d’ajuster les détails ultérieurement.

«Au lieu de restituer le monde en le modélisant explicitement, nous pouvons le construire implicitement en utilisant la traduction image à image pour faire la traduction entre un modèle simple du monde ne contenant pas de texture ni d'éclairage, et une sortie photo-réaliste.. Cette capacité devrait permettre de construire beaucoup moins cher les mondes virtuels », a-t-il déclaré. Inverse.

Pour la prochaine étape de cette recherche, l'équipe espère explorer la traduction vidéo à vidéo, qui utiliserait des réseaux de neurones pour créer des vidéos réalistes. Un objectif qui, selon Lui, a lancé un défi aux chercheurs sur le terrain.

Vous savez maintenant à quel point il est facile de créer de fausses images. Ne faites pas confiance à tout ce que vous voyez sur les images Google.