Comment la théorie de Ninja fait de la cinématique 'Hellblade' en temps réel

Ninja Theory apporte une technologie relativement sans précédent à son prochain jeu vidéo Hellblade: le sacrifice de Senua: Possibilité de tourner, de rendre et d’éditer des scènes du jeu en quelques minutes au lieu de plusieurs jours.

Comme c'est la tradition avec Ninja Theory, Hellblade n'est pas un blockbuster typique - il suit le voyage de Senaa, un guerrier celte luttant contre la maladie mentale. Étant donné l’intérêt du studio de créer des histoires plus petites, dirigées par des personnages, dans des Esclave et DMC (même à une échelle proche du triple A), utiliser la technologie pour améliorer une performance émotionnelle semble être une progression naturelle.

La technologie elle-même, que Ninja Theory appelle "la cinématographie en temps réel" après une récente démo présentée lors de la conférence VFX SIGGRAPH, capture essentiellement la performance d'un acteur mobile en temps réel, comme sur un plateau de tournage, puis transfère le rendu. données dans Sequencer, un nouvel outil semblable à Adobe Premiere pour Unreal Engine 4.

À partir de là, les données de performance que vous venez de capturer - animations faciales enregistrées, voix et mouvements - peuvent être manipulées de nombreuses façons, comme vous le feriez pour un segment linéaire de film. Seuls les développeurs sont libres d'ajuster, d'ajuster ou de modifier des éléments tels que éclairage ou angles de caméra à la volée. (Les données étant en temps réel, il est même possible de modifier entièrement ou d’ajouter de nouvelles caméras à une scène.)

Pour le co-fondateur et chef de la création de Ninja Theory, Tameem Antoniades, filmer en interne avec la technologie fait toute la différence.

«Nous pouvons jouer et photographier des scènes au besoin. Nous n’avons pas besoin de tout faire en une séance photo de quatre semaines », explique Antoniades à propos de l’ancienne méthode du studio. Auparavant, il s'agissait de réserver un bloc de temps dans un studio de capture de motions pour capturer les performances d'un jeu en même temps. "Nous avons dû tout filmer pour le jeu là-bas, puis construire le jeu autour de ce que nous avons tourné."

Les écrous et les écrous techniques sont sans complexe complexe et impliquent beaucoup de mains. En plus de travailler avec Epic, qui aide à fournir des services à Sequencer et à Unreal, la technologie de capture faciale utilisée provient d'une société de logiciels de téléphonie mobile distincte, Cubic Motion, tandis que le studio de performance faciale basé en Serbie, 3Lateral, a été sollicité pour aider à la création. têtes virtuelles réalistes - et ce ne sont que quelques-uns des collaborateurs extérieurs de Ninja.

Le middleware de capture faciale de Cubic Motion et les données capturées de 3Lateral - qui nécessitaient que l'actrice Melina Juergens se rende à Novi Sad pour scanner son visage de différentes manières - sont utilisés comme base numérique permettant de capturer avec précision toutes les performances en temps réel. (Heureusement, Juergens est l’éditeur de vidéos de Ninja Theory. Sa disponibilité pour les scènes de tournage n’est donc pas un problème.)

Mais Hellblade est né du désir de créer quelque chose de complètement indépendant sur une échelle triple-A et le plus efficacement et le moins cher possible. Jusqu'ici, leur travail parle pour lui-même et est étonnamment construit par une simple équipe de 16 personnes.

Antoniades dit que sa production relativement compacte, centrée sur un seul personnage, rend tout cela possible.

«Nous avons créé un espace de capture de performances capable de réaliser le même type de choses que nous avions auparavant, mais nous l’avons probablement réalisé entre 20 000 et 30 000 dollars. Ce qui est super, très bon marché par rapport au type d’installation avec lequel nous travaillions », dit-il. "Même si on a l'impression que c'est ultra high-tech et très cher, ce n'est pas - c'est juste un moyen plus efficace de tirer, dans l'esprit de tout le reste."

Pour aider le studio à ne pas casser sa tirelire, certains partenaires lui ont prêté du matériel et fourni une expertise technique, tandis qu'Antoniades et son équipe se sont efforcés de réduire au maximum les coûts de l'équipement. L’utilisation de neuf caméras mobiles dans un espace d’environ trois mètres sur trois, beaucoup plus petit que celui d’un grand studio, a beaucoup aidé.

«Nous avons fait beaucoup de compromis», déclare Antoniades. «Notre gréement pour monter les caméras que nous avons achetées chez IKEA. Ce sont des pôles de garde-robe. L’éclairage dont nous avions besoin est un éclairage de bureau que nous avons acheté chez Amazon. Nous avons juste pris la solution la moins chère possible à chaque tour pour pouvoir capturer un personnage."

L’ouverture du studio sur le développement est ce qui a conduit le directeur de la technologie d’Epic, Kim Libreri, à demander à Antoniades si Ninja Theory souhaitait faire une démonstration en direct avec l’actrice de Senua à la GDC en mars; Quand cela a été un succès, l'équipe a travaillé avec ses partenaires pour filmer et restituer une cinématique complète en sept minutes pour une présentation SIGGRAPH en juin en utilisant Sequencer pour transférer des données en cache dans Unreal Engine.

Contrairement à la démo plus réduite de GDC, la présentation de SIGGRAPH (devant un public de 2 500 professionnels de l’industrie des effets spéciaux) montrait à Senua une conversation avec un doppelganger, avec Antoniades en train de tourner les deux rôles moelleux de Juergens. Après avoir capturé le fichier Doppelganger, Ninja Theory a obtenu l'aide de Epic, Cubic Motion et 3Lateral sur scène pour s'assurer que les données étaient capturées correctement et ensuite insérées dans l'interface de type montage vidéo de Sequencer.

Enfin, les données ont ensuite été restituées alors qu'Antoniades a filmé une seconde fois Juergens, jouant à présent le véritable Senua, contre sa première performance, tout en capturant le mouvement et la mise au point de la caméra. Ninja Theory a reçu pour sa performance le meilleur prix d’interactivité et de graphisme en temps réel de SIGGRAPH.

Ce qui rend la technologie si captivante, c'est que même les meilleurs studios de production cinématographique ne produisent actuellement pas de visuels aussi proches de l'art final. Au lieu de cela, ils utilisent un processus appelé pré-visualisation, qui fonctionne un peu comme un plan animé en temps réel, utilisant une géométrie de base rendue pour mesurer le blocage et l'action d'une scène. Passer d'une image approximative à une image finale prend généralement quelques mois et manque de détails, en particulier en raison de l'absence de capture du visage.

«Si vous pouviez voir un personnage vivre, imaginez tout ce que vous pourriez faire avec ça», déclare Antoniades. "Avec SIGGRAPH, nous avons pensé" nous avons la possibilité de faire quelque chose que vous ne pouvez même pas faire sur des plateaux de cinéma. "Les studios dotés de millions de dollars n’ont pas cette technologie."

C’est également un avantage pour la rapidité de développement.

«Comme nous avons nos propres installations ici, nous pouvons jouer et tourner des scènes au besoin», dit-il. «Nous le faisons de manière plus organique. Comme lors de la construction de niveaux, nous pouvons intervenir et filmer les scènes correspondant à ces niveaux ou, si nous avons besoin de scènes supplémentaires, les effectuer et les filmer. C’est toujours conforme au récit et à l’histoire, cela rend la scène un peu plus cool, nous pouvons donc tirer des tours avec les multiples versions de Senua que nous n’aurions pas eu autrement."

Alors qu'Antoniades affirme que la nature de la technologie en temps réel n'aura probablement pas d'effet notable sur l'histoire ni sur le jeu (à part peut-être des cinématiques plus expérimentales), il est optimiste sur le fait qu'il peut être appliqué à de nouveaux types d'expériences et de divertissements. dans un avenir proche, en particulier dans la réalité virtuelle.

«Imaginez que les personnages se tournent vers vous, qu'ils marchent avec vous ou qu'ils dialoguent avec vous», dit-il. "Je pense que cela mènera à un type de divertissement différent pour lequel nous n'avons pas de nom. Nous n'avons même pas la grammaire comme nous le faisons pour les films et les jeux vidéo."

Ce qui pourrait arriver plus tôt est quelque chose comme le chat Twitch où les gens pourraient parler avec Senua elle-même en temps réel - quelque chose que les fans pourraient potentiellement voir dans les mois à venir. Il est également possible de tirer parti de la réalité virtuelle, des concerts et d’autres applications non liées au jeu.

«Etre capable de créer des lieux, des acteurs, de tourner des scènes en direct, puis, parce que tout est en temps réel, vous pouvez rendre le tout interactif sur place, essayer différents scénarios», explique Antoniades. "Il y a des possibilités dans un proche avenir qui ne seraient tout simplement pas possibles même l'année dernière."

Avec Hellblade Ne faisant qu’un des nombreux projets dans lesquels le jeu est en cours et sur lequel Ninja Theory travaille actuellement, nous espérons qu’il sera un bon point de départ pour voir comment les choses peuvent évoluer à partir de maintenant.

"Je pense que ce sera intéressant pour les joueurs, car ils auront des projets plus intéressants", dit-il. «Et ce sera bien aussi pour les développeurs. Je pense que l’industrie évolue pour le mieux, à condition que nous réussissions tous à rester en place et à survivre un peu plus longtemps. »