Sage Lewis, compositeur de jeux et de films, dit que personne ne comprend l'écriture pour VR encore

Pour le musicien de formation classique Sage Lewis, la technologie pose un défi. Bien que ses compositions soient apparues dans des publicités pour Google, Facebook et Nintendo, Lewis reste inébranlable avec des sons acoustiques. «Il y a quelque chose à propos du quatuor à cordes et des principaux instruments acoustiques, qui expriment tellement d'émotion», dit-il au téléphone. "Vous ne pouvez pas vraiment exprimer cela avec de la musique électronique de la même manière."

Mais peut-être l'a-t-il compris. Au sud par le sud-ouest, les partitions les plus récentes de Lewis - le techno-drame Opérateur avec Martin Starr (Silicon Valley) et Mae Whitman, et le thriller VR Le substitut - aborder notre compréhension en constante évolution de l'interactivité humaine avec une technologie de pointe. Les scores de Lewis, un mélange d’électronique et d’acoustique reflètent ces changements sismiques.

Réalisé par Logan Kibens, Opérateur suit un programmeur informatique qui construit un bot de service client en utilisant sa femme comme modèle avant de prendre un chemin obsessionnel et destructeur construit sur l’amour. Le substitut, pendant ce temps, est une expérience de réalité virtuelle à la première personne qui expose un mariage en difficulté. Nominé pour le prix de l'innovation interactive au festival, Le substitut "Problématise la notion de présence physique et reflète… les peurs et les afflictions culturelles à l'ère numérique."

Avant le festival d'Austin, Lewis a parlé à Inverse et nous a raconté comment il avait composé l’un des joyaux cachés de SXSW et comment les règles de composition de la réalité virtuelle étaient encore écrites.

Au SXSW cette année, vous avez Opérateur et Le substitut. Que pouvez-vous me dire sur votre compréhension des deux projets?

C’est excitant, c’est deux films qui se ressemblent mais dont la forme et la façon de vivre sont très différentes. Tous deux ont trait à la technologie, à une relation avec et à la manière dont elle interfère avec de vraies relations dans nos vies personnelles. Il s’agit de l’intelligence artificielle et de notre avenir.

La technologie et les relations humaines sont des thèmes populaires, comme en témoignent Sa et Miroir noir. Comment avez-vous approché votre score pour Opérateur ?

La technologie intervient de plus en plus dans nos communications, mais nous pourrions aussi nous orienter vers nos relations avec un autre humain, mais avec un algorithme. C'était amusant de travailler musicalement sur ces thèmes. La partition contient un ensemble de chambre composé d'un quatuor à cordes, d'un piano, d'une guitare acoustique, d'une batterie et de percussions. Ensuite, il y a tout un côté électronique, chaque instrument électronique correspond directement à l’autre de l’acoustique. Nous les avons recréés à partir de zéro avec un synthétiseur modulaire. Cela a créé une partition capable d'exprimer ces émotions par voie électronique.

Compte tenu de l’importance cruciale de ces films pour la technologie, pourquoi avez-vous inclus des sons naturels et classiques dans Opérateur ?

Pour moi, il s’agissait de deux mondes coexistants, un virtuel et un naturel, et de la coexistence harmonieuse et conflictuelle de ces deux mondes. C'était important d'avoir des morceaux. Si vous opposez deux éléments opposés, cela les rend plus puissants. La musique électronique sonne plus électronique quand elle est dans le contexte de la musique acoustique. La qualité de quelque chose qui est naturel peut sembler encore plus naturelle quand vous le comparez à quelque chose de très peu naturel.

Quelle était votre partie préférée de Opérateur marquer?

Il y a de belles scènes du lac Michigan où le personnage, Joe, court tous les jours. Il mesure ses données de santé, se rend au lac Michigan et prend une photo. Il y a une scène où ils étaient comme: «C'est l'une des pièces les plus importantes du film. C’est tout, Sage. »La musique devait aussi être simple, elle ne se racontait pas avec beaucoup de gestes. C’était juste quelques minutes de quelques gestes simples à placer et qui pouvaient vraiment vous toucher au cœur. C'était le plus excitant pour moi.

Comment composez-vous une expérience subjective en réalité virtuelle par rapport à un film comme Opérateur ?

C’est excitant parce que personne ne comprend comment le faire. Vous ne pouvez l’étudier nulle part, pas même pour consulter d’autres projets de RV afin de voir ce qu’ils ont fait, car ils ne sont toujours pas aussi accessibles. Il y a beaucoup de comprendre vous-même. Nous avons développé nos propres casques Oculus. Parfois, nous assistons à des conférences sur la réalité virtuelle pour voir d’autres contenus, mais pour la plupart, c’est un produit qui n’a pas encore été commercialisé.

Qu'en est-il des jeux vidéo sur lesquels vous avez travaillé - et qui sont aussi des expériences technologiques subjectives?

À certains égards, cela ressemble à des jeux vidéo mais l’expérience est différente. Le substitut n’est pas un jeu, mais un «film interactif», qui a vraiment bien travaillé à découvrir le nouveau territoire de la réalité virtuelle. C’est 12 minutes, c’est sphérique, ce qui signifie que vous pouvez vous promener dans le film plutôt que de prendre une photo 16x9 dans le film. C’est cet hybride de CG tourné avec une caméra sphérique, avec de vrais personnages. Pas des avatars.

Pendant que vous circulez, certaines musiques sont utilisées tout le temps pour soutenir le récit. Il y a cet autre type situé dans des espaces. Si vous allez dans cet espace, vous l'entendrez, mais si vous ne l'êtes pas, vous ne l'êtes pas. Lorsque vous êtes dans un film, vous avez besoin de beaucoup de communication pour que l’histoire fonctionne, afin que les visiteurs ne passent pas à côté des passages importants, mais en VR vous n’avez pas le contrôle de l’utilisateur. L'utilisateur peut se promener n'importe où.

Le score en VR aide à communiquer l’arc émotionnel, qu’ils soient attentifs ou non à la performance. Vous devez utiliser le score pour rassembler les choses parce que vous n’avez pas le contrôle. C’est intéressant pour moi parce qu’en interne, le personnage dans lequel vous vous trouvez est un thriller psychologique pour ce personnage dans leur corps et leur esprit, mais ce n’est pas le cas dans le monde extérieur. Ce sont des gens qui se déplacent et parlent, pas un thriller ordinaire avec de l’action.

Les angles de caméra dans les films communiquent une narration et un thème que la musique intensifie. En VR, il semble que la musique fasse tout le travail.

C’est difficile à comprendre aussi, car quand je compose, je ne peux pas en faire l’expérience. Je ne peux pas en faire la démonstration car vous ne pouvez pas composer avec le casque. Dans un film, vous pouvez le regarder, mettre de la musique, le regarder à nouveau et faire en sorte qu'un tas de gens s'assoient ensemble et en parlent.

La réalité virtuelle est similaire au théâtre. Certaines personnes ont de bons sièges, d'autres des sièges médiocres. Ils regardent sous tous les angles. Du point de vue musical, vous savez comment les choses vont se synchroniser. Vous n’avez pas à deviner ce qu’ils ressentent sur scène quand vous travaillez dessus. En VR vous devinez, imaginez, dans votre esprit, des documents que vous référencez qui vous aident à vous informer de la façon dont les choses sont censées être et se sentir à la fin.

Ce n’est jamais fini. Cela ne cesse de changer. Le substitut, nous venons de terminer la dernière mise à jour. Ensuite, nous continuerons à travailler dessus pendant longtemps en fonction de ce que nous apprenons. Les choses sont plus lentes parce que vous faites confiance aux programmeurs, les choses se cassent tout le temps dans le système. C’est tellement différent.

Combien de temps pensez-vous qu'il faudra aux compositeurs pour trouver le rythme de la musique en VR?

Pour comprendre comment écrire de la musique pour la réalité virtuelle, cela prendra aussi longtemps que de déterminer les autres éléments. Je pense que trois à cinq ans s’écouleront avant que cela commence à fonctionner à un point qui fait partie de la vie de chacun. Cette année, VR se rendra sur le marché. Il faudra probablement des années pour améliorer le prototype et comprendre comment créer du contenu, mais je vois que cela se produira vers 2020, lorsque le formulaire sera bien développé. Le film a pris beaucoup de temps aussi. Il y avait d'excellents films dès le début, Charlie Chaplin, etc., mais le développement de cette technologie a pris beaucoup de temps jusqu'à son âge d'or. Nous sommes encore loin de cela, mais cela se produit maintenant. Nous allons commencer à le voir cette année. C'est exitant.