Faites face à la musique: comment le "chef d'orchestre" aide les paralytiques à basculer

Andreas Refsgaard, concepteur d'interaction et codeur créatif installé à Amsterdam, a conçu une interface musicale permettant aux personnes ayant un handicap physique de faire de la musique. Eye Conductor utilise un logiciel de suivi des yeux et une webcam de l’ordinateur pour convertir les mouvements du visage en différents composants de la composition musicale. Les utilisateurs peuvent s'entraîner à jouer avec leur visage, ce qui signifie que les personnes paralysées - les personnes qui ne peuvent plus jouer d'instruments - peuvent avoir une seconde chance de faire de beaux sons (ou simplement des sons forts). Le regard droit frappe littéralement un accord avec l’invention de Refsgaard. La bonne expression s’exprime à haute voix.

Refsgaard a parlé à Inverse à propos de la motivation de son projet, des difficultés qu’il a rencontrées en cours de route et de ce qu’il a appris de ce qu’il a donné à des gens qui avaient perdu la capacité de faire de la musique une autre chance.

Quelle est votre expérience avec la musique?

Je ne me dirais pas musicien car je ne joue que pour le plaisir, mais je joue de la guitare et de la basse. Ableton est un programme musical, un poste de travail numérique similaire aux logiciels d’enregistrement tels que Logic, Protools ou Garage Band. J’ai suivi un cours et je n’étais pas très doué pour la musique, mais j’étais fasciné par les possibilités que je voyais. Ensuite, nous avons commencé à collaborer et à faire des choses plus artistiques, du type installation, où il concevait les sons et je connectais des capteurs, par exemple une caméra de profondeur, afin que les gens qui passaient devant contrôlaient certains aspects du projet.

Vous êtes donc un concepteur d’interaction et un codeur créatif. Pourriez-vous expliquer ce que signifient ces titres?

Toutes les choses que je conçois sont interactives. Donc, si je devais fabriquer une sorte de mobilier, il aurait alors une fonctionnalité qui le ferait réagir à quelque chose. Je suis aussi un codeur créatif. Par rapport à beaucoup d’autres personnes - par exemple, j’ai étudié à Copenhague à l’Institut de conception d’interaction de Copenhague où les gens viennent de différents horizons - je suis un peu plus orienté vers le codage. Je me nomme également «codeur créatif» car je ne suis pas un codeur approprié. Je ne suis pas si bon que ça, mais je peux faire certaines choses très rapidement, je peux connecter des choses et je suis doué pour proposer de nouvelles idées.

Qu'est-ce qui vous a inspiré pour aider les personnes ayant un handicap physique à faire de la musique?

Après le lycée pendant deux ou trois mois, j'étais gardien d'une personne atteinte de dystrophie musculaire. Être avec lui tout le temps m'a fait réaliser certaines choses pour lesquelles je ne pouvais pas l'aider. L'un d'eux s'exprimait de manière créative. Ce n’était pas que j’ai pensé «bon, c’est un problème que je dois résoudre», car j’étais jeune et je n’avais aucune compétence professionnelle. Mais ça m'a pris.

Qu'en est-il de l'inspiration technique?

Eyewriter, un projet que j'ai vu il y a environ un an, est un programme de peinture conçu pour un gars qui était graffeur avant d'être paralysé. Certains de ses amis étaient codeurs et fabriquaient pour lui un outil permettant le suivi des yeux, ce qui lui permettait de dessiner. Et puis, depuis que je jouais avec des capteurs et des éléments de logiciels de musique, j'ai établi une connexion. Je l'ai fait comme projet final à l'école.

Comment la musique est-elle devenue le champ créatif que vous avez voulu explorer?

Je pense que peut-être parce que j'aime beaucoup la musique et le temps que j'ai consacré au projet. Il est juste devenu évident que je voulais travailler avec la musique. Eyewriter m'a beaucoup inspiré pour la réalisation de graphiques.

La musique semble être un excellent choix car elle est universelle. Je ne peux penser à personne qui n’aime pas la musique.

Au début, je voulais tester l’importance de la musique pour le groupe pour lequel je dessinais. Les premières étapes consistaient simplement à observer comment les personnes ayant différents handicaps physiques interagissaient avec la musique. Une maison que j'ai visitée avait des jeudis de musique. Certains peuvent pointer un peu ou jouer un peu sur un clavier, et d’autres ne peuvent rien faire du tout, mais le fait est qu’ils se présentent aux jeudis de la musique.

Entre l'observation et la fabrication de l'appareil, combien de temps cela a-t-il pris?

Souvent, dans un processus de conception, il s’agit de deux choses distinctes, mais je n’aime pas cette approche. J'aime construire dès le début, puis quand je discute de ce que j'ai construit. Et puis je le modifie ou le raffine.

Comment était-ce de voir des personnes l'utilisant pour la première fois?

C'était plutôt sympa, oui. Certaines personnes ne pouvant pas parler, la connexion peut être difficile. Mais ensuite, quand ils ont utilisé mon Eye Conductor, nous nous sommes vraiment connectés. Ils me regardaient et souriaient ou agissaient vraiment heureux ou quand je leur démontrais juste qu’ils étaient vraiment concentrés. C'était un bel exemple de la façon dont la musique peut aider les gens à interagir et à exprimer leurs émotions.

Sans être trop technique, quel est le plus gros problème que vous ayez rencontré lors de la conception du Eye Conductor?

Pour que le système fonctionne, vous devez vous asseoir dans la même posture que celle que nous avons devant nos ordinateurs portables, car l'image que vous voyez de moi maintenant est directe et utile pour suivre mon visage et mes yeux. Mais si vous êtes avec une personne en fauteuil roulant qui n’a pas le contrôle de sa posture, de son dos ou de son cou, par exemple, elle s’assoit parfois plus latéralement et le système ne peut pas suivre ses mouvements faciaux. Et puis parfois, il serait un peu inconfortable pour moi d'essayer de dire: «Ok pour que cela fonctionne, vous devez vous asseoir plus droit.» Et puis, étant non verbaux, comment communiquons-nous cela?

Si quelqu'un inclinait la tête de cette façon, pourriez-vous théoriquement tenir l'ordinateur portable de manière à prendre en compte leurs gestes faciaux?

Ouais. Donc, je ne me suis pas vraiment intéressé à la résolution de ce problème, mais beaucoup de gens ont des ordinateurs montés sur leurs fauteuils roulants et l'ordinateur est sur un poteau, puis sur ce poteau, il y a un dispositif de montage et ils l'inclinent dans la bonne direction pour pointer le le visage de la personne. Il n’existe aucune position qui soit juste ou fausse, il s’agit simplement de faire en sorte que les capteurs - c’est-à-dire la webcam et le suivi de la vue - soient bien droit pour la tête. C'était un peu difficile. C'était plus une affaire de matériel, car sinon, je devrais essayer de construire une structure et ce serait compliqué. Je ne suis pas si bon à ça.

Avez-vous fait le travail par vous-même ou avez-vous rencontré des problèmes techniques que seules les autres personnes savent comment résoudre?

Je l'ai fait moi-même, mais du côté de la conception sonore, le professeur dont je vous ai parlé m'aidait. Fondamentalement, juste des trucs de conception sonore. J'ai également eu un conseiller qui m'a donné des indications sur un langage de programmation appelé Max, pour lequel il était vraiment bon. Il m'a simplement aidé à être plus à l'aise avec certains détails de la programmation. Bien sûr, beaucoup de choses étaient nouvelles, mais je connaissais déjà les bases de mon expérience. J'ai réalisé le Eye Conductor en huit semaines et les gens m'ont dit: «Oh, c'est fou. Comment le faire en huit semaines?». Mais j'ai aussi créé d'autres outils qui permettent également de travailler avec des capteurs et des logiciels de musique. Je ne savais pas comment le faire. Maintenant que je sais que ce n’est pas aussi difficile, même si ce projet était plus compliqué. Il est également important pour moi de souligner qu’il s’agit d’un prototype pleinement fonctionnel, mais que ce n’est pas un produit. Pour que les gens ne puissent pas l’acheter et l’installer sur mon ordinateur.

J'allais vous demander si vous avez l'intention de le vendre?

En fait, je ne veux pas le vendre, je veux le donner. Je veux en faire un logiciel open source mais je ne peux rien promettre pour le moment. Je n'ai pas encore de financement pour cela et j'ai du travail et d'autres choses à faire. Par exemple, j'ai reçu un message d'un gars du Michigan, qui était producteur, puis il a eu la SLA. Je dois le rendre accessible à tous ces gens. C'est très important pour moi à un moment donné, et je ne peux pas promettre quand, mais espérons-le bientôt, le présenter de manière à ce que les gens puissent tout télécharger comme une seule chose et que cela fonctionnerait sur la plupart des ordinateurs ou bien l'essayer dans le navigateur. L'idée de faire de ce navigateur un simple navigateur nécessiterait simplement que les utilisateurs disposent d'un ordinateur avec un accès en ligne, puis de tout remplacement de la souris. Si je le fais en open source, je peux fournir la démo de base et ensuite les gens peuvent ajouter leurs propres rebondissements pour en faire le leur.

C’est bien d’entendre dire que vous faites cela parce que vous voulez aider les gens et non pas parce que vous voulez devenir riche ou quelque chose comme ça.

Les outils avec lesquels je l'ai construit - du moins le prototype qui fonctionne - sont open source. Pourquoi aurais-je alors le crédit? Par exemple, le système de suivi du visage que j'utilise pour mon prototype, qui permet aux utilisateurs de créer un son en haussant les sourcils ou en ouvrant la bouche, s'appelle FaceOSC et a été créé par Kyle McDonald, un système à code source ouvert. Je ne pense pas que j'aurais pu aller aussi loin sans ce logiciel.