Apple Patents Gesture et Gaze Contrôles pour les périphériques

Un nouveau brevet Apple publié mardi suggère que la société développe des téléviseurs et des écrans Mac que vous pouvez contrôler avec vos yeux. Si le contrôle du regard ne vous convient pas, vous pouvez simplement gesticuler. La souris, le clavier et même l'écran tactile deviendraient, pour la plupart, sans importance.

L'iPhone 7 Plus dispose de deux objectifs de caméra qui, bien que non mentionnés lors de la présentation, permettent la cartographie en profondeur 3D. Google a travaillé sur cette technologie avec Project Tango. Il est donc logique que Apple soit concurrentiel. Tandis que tout le monde s'émerveille devant la réalité augmentée au casque, le PDG d’Apple, Tim Cook, a laissé entendre une ou deux fois que la société possédait A.R. plans, il y a une autre forme de réalité augmentée sur le bloc - et c'est une qui ne nécessite pas de technologie volumineuse, portable.

C’est presque comme si c’était telekinetic la technologie, qui elle-même augmente (ou améliore) la réalité, brouillant les frontières entre la technologie et le monde réel. Le brevet résume l’état actuel des choses: «Lorsqu’il utilise des dispositifs de saisie tactile tels que des boutons, des molettes ou des écrans tactiles, un utilisateur engage et désactive généralement le contrôle d’une interface utilisateur en touchant et / ou en manipulant le périphérique physique.» invention, l’utilisateur peut se passer de la souris ou du trackpad, du clavier et de l’écran tactile, et se contenter de gestes ou de regards pour contrôler l’ordinateur.

Deux caméras ou plus, lorsqu'elles travaillent ensemble, peuvent imiter les yeux humains et peuvent par conséquent produire une image 3D. Le logiciel sait alors où se trouve l'utilisateur, à quoi ressemble son squelette et peut réagir en conséquence.

Des modes de réalisation de la présente invention décrivent des gestes de pointage pour engager des éléments interactifs présentés sur un affichage couplé à un ordinateur exécutant une interface utilisateur à modalité mixte qui comprend la détection tridimensionnelle (3D), par un capteur 3D, de mouvement ou de changement de position d'un ou de plusieurs capteurs. plusieurs parties du corps, généralement une main ou un doigt, de l'utilisateur.

Le brevet décrit divers gestes, tels que Point-Select, Point-Touch et Point-Hold, qui permettent aux utilisateurs de contrôler les interfaces d'un téléviseur ou d'un écran d'ordinateur.

Par exemple, l'utilisateur peut faire défiler horizontalement une liste d'éléments interactifs (par exemple, des films) présentés à l'écran en manipulant une boîte de défilement horizontale via le geste Point-Touch. Le geste de maintien instantané permet à l'utilisateur d'afficher des informations de contexte pour un élément interactif présenté à l'écran. Par exemple, lorsque l'utilisateur exécute un geste de maintien du point sur une icône représentant un film, l'ordinateur peut afficher une fenêtre contextuelle contenant des informations telles qu'un résumé du tracé, une révision et des acteurs.

En outre, selon ce brevet, le système peut détecter le regard de l’utilisateur, lui permettant de réagir aux mouvements oculaires dirigés. Voici ce que dit Apple:

… Présentant, au moyen d'un système informatisé, de multiples éléments interactifs sur un écran couplé à l'ordinateur, recevant, d'un dispositif de détection couplé à l'ordinateur, une entrée représentant la direction du regard d'un utilisateur, identifiant un point cible sur l'écran basé sur le direction du regard, associant le point cible à un premier élément interactif apparaissant à l'écran et, en réponse au point cible, ouvrant un ou plusieurs deuxièmes éléments interactifs à l'écran.

Encore une fois, si les gesticulations ne vous coupent pas le coup, contrôlez le regard. Le système détecte où l'utilisateur regarde et peut donc déduire ce qu'il souhaite faire, "évitant ainsi le besoin d'une souris et / ou d'un clavier", indique le brevet.

Quelque chose d'aussi simple et encombrant que de régler le volume de vos enceintes deviendrait un jeu d'enfant. Le brevet décrit à la fois le contrôle visuel et gesticulant du volume du haut-parleur. Avec ses yeux, l’utilisateur pouvait regarder «le sommet d’un haut-parleur couplé à l’ordinateur», ce qui le ferait «augmenter le volume du haut-parleur». (Si l’utilisateur regarde au bas du haut-parleur, Bien sûr, le volume diminuerait.) Avec des gestes, l'utilisateur pouvait également contrôler le volume du haut-parleur. L'utilisateur pointait une main vers le haut-parleur et, de l'autre, faisait un geste vers le haut ou le bas. "De même, si l'utilisateur effectue un geste Point-Touch vers le bas tout en pointant vers le haut-parleur, l'ordinateur peut baisser le niveau de volume du haut-parleur", indique le brevet.

C’est une autre forme de réalité augmentée qui risque de faire des vagues plus rapidement que, par exemple, ces mystérieux casques Magic Leap. Leap Motion, une autre société du jeu de réalité virtuelle, a elle-même perfectionné la technologie de suivi des mains. Mais une incursion de Apple sur le terrain pourrait changer le jeu, surtout si elle est combinée à des fonctionnalités de suivi des yeux.

Assurez-vous simplement de ne pas vous demander ce qu’il advient de la protection de la vie privée lorsque toutes ces technologies deviennent grand public. Heureusement, Cook et Apple ont travaillé dur pour conserver une bonne réputation.