Note utilisateur: 5 / 5

Etoiles activesEtoiles activesEtoiles activesEtoiles activesEtoiles actives
 

 

 

Ces dernières années, la technologie de la reconnaissance de mouvements a fait un bon en avant, reléguant au second plan les vieilles manettes de jeux.

Mais comment ça marche la reconnaissance de mouvements ?

Comment fonctionne la wiimote ou la Kinect ?

C'est ce que nous allons détailler ici :)

 

 

Introduction

Jouer à un jeu vidéo sans souris ni manette n'est plus un fantasme de science fiction : l'arrivée des nouvelles technologies de la reconnaissance de mouvements gomme peu à peu la frontière entre le réel et le virtuel.

 

 

 

Qu'est ce que la reconnaissance de mouvements ?

C'est la captation d'un mouvement et son interprétation en temps réel.

Elle peut-être magnétique, sonore, optique ou encore infra-rouge , et elle est utilisée aujourd'hui dans les domaines de la sécurité, du cinema, de la science mais aussi de la défense du territoire.

 

 

 

Le motion-gaming

Parmi tous les domaindes d'application, intéressons-nous au monde multimédia, et notamment à l'utilisation de la reconnaissance de mouvements dans les jeux vidéos : c'est ce que l'on appelle le motion-gaming (motion pour vidéo, gaming pour jeu).

 

 

 

La Wiimote

En 2005 paraît la Wiimote, qui est la télécommande de la console de jeu Nintendo Wii.

 

 

Celle-ci est équipée d'un capteur de mouvement, permettant d'interpréter chaque geste du joueur, afin de le retranscrire à l'écran. Le capteur en question est un accéléromètre, qui capte... les accélérations :)

L'accéléromètre est capable des les analyser sur les 3 axes : X, Y et Z

 

 

L'axe X permet la retranscription des mouvements gauche/droite

 

 

L'axe Z, celle des mouvement haut/bas

 

 

Et enfin l'axe Y, pour les mouvements avant/arière

 

 

Pour cela, l'accéléromètre est constitué d'une petite lamelle de silicone, qui se déplace entre deux condensateurs haussant un champ électrique. Ainsi, lorsque vous réalisez un mouvement du poignet, la lamelle de siliconne reçoit une accélération et modifie son champ électrique en fonction de son oscillation.

 

 

Cette modification du champ électrique est interprétée par le processeur, qui est intégré à la wiimote, comme une force exercée sur la manette.

 

 

La wiimote est également équipée d'une petite caméra infra-rouge lui permettant d'être utilisée comme pointeur

 

 

Pour celà, on a besoin d'une sensor bar

 

 

La sensor bar est équipée de 2 x 5 diodes située à gauche et à droite de la sensor bar, qui émettent en permanence une lumière infra rouge.

J'ai pris la mienne en photo avec un appareil photo numérique, ce qui permet, comme je vous l'avais dit dans ce tutoriel, de voir la lumière infra rouge :)

 

 

La caméra de la wiimote captera différemment ces rayons en fonction de sa position et deson orientation par rapport aux sources lumineuses émises par les diodes, ce qui permettra de reproduire le mouvement du pointeur ^^

 

 

 

La Kinect

L'autre périphérique utilisant la reconnaissance de mouvement se retrouve sur la XBox : la Kinect

La Kinect est équipé de 2 caméras :

  • 1 caméra 3D située à droite : dotée d'une résolution de 320 x 240 pixels, celle-ci filme en infra-rouge
  • 1 caméra SD (standard), située au centre, elle a une résolution de 640 x 480 pixels, et filme à la vitesse de 30 FPS (Fraps per Seconds - Images par Secondes)

 

 

Pour pouvoir faire de la 3D à partir de "simples" caméras infra rouges, se trouve au milieu de la Kinect un émetteur à lumière infra-rouge.

 

 

Cet émetteur va bombarder la pièce avec ses rayons, qui sont évidemment (et heureusement ^^) invisibles à l'oeil nu.

 

 

L'impressionnante visualisation des rayons de la Kinect, peut être vue dans le film "Paranormal Activity 4" de Henry Joost.

 

 

Ces scènes n'utilisent aucuns effets spéciaux en dehors d'une caméra infra-rouge et représentent réellement le rayonnement d'une Kinect

 

 

Le fonctionnement est assez similaire à celui d'un sonar...

 

 

Plus un objet (en l'occurence votre corps) se trouve proche de la source lumineuse, et plus il sera volumineux et lumineux.

A l'inverse, plus il en est éloigné et plus il sera petit et sombre.

 

 

La caméra va ainsi analyser les positions des joueurs, en fonction des retours lumineux qu'elle reçoit, toujours en vue des positionner dans les 3 dimensions X, Y, et Z qui permettront ainsi de le situer dans la largeur, la profondeur et la hauteur.

 

 

La Kinect est équipée d'un SDK (Software Developement Kit), qui va ainsi recueillir une image de vous, votre positionnement dans l'espace ainsi que les sons que vous émettez, et les transmettre à la console XBOX.

C'est ensuite la librairie NUI (Natural User Interface) qui va analyser toutes ces données, et vous permettre ainsi d'intéragir directement avec votre console sans intermédiaire, uniquement en analysant vos mouvements et votre voix.

 

 

Comme dans le cinéma (technique de motion capture), un squelette virtuel du joueur est généré. Il est équipé de 20 points, afin de traiter les mouvements de votre main, de votre tête, de vos avants bras, etc...

 

 

C'est ce squelette virtuel qui va se charger de la retranscription des mouvements que vous effectuez (saut, coup de point, jambe qui se lève..)

 

 

La Kinect, dans sa version 1 était capable d'animer deux squelettes différents

 

 

La librairie NUI transmet toutes ces animations à votre jeu, afin de permettre l'interaction entre vous, et votre avatar dans le jeu :)

 

 

 

Les limites de la reconnaissance de mouvements

En théorie, tout ceci est magnifique, mais dans la pratique, la Wii ainsi que la XBOX souffrent de temps de latence très long, ne permettant pas une précision suffisante lors des action de jeu.

Dans les premières génération de la Kinect, la reconnaissance des expressions du visage étaient également impossible, en raison d'une résolution de caméra trop basse.

Les jeux jouables par la wiimote ou la Kinect étaient ainsi des jeux où les mouvements étaient limités et simples : saut, mouvements de bras, de jambes...

 

 

 

Les nouvelles générations

La Kinect 2 a vu son temps de latence concidérablement diminué, et sa caméra Full HD permet à présent l'animation de 6 joueurs différents (même dans une pièce faiblement éclairée) ainsi que les fonctions de reconnaissance faciale ainsi que celle des expressions du visage.

 

 

Nitendo a lui pourvu sa Wii de la Wiiu, doté d'un écran tactile afin de repousser les limites du jeu...

 

 

Et Sony n'est pas en reste puisqu'il a équipé la PlayStation 4 du PlayStation Eye, évolution de l'Eye Toy, offrant une résolution impressionante de 1200 x 800 pixels.

 

 

Le jeu "The Play Room" donne un aperçu des immenses possibilités offertes par le PlayStation Eye :

 

 

 

 

Conclusion

Il est évident que les systèmes de reconnaissance de mouvements ont de l'avenir, à en juger par Microsoft qui vient de sortir des Kinect à destination du système d'exploitation Windows, afin de rendre leur utilisation possible sur PC.

Au delà du monde informatique et multimédia, la médecine se montre également très intéressée par ces technologies : le fait de pouvoir consulter les radios, les dossiers médicaux, sans contact de la main avec un périphérique quel qu'il soit résoud les problèmes de contamination et de stérilisation des claviers, souris...

 

 

 

 

 

 

 

Ajouter un Commentaire

Code de sécurité
Rafraîchir