Un Hack Kinect pour reconnaitre le langage des signes

Bravo à cette équipe française !

Je cite:

Grâce à la kinect et son système de suivit de corps, nous avons réalisé un système de reconnaissance de geste. Pour cela nous avons utilisé la librairie FANN, qui permet de programmer des réseaux de neurones. Nous avons enregistré une série de gestes que nous avons utilisé pour entrainer un réseau, c'est à dire pour lui apprendre à reconnaitre des gestes. Pour les premiers test nous avons utilisé deux gestes de laLSF (Langue des Signes Française) : "bonjour" et "désolé".

... Et ça marche plutôt bien, on va donc compléter notre "bibliothèque de geste", et pourquoi pas viser d'autres applications, comme un jeu, ou aussi plus simplement piloter un ordinateur (et donc potentiellement n'importe quoi).

Par là:


http://professeurs.esiea.fr/wassner/?2011/05/06/325-kinect-reseau-de-neurone-reconnaissance-de-gestes

Site de l'ESIA: http://www.esiea.fr/Esiea.cml

En vidéo plus bas.

Crédits:

 le  6 mai 2011

gesture recognition using a kinect an a neural network.
We using the openNI and the NITE librairies with a Kinect to track body parts (hands, elbow, head, ...). Then we use FANN (Fast Artificial Neural Network) library for the recognition system.
For now, It is able to recognize only two moves, one means 'hello' ("bonjour" in franch), the other mean 'sorry' ("désole" in french).
We just need to record new moves to train the neural network to be able to recognize other "words"/moves.

Haut de page