Talk Talk

About

Ziel des Projektes ist die Erfassung und Auswertung von menschlichen Gesten bzw. Gebärden.

Demonstriert wird die Funktion anhand eines Kugellabyrinths, bei dem eine Kugel durch Neigung einer Ebene einen vorgegeben Weg zurücklegen muss.

Weiters sollen auch feinmotorische Gesten, wie sie bei Finger- und Gebärdensprache auftreten, detektiert und in Text übersetzt werden können.

Die Bewegungserfassung erfolgt durch Kinect und Leap Motion.


The target of our project is to transmit the data of human motion from the infrared based device to the computer. Then the data will be interpreted to translate the sign language.

In the first step great movements of the limbs were captured by the System Microsoft Kinect. The crawled data was sent to two servomotors that put the ball maze into operation.

In the current iteration we are trying to detect the exact gestures of the fingers with the Leap Motion and to translate the data into text.