Fingerspelling Trainer

Kurzbeschreibung

Alleine in Österreich sind rund 20.000 Menschen gehörlos oder schwer hörbehindert.
Dieser Teil der Bevölkerung verwendet die Gebärdensprache als Hauptinformationskanal.
Obwohl Gebärdensprache in Österreich 2005 als eigenständige Sprache anerkannt wurde,
ist nur ein Bruchteil der Österreicher der Sprache mächtig. Dieses Problem soll unser Projekt
„Fingerspelling Trainer“ lösen. Es wird ein Programm entwickelt, welches mittels Bildverarbeitung
und Bildklassifizierung dabei helfen soll, das Fingeralphabet der Gebärdensprache zu erlernen.
Der Benutzer zeigt ein Beispielzeichen in eine Kamera und bekommt ein Feedback, welches ihm
mitteilt ob das Zeichens erkennbar ist. So kann das Fingeralphabet beispielsweiße auf
Geschwindigkeit trainiert werden.

Description

In Austria, there are around 20.000 Inhabitants that are either deaf or have great trouble with hearing.
This part of our country uses sign language as their main source of communication. Although sign language
has been said to be an official language since 2005, there is only a small portion of people who are actually
able to speak the language. This is a problem we want to address with our project the "Fingerspelling Trainer”.
A project is being developed, which uses image processing and image classification to help the user learn the
sign language alphabet. The end-user shows a sign into a camera and gets a feedback which tells him if the
sign was recognizable. This opens the possibility to train the alphabet for example on speed.

Das Fingeralphabet

Gehörlose nutzen das Fingeralphabet zusätzlich zur Gebärdensprache, um unbekannte Begriffe oder Namen in der Lautsprache zu buchstabieren, bevor dafür eine Gebärde festgelegt wird. Manchmal wird auch fingerbuchstabiert, um ein Wort aus der Lautsprache zu betonen.
Obwohl das Fingeralphabet für längere Konversationen nicht geeignet ist, ist es dennoch essentiell, da es sozusagen eine Brücke zwischen der Gebärdensprache und der Lautsprache darstellt.

Tensorflow (Software)

Tensorflow ist ein Programmbibliothek für künstliche Intelligenz bzw. maschinelles Lernen im Umfeld von Sprache und Bildverarbeitungsaufgaben. Die von Google entwickelte Open-Source-Bibliothek wird von vielen großen Firmen wie zum Beispiel Snapchat, Airbnb, Intel oder dem der Google Sucher verwendet

Maschinelles Lernen

Die Technologie des maschinellen Lernens lehrt Computern die Ausführung von Aufgaben durch Lernen aus Daten, anstatt für die Aufgaben exakt programmiert zu werden. Je größer die Datenmenge, auf welche die Algorithmen zugreifen können, desto mehr lernen sie. Beispiele für Maschinelles lernen wäre zum Beispiel die personalisierte Empfehlung von Produkten bei Amazon