Abschlussarbeiten bei Serious Games

Motivation

Mit fortschreitenden technologischen Errungenschaften wie der Virtual Reality (respektive Augmented Reality) bedarf es auch immer mehr nach neuartigen Möglichkeiten der Interaktion zwischen Mensch und Maschine. Aus diesen Gründen soll sich die hier ausgeschriebene Arbeit mit der akkuraten Erfassung von Handgesten/Gebärden befassen.

Aufgaben

Zwei Inertial Measurement Units (IMUs) mit sechs Bewegungsfreiheitsgraden (DoF) und zwei Magnetometer (3 DoF) sollen zu einem Arm-Controller, bestehend aus zwei Armmaschetten kombiniert werden (siehe erstes Bild). Eine Vorarbeit wurde hier bereits erbracht. Ergänzt werden sollen zudem ein Paar Datenhandschuh zur akuraten Erfassung von Hand- und Fingerbewegungen (siehe zweites Bild).

Mit diesem System soll nun eine Klassifizierung von Gebärden in sechs verschiedene Typen nach Battison (1978) erfolgen, anhand ihrer artikulatorischen Komplexität. Diese besteht im wesentlichen aus der Art der beiden Handformen und der Bewegegungen, welche die beiden Hände/Arme ausführen. Für die Handform liegt bereits aus einer vorhergehenden Arbeit ein geeigneter Klassifizierer für die rechte Hand vor, der für eine Klassifizerung der linken Hand angepasst werden muss. Die Bewegungen müssen mit Hilfe der Handschuhe und des oben genannten Arm-Controllers erfasst und mittels einem geeigneten Klassifizierers oder regelbasiertem Ansatzes erkannt werden können. Die Wahl des Ansatzes hat begründet zu erfolgen.

Es müssen acht unterschiedliche Arten von Bewegungen erkannt werden, darunter u.a. zirkuläre, gerade und geschwungene Bewegungen. Eine automatische Segmentierung der Daten soll auch berücksichtigt werden. Die Arbeit soll möglichst in englischer Sprache verfasst werden.

Anforderungen

Erfahrung mit C (Hardware-Programmierung) und Python (Software-Programmierung)

Keywords

Gestenerkennung, Gebärden, IMU, Extended Kalman-Filter, Sensor Fusion, Machine Learning