Towards sign parametrization by using MediaPipe
Bachelorarbeit
Motivation
Weltweit gibt es circa 466 Millionen Menschen mit einer Hörbehinderung. 72 Millionen von ihnen, das entspricht in etwa 1 % der Weltbevölkerung, nutzen eine von über 300 Gebärdensprachen.
Zur besseren Kommunikation kann Gebärdensprache in Lautsprache übersetzen werden. Dazu wird aktuell immer ein Gebärdendolmetscher benötigt. Eine technische Lösung wäre wünschenswert, birgt aber aufgrund der Komplexität der Gebärden einige Herausforderungen. Eine dieser Herausforderungen ist die Parametrisierung der Gebärden, d.h. die Zerlegung der Gebärde in Ihre charakteristischen Merkmale wie Handform oder Bewegung der Hand. Verschiedene Notationssysteme zeigen unterschiedliche Ansätze auf.
Eine weitere Herausforderung ist die Notwendigkeit einer Datenbank, in der die parametrisierten Gebärden gespeichert werden. Aufgrund der hohen Anzahl an Gebärden kann eine manuelle Zuordnung der Parameterwerte zu den Gebärden nur mit sehr hohem Aufwand erfolgen.
Aufgaben
In dieser Arbeit soll mit Hilfe von MediaPipe (https://google.github.io/mediapipe/) ein Ansatz zur Parametrisierung von Gebärden entwickelt werden. Der Ansatz soll aus Videodateien die wesentlichen charakteristischen Merkmale einer Gebärde der ASL extrahieren, klassifizierung und in einer Datenbank speichern.
Anforderungen
• Erfahrung mit Python und C++
• Erfahrung mit Gebärdensprache wünschenswert
Keywords
Machine Learning, Gesture recognition, MediaPipe, Sign Language, Parametrization, Sign Language Notation Systems, Video extraction, Video recognition
