Towards arm posture detection using sensor fusion and extended Kalman filter

Arbeitstyp nach Absprache, Masterarbeit, Bachelorarbeit

Motivation

Mit fortschreitenden technologischen Errungenschaften wie der Virtual Reality (respektive Augmented Reality) bedarf es auch immer mehr nach neuartigen Möglichkeiten der Interaktion zwischen Mensch und Maschine.

Aus diesen Gründen soll sich die hier ausgeschriebene Arbeit mit der akkuraten Erfassung von Armbewegungen und -stellungen im Kontext von Handgesten/Gebärden befassen.

Aufgabe

Zwei Inertial Measurement Units (IMUs) mit sechs Bewegungsfreiheitsgraden (DoF) und zwei Magnetometer (3 DoF) sollen zu einer Einheit bestehend aus zwei Armmaschetten kombiniert werden (siehe erstes Bild). Mit Hilfe dieser Einheit und eines erweiterten Kalman-Filters sollen die Armbewegungen und -stellungen akurat erfasst werden können (siehe zweites Bild). Es soll untersucht werden, in wie weit eine exakte Bestimmung charakteristischer Winkel und Abhängigkeiten zwischen den beiden Manschetten möglich ist und wie hoch der Fehler ist (siehe drittes Bild). Zur Evaluation des Systems soll ein Vergleich mit dem HTC Vive Tracking System gezogen werden.

Die Arbeit baut auf einer vorangegangen Arbeit auf, so dass schon einiges an Vorarbeit vorhanden ist. Sie soll möglichst in englischer Sprache verfasst werden.

Master-Abschlussarbeit: Ergänzend zu den bereits genannten Anforderungen, soll eine Kalibrierung konzipiert werden, die neben den relativen Winkeln und Abhängigkeiten auch die absoluten Werte bestimmt, d.h. die konkrete Lage des Unter- und Oberarm zum Oberkörper.

Es soll zudem ein Klassifizierer trainiert und evaluiert werden, der anhand der vorhergehenden Ergebnisse (kinematische Kette) vorgegebene Armpositionen (Ausführungsorte von Gebärden) erkennen kann.

Anforderungen

  • Gute mathematischen Kenntnisse, vor allem im Bereich der linearen Algebra (Matrizenberechnung)
  • Erfahrung mit C (Hardware-Programmierung) und Python (Software-Programmierung)

Keywords

Gestenerkennung, Kinematik, Gebärden, IMU, Extended Kalman-Filter, Sensor Fusion, Machine Learning

Quelle: Christ, Vera. „Real-time sensor-based motion capture system for virtual reality.“ (2017) und Eigene.

Publikationen

  • .