PhysioGuide: Virtueller Reha-Mentor

Ansprechpersonen Julian Wolter
Arbeitsgruppe/Organisation/Firma UMTL
Medienprojektgruppengröße 3-4

Kurzbeschreibung

Das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) forscht im Rahmen des Projekts „Life-Long Federated User and Mental Modeling for Health and Well-being“ (FedWell) unter anderem daran, dass Patienten ihre verordneten Physiotherapieübungen korrekt und regelmäßig durchführen. Dazu wird ein System benötigt, das das Training audiovisuell unterstützt und Anweisungen zur korrekten Ausführung der Übungen gibt. Im Rahmen des Medienprojekts soll dieses System durch einen animierten Avatar und eine Sprachausgabe realisiert werden. Die Visualisierung soll später auf einem Smartphone innerhalb einer Browser-App mittels WebXR funktionieren. Alternativ können die Animationen vorgerendert und als Videodatei abgespielt werden.

Motivation

Für eine erfolgreiche Genesung, beispielsweise nach einer Hüft- oder Knieoperation, ist Physiotherapie unerlässlich. Da der Therapeut nur begrenzte Zeit mit dem Patienten verbringen kann, sind die eigenständig durchgeführten Übungen zu Hause entscheidend für den Therapieerfolg. Deshalb ist es besonders wichtig, dass der Patient die Übungen gewissenhaft und wie verordnet ausführt. In der Praxis zeigt sich jedoch oft, dass die notwendige Compliance nicht immer gegeben ist. Das Ziel dieses Projekts ist es daher, den Übungsplan individuell an jede Trainingseinheit anzupassen, sodass dem Patienten eine Menge an Übungen präsentiert wird, die zum Heilungserfolg beiträgt und von ihm auch tatsächlich durchgeführt wird. Dafür ist es notwendig, die Anzahl der Wiederholungen und Übungen zu variieren. Jede Trainingseinheit kann somit individuell gestaltet werden. Um den Patienten optimal anzuleiten, wird ein dynamischer Avatar benötigt, der die Übungen exemplarisch vorführt und verbale Anweisungen gibt, da es während der Übungsausführung nicht möglich ist, ständig auf das kleine Display des Smartphones zu schauen.

Aufgaben im Projekt

Zur Erreichung der Projektziele kann vorhandene Software, wie z. B. eine 3D-Engine, sowie bestehende Mediendaten genutzt werden. Diese müssen jedoch unter einer freien Lizenz stehen, damit wir sie auch später weiterverwenden können. Daher sollte dies vorab mit uns abgestimmt werden. Um die Zielsetzung des Projekts zu erreichen, sind die folgenden Aufgaben notwendig

  • Recherche zu bestehenden Systemen, 3D-Engines und Avataren
  • Erstellung des Avatars
  • Implementierung einer Funktion, um Übungsanimationen in einer Datei zu speichern (die Quelle könnte z. B. ein Video sein)
  • Möglichkeit zur Kombination verschiedener Übungen
  • Ausführung diverser Übungskombinationen durch den Avatar
  • Generierung von Audiofeedback zur Unterstützung der Übungsausführung
  • Optional: Über ein zusätzliches System wird Feedback gegeben, ob der Nutzer eine Übung korrekt oder inkorrekt ausführt. Basierend darauf soll ein korrigierendes Audiofeedback generiert werden.

Hinweise

  • Vorerfahrungen im Bereich Modellierung / 3D-Animation sind von Vorteil
  • Jede extern genutzt Komponente, Mediendatei oder ähnliches sollte vorab mit uns abgestimmt werden (wegen Lizenzierung).
  • Regelmäßige Treffen findet am DFKI statt.