FH Bielefeld
University of
Applied Sciences

Augmented Reality Skill Assistance System

Augmented Reality Skill Assistance System



Projektübersicht

Anzahl Studierende 1-2
Art Studienprojekt in Verbindung mit geförderten Projekten mit externen Partnern
Projektverantwortung Prof. Dr.-Ing. Thorsten Jungeblut, Prof. Dr.-Ing. Wolfram Schenck, Dr. Koenraad Vandevoorde
Projektkontext

Projekt TransCareTech in Zusammenarbeit mit dem Center for Applied Data Science Gütersloh (CfADS) sowie externen Partnern aus dem Forschungsprojekt TransCareTech. Eine parallele Anstellung als WHK ist möglich.

 

Video: Augmented Reality Skill Assistence System

 

Kurzbeschreibung

Menschen lernen Bewegungen auf natürliche Weise, aber es braucht viel Zeit und Training, um in motorischen Fähigkeiten Expertenleistungen zu erzielen. In diesem Projekt möchten wir zeigen, wie ein Augmented-Reality-Gerät Menschen beim Erlernen eines neuen medizinischen Verfahrens (Abbildung 1) mit einer darin enthaltenen manuellen Komponente unterstützen oder bei einem bekannten Verfahren assistieren kann. Um dieses Ziel zu erreichen, werden Techniken der künstlichen Intelligenz und der Datenanalyse auf vielen Ebenen nützlich sein: Natural Language Processing, Object Detection, Action Recognition, Pose Estimation, Beurteilung des Fähigkeitsniveaus.

Augmented Reality hat das Potenzial, das Gesundheitswesen zu verändern, beispielsweise durch eine verbesserte medizinische Ausbildung. HoloAnatomy ist ein Beispiel für ein medizinisches Anatomie-Lehrmittel mit Hologrammen. Es ist eine sehr intuitive und ansprechende Anwendung für Studenten des Abbildung von Marc Lazarovici and Alexander Winkler auf medicalaugmentedreality.org Gesundheitswesens, um die Anatomie des menschlichen Körpers zu lernen. Hier wollen wir einen ähnlichen Ansatz verfolgen, indem wir Hologramme verwenden, um medizinische Fähigkeiten zu lehren, aber mit einem Fokus auf manuellen motorischen Fähigkeiten in medizinischen Verfahren. Das Projekt würde auch in das übergeordnete Ziel passen, einen menschlichen digitalen Zwilling mit Gesundheitsdaten zu entwickeln. Hier würden die Gesundheitsdaten für den digitalen Zwilling vom Augmented-Reality-Gerät und seinen verschiedenen Sensoren gesammelt.

Aufgabenstellung

In diesem Forschungsmasterprojekt erstellen Sie Augmented-Reality-Anweisungen für medizinisches Personal in Hololens 2 und verwenden das tragbare Gerät, um die Bewegung des medizinischen Personals zu verfolgen. Wir haben bereits ein Framework für Anweisungen während einer Montageaufgabe für den industriellen Einsatz entwickelt (AR-Optimized Manufacturing Assistant: AROMA). Dieses Framework ermöglicht auch das Sammeln von Augen-, Kopf- und Handbewegungsdaten. Dasselbe System kann für Aufgaben im medizinischen oder pflegerischen Kontext erweitert werden (z. B. wie man Menschen ergonomisch bewegt, wie man ein medizinisches Instrument bedient, chirurgische Aufgaben). In diesem Projekt werden wir uns auf zwei solcher medizinischer Aufgaben konzentrieren. Die erste ist eine orthopädische Untersuchung, bei der ein Arzt den Bewegungsbereich bestimmter Gelenke, Schmerzen während bestimmter Bewegungen oder Muskelstärke testet. Hier wird die Hololens 2 zur Instruktion des Arztes eingesetzt, ein Avatar des Patienten und des Arztes soll die Art der Handlungen des Arztes und die erforderlichen Bewegungen des Patienten während der orthopädischen Beurteilung zeigen.

Neben einem Avatar kann die Hololens 2 während der Aufgabenausführung durch visuelle Feedbackzeichen oder durch verbale Feedback Anweisungen geben. Dazu muss die Hololens 2 die Pose des Patienten und die Handlungen des Arztes in Echtzeit erkennen und ihr Feedback so anpassen, dass die Pose in die gewünschte Richtung gelenkt wird. Langfristig kann ein Augmented-Reality-Gerät wie die Hololens 2 zur automatischen Bewertung des orthopädischen Zustands des Patienten, aber auch zur Beurteilung der Leistungsfähigkeit des Arztes eingesetzt werden. Die zweite medizinische Aufgabe ist eine Naht-Lernplattform, eine Augmented-Reality-Plattform, die Medizinstudenten beibringt, Nadelnähte an einem Naht-Demo-Kit durchzuführen. Hier ist die Vorgehensweise der Entwicklung wie bei der ersten Aufgabe, erfordert aber zusätzlich eine Objekterkennung, um die verschiedenen Werkzeuge zu erkennen. Ein weiterer Aspekt in diesem Projekt ist die Datenerhebung mit medizinischem Fachpersonal, das das ausgewählte Gerät verwendet. Unser Ziel ist es, eine Studie mit 10 Fachleute durchzuführen, die die beiden entwickelten Aufgaben ausführen.

Ein letzter Aspekt wäre der Beitrag zum größeren Projekt „Human Digital Twin“. Ein menschlicher digitaler Zwilling ist eine digitale Repräsentation einer echten menschlichen Person. Ein digitaler Zwilling erfordert Echtzeitdaten oder eine regelmäßige Datensynchronisation von Wearables, IoTSensoren oder Anwendungen, um den digitalen Zwilling möglichst genau mit der realen Person abzugleichen. Bevor Datenanalyse und maschinelles Lernen auf die Rohdatenbank angewendet werden können, sollte sie zunächst bereinigt und vorverarbeitet werden. Die Ergebnisdatenbank kann verwendet werden, um den Benutzern selbst oder anderen Fachleuten Feedback zu geben. Es kann auch zum Vergleich mit anderen ähnlichen digitalen Zwillingen verwendet werden. In diesem Projekt könnten wir einen digitalen Zwilling des medizinischen Fachpersonals und des Patienten erstellen, während das medizinische Fachpersonal eine spezialisierte Aufgabe ausführt oder lernt.

 

Bezug zum Thema Data Science  
Die Evaluation und Anwendung von KI-/ML-Verfahren zur Aktivitätserkennung und Pose Estimation sind ein Kernthema des maschinellen Lernens und werden beispielsweise in den Modulen „Data Mining & Machine Learning“ sowie „Künstliche Intelligenz“ behandelt. Die Aufnahme hochaufgelöster Messdaten von Augmented Reality Geräte stellt hohe Anforderungen an Organisation und Verarbeitung der Daten. Dieses ist Kern des Moduls „Big Data Architekturen“.

 

Verfügbare Ressourcen

  • Hardware für das komplexere Maschine Learning ist über das CfADS sowie dem KIRechencluster yourAI der FH Bielefeld verfügbar. Die folgenden Tools stehen über zwei virtuelle Maschinen zur Verfügung:
    - externe VM: Apache Webserver, Apache ActiveMQ Broker, miniconda, Django/Flask
    - interne VM: Apache ActiveMQ Broker, PostgreSQL Datenbank, zugang zum GIT-Server, zentrales Anaconda platform, Apache Jena (SPARQL)
  • Die Plattform AROMA
  • Hololens 2
  • Ansprechpartner im TransCareTech und im CfADS stehen während der Projektlaufzeit zur Verfügung

 

Projektplan
Erstes Semester:
 Konkretisierung des Forschungsvorhabens. Einarbeitung in die Konzepte und Strukturen (Unity, Augmented Reality, Hololens 2 etc. ) der existierenden Augmented Reality- Frameworks sowie die Durchführung einer Literaturrecherche. Erstellung eines Forschungsexposés ist Prüfungsleistung.

Zweites Semester: Erstellung des Systemkonzepts zur Aktivitätserkennung und -visualisierung im medizinischen Bereich. Recherche zu relevanten Arbeiten im Themenfeld des Einsatzes von KI-/MLVerfahren für das Lernen von Handlungsmuster im medizinischen Verfahren. Erstellung eines Papers, das einen Überblick über das jeweilige Forschungsgebiet gibt, ist Prüfungsleistung.

Drittes Semester: Entwicklung eines ersten Demonstrators basierend auf dem Systemkonzept. Implementierung und Vergleich unterschiedlicher KI-/ML-Ansätze zur Handlungsmustererkennung und/oder Fähigkeitsbewertung. Visualisierung des Bewegungsmusters. Erstellung eines Papers, mit ersten quantitativen Ergebnissen ist Prüfungsleistung.

Viertes Semester: Masterarbeit und Kolloquium. Erweiterung des Systems auf mehrere Funktionalitäten des Systems, mehrere intelligente Sensoren und Fusion der Sensordaten.

 

Eignungskriterien
Zwingend:
  • Programmierkenntnisse
  • Teamfähigkeit und Interesse an wissenschaftlicher Arbeit
  • Eigenständige Arbeitsweise
  • Gute mathematische Kenntnisse
Optional:
  • Erfahrungen im Bereich Augmented Reality
  • Erfahrungen im Bereich des ML


Erwerbbare Kompetenzen
Kompetenzen, die durch das Projekt erworben werden:

  • Aufbau einer übergreifenden Fach- und Methodenkompetenz als Data Scientist und/oder Data Engineer im Kontext von Gesundheitswesen und Industrie 4.0
  • Praktische Anwendung von Methoden des maschinellen Lernens mit realen Daten
  • Sensordatenverarbeitung
  • Präsentation wissenschaftlicher Ergebnisse
  • Verfassen wissenschaftlicher Artikel