Smart Home Human Digital Twin

Ein digitaler Zwilling ist ein in der Industrie bekanntes Konzept, welches eine digitale Repräsentation eines physischen Objekts darstellt. Ein menschlicher digitaler Zwilling ist eine digitale Repräsentation einer realen menschlichen Person (Abbildung 1). Ein digitaler Zwilling beinhaltet Echtzeitdaten oder regelmäßige Synchronisierung von Daten von Wearables, IoT-Sensoren oder Apps, um den digitalen Zwilling eng an das physische Gegenstück anzupassen. Neben einer exakten Abbildung der realen Welt ist ein digitaler Zwilling auch für Simulationen wichtig. Diese Simulationen können verwendet werden, um zu validieren, zu optimieren, zu bewerten, zu diagnostizieren, Vorschläge zu machen, Vorhersagen zu treffen usw. Um all diese verschiedenen Anwendungen des digitalen Zwillings zu erreichen, sind Datenanalysetechniken und künstliche Intelligenz unerlässlich. Ein Feedback-Pfad vom digitalen Zwilling zu den Benutzern kann helfen, Benutzer, wie zum Beispiel medizinisches Personal, zu informieren und die Entscheidungsfindung zu erleichtern. Das gesamte System erfordert eine bidirektionale Kommunikation, von der realen Person zum digitalen Zwilling und zurück. In diesem Projekt wollen wir einen menschlichen digitalen Zwilling für Menschen entwickeln, die in einer Smart- Home-Umgebung leben.

In diesem Forschungsmasterprojekt entwickeln Sie einen Aktivitätsindex für ein Smart Home. Die Daten stammen von mehreren IoT-Sensoren, die in der häuslichen Umgebung integriert sind. Sie ermöglichen die Erkennung von Ereignissen wie dem Wechsel von einem Raum in einen anderen, dem Öffnen und Schließen des Kühlschranks oder der Benutzung einer Kaffeemaschine. Diese Ereignisse ermöglichen es, die täglichen Aktivitäten des Hausbewohners zu verfolgen. Diese Daten könnten verwendet werden, um die täglichen Aktivitäten von zu Hause lebenden älteren Menschen zu überwachen und zu erkennen, wenn alarmierende Ereignisse auftreten oder wenn die tägliche Funktionsfähigkeit abnimmt. In langfristigen Projekten wie diesem könnte man den Grundstein für eine präventive und individualisierte Gesundheitsversorgung legen, indem man Patienten zu Hause betreut oder älteren Menschen ein sicheres und gesundes Leben zu Hause ermöglicht. 

Die an der HSBI entwickelte Software-Plattform SHARLY (Smart-Home Agent, Really!) konzentrierte sich auf die Verfolgung von Ereignissequenzen in der Wohnung und die Erkennung von Anomalien in diesen Ereignissen. Ihre Aufgabe in diesem bestehenden Framework ist es, Aktivitäten zu kategorisieren und eine tägliche Aktivitätsbewertung zu erstellen. Aktivitäten sollen auf unterschiedliche Arten visualisiert und einen Übersichtsbericht für den Bewohner und seine Betreuer erstellt werden. Der Bericht könnte eine Art Dashboard sein, ähnlich den Dashboards, die Smartwatches (z. B. Fitbit) verwenden, um über körperliche Aktivität zu berichten. Hier würde sich die Berichterstattung auf Aktivitäten des täglichen Lebens (z. B. Aufwachen, Frühstücken, Verlassen des Hauses) beziehen, die aus der Analyse von IoT-Sensordaten in der häuslichen Umgebung abgeleitet werden können. Ein weiterer Aspekt in diesem Projekt ist die Installation von IoT-Sensoren und die Erfassung von Sensordaten. Wir beabsichtigen, Sensoren in bis zu 10 Wohnungen älterer Menschen zu installieren und die gesammelten Daten für das Lernen der Aktivitätsbewertung zu nutzen. 

Die Entwicklung des Aktivitätsindex ist ein Schritt zur Entwicklung eines „Smart Home Human Digital Twin“ (Abbildung 1). Der erste Schritt in der Entwicklung des digitalen Zwillings ist die Cleaning und Vorverarbeitung von Rohdaten. Als nächstes können Datenanalyse und maschinelles Lernen auf die Rohdatenbank angewendet werden, in unserem Projekt haben diese Analysen das Ziel, den o.g. Aktivitätsindex zu entwickeln. Die Ergebnisdatenbank mit dem Aktivitätsindex kann dann genutzt werden, um der im Smart Home lebenden Person, medizinischem Fachpersonal oder Angehörigen Feedback zu geben. Es kann auch zum Vergleich mit anderen ähnlichen digitalen Zwillingen verwendet werden. Ein weiterer wichtiger Aspekt eines menschlichen digitalen Zwillings ist die Notwendigkeit guter Sicherheitsmaßnahmen, da er große Mengen sensibler und persönlicher Daten enthalten kann. Schließlich wäre es gut, eine zusätzliche semantische Schicht zu unserem digitalen Zwilling aufzubauen. Dies könnte helfen, die Beziehung zwischen jedem Sensor und jeder Komponente im Haus besser zu verstehen. Eine Möglichkeit ist die Verwendung von Resource Description Frameworks (RDF), ein RDF ist ein gerichteter Graph, der eine Beziehung zwischen einem Subjekt und einem Objekt beschreibt. Zum Beispiel Subjekt: Küche, Prädikat: hat eine, Objekt: Kaffeemaschine (Die Küche hat eine Kaffeemaschine). Mit diesen RDFs können wir das gesamte Smart Home und die Interaktion zwischen dem Smart Home und der darin lebenden Person beschreiben. Die Query Language SPARQL kann zur Abfrage bestimmter Beziehungen verwendet werden und kann helfen, die Datenanalyse des digitalen Zwillings zu erleichtern.

Bezug zum Thema Data Science  
Die Evaluation und Anwendung von KI-/ML-Verfahren zur Zustandsüberwachung und Prädiktion sind ein Kernthema der Data Science und werden beispielsweise in den Modulen „Data Mining & Machine Learning“ sowie „Künstliche Intelligenz“ behandelt. Die Aufnahme hochaufgelöster Messdaten von einer Vielzahl an Sensoren in komplexen Wohnumgebungen stellt hohe Anforderungen an Organisation und Verarbeitung der Daten. Dieses ist Kern des Moduls „Big Data Architekturen“.

Verfügbare Ressourcen

• Hardware für das komplexere Maschine Learning ist über das CfADS sowie dem KIRechencluster yourAI der HSBI verfügbar. Folgende Tools sind über zwei virtuelle Maschinen verfügbar:
  - externe VM: Apache Webserver, Apache ActiveMQ Broker, miniconda, Django/Flask
  - interne VM: Apache ActiveMQ Broker, PostgreSQL Datenbank, Zugang zum GITServer, zentrales Anaconda Platform, Apache Jena (SPARQL)
• die SHARLY-Plattform und umfangreiche Smart Home Datensätze
• Zusätzlich einzubauende Smart Home Sensoren und Raspberry Pi‘s
• Ansprechpartner im TransCareTech und im CfADS stehen während der Projektlaufzeit zur Verfügung

Projektplan
Erstes Semester: Konkretisierung des Forschungsvorhabens. Einarbeitung in die Konzepte und Strukturen (IoT-Software, Smart Home Protokolle, etc. ) der existierenden Smarthome-Frameworks sowie die Durchführung einer Literaturrecherche. Erstellung eines Forschungsexposés ist Prüfungsleistung.

Zweites Semester: Erstellung des Systemkonzepts zur Aktivitätserkennung und -visualisierung im Activity Dashboards. Recherche zu relevanten Arbeiten im Themenfeld des Einsatzes von KI-/MLVerfahren für das Lernen von Aktivitätsmuster und für die Anomalieerkennung im Smart Home Umgebungen. Erstellung eines Papers, das einen Überblick über das jeweilige Forschungsgebiet gibt, ist Prüfungsleistung.

Drittes Semester: Entwicklung eines ersten Demonstrators basierend auf dem Systemkonzept und Einbau von mehrere intelligenten Sensoren in verschiedene Wohnungen. Implementierung und Vergleich unterschiedlicher KI-/ML-Ansätze zur Aktivitätsmustererkennung, -vorhersage und/oder - Anomalieerkennung. Visualisierung des täglichen/wöchentlichen Aktivitätszustandes. Erstellung eines Papers, mit ersten quantitativen Ergebnissen ist Prüfungsleistung.

Viertes Semester: Masterarbeit und Kolloquium. Erweiterung des Systems auf mehrere Funktionalitäten des Systems, mehrere Wohnungen, mehrere intelligente Sensoren und Fusion der Sensordaten.

• Programmierkenntnisse
• Teamfähigkeit und Interesse an wissenschaftlicher Arbeit
• Eigenständige Arbeitsweise
• Gute mathematische Kenntnisse

• Erfahrung im Bereich Smart Home Technologien/IoT-Geräten
• Erfahrungen in Bereichen des ML
• Grundkenntnisse bzgl. Datenbanken

Erwerbbare Kompetenzen
Kompetenzen, die durch das Projekt erworben werden:

• Aufbau einer übergreifenden Fach- und Methodenkompetenz als Data Scientist und/oder Data Engineer im Kontext von Gesundheitswesen und Industrie 4.0
• Praktische Anwendung von Methoden des maschinellen Lernens mit realen Daten
• Sensordatenverarbeitung
• Präsentation wissenschaftlicher Ergebnisse
• Verfassen wissenschaftlicher Artikel