Supporting Healthcare Applications with Affective Computing and Applied Gaming

Anwendungen im Gesundheitswesen nutzen digitale Tools, um Diagnose, Behandlung und Ausbildung zu verbessern. Anwendungen für die Fernversorgung können die Notwendigkeit für Patienten verringern, zur Rehabilitation oder zu Konsultationen in Krankenhäuser zu fahren. Anstatt lange Anfahrtswege für Routineuntersuchungen oder Behandlungstermine in Kauf zu nehmen, können Patienten Telekonsultationsplattformen nutzen, um bequem von zu Hause aus mit Ärzten und Therapeuten zu kommunizieren. Darüber hinaus stehen die Ausbildung im Gesundheitswesen und die physische Rehabilitation vor Herausforderungen wie geringer Beteiligung, begrenzten praktischen Übungsmöglichkeiten, hohen Kosten und emotionalem Stress. Die Überwachung des emotionalen Zustands eines Patienten während einer Fernkonsultation oder Rehabilitation oder die Verfolgung des psychischen Zustands eines Auszubildenden während der gesamten Ausbildung bleibt trotz der Verfügbarkeit von tragbaren und kontaktlosen Sensoren eine große Herausforderung. Das Hauptproblem besteht darin, emotionale Signale genau zu verstehen, was fortschrittliche Algorithmen erfordert, die Mimik, Sprache, Stimme und physiologische Signale untersuchen. Die Integration dieser Technologien in Gesundheitssysteme unter Wahrung des Datenschutzes und der Datensicherheit ist eine große Herausforderung. Um diesen Herausforderungen zu begegnen, wurden verschiedene Ansätze eingeführt, darunter Affective Computing (AC), Applied Gaming und eine Kombination aus beidem. CNN-Modelle in Verbindung mit Kamerasensoren werden häufig für die Analyse von Gesichtsausdrücken und Herzschlag bei der Emotionsüberwachung eingesetzt, während webbasierte immersive Spiele das Engagement im Applied Gaming verbessern. Diese Ansätze bieten wertvolle Vorteile und haben sich in Anwendungen im Gesundheitswesen als wirksam erwiesen. Eine verbleibende Herausforderung besteht jedoch darin, diese Modelle so anzupassen, dass sie für Menschen mittleren Alters und ältere Menschen effektiver sind. Diese Dissertation wendet die Nunamaker-Methode an, die einen strukturierten Ansatz umfasst, bestehend aus der Beobachtungsphase, der Theoriebildungsphase, der Systementwicklungsphase und der Experimentier- und Evaluierungsphase. Im Rahmen der Beobachtungsphase wurde eine Literaturrecherche zu den Themen emotionssensitiver Informatik, Gaming, Training für psychische Gesundheit, physische Rehabilitation und Telerehabilitation durchgeführt. Dieser Prozess trug dazu bei, 16 zentrale Herausforderungen zu identifizieren. In Ein Ansatz des benutzerorientierten Systementwurfs Ansatz zur Entwicklung eines konzeptionellen Systemmodells verwendet, wodurch 75 konzeptionelle Modelle für das CareSync-System und seine Komponenten entstanden, die in drei wichtige Anwendungskontexte unterteilt wurden. Im ersten Kontext, der Emotionserkennung, wurde TheraSense als Telekonsultationssystem für psychische Gesundheit mit Emotionserkennung vorgestellt. Der zweite Kontext, Angewandtes Gaming, konzentrierte sich auf PsychMed, ein System, das angewandte Spiele integriert, um Medizinstudenten im Bereich der psychischen Gesundheit auszubilden. Der dritte Kontext, „Angewandtes Gaming mit Emotionserkennung“, umfasste drei zusätzliche Systeme: T-Rehab für die physische Telerehabilitation, RehabPlus für die physische Rehabilitation im Krankenhaus und DisasterPlay für Katastrophenschutzübungen unter Verwendung von angewandten Spielen und AC. In der Systementwicklungsphase wurden fünf Prototypen entwickelt, um verschiedene Anwendungen im Gesundheitswesen zu unterstützen, darunter Telekonsultationen im Bereich der psychischen Gesundheit, physische Rehabilitation und kognitive Rehabilitation. Der CareSync-Prototyp diente als Hauptplattform, die alle Komponenten integrierte. Die entwickelten Prototypen umfassen mehrere Komponenten: CareSync-AC nutzt AC in Anwendungen im Gesundheitswesen, während TheraSense für die Telekonsultation im Bereich der psychischen Gesundheit konzipiert ist. CareSync-AG integriert angewandte Spiele für das Training im Gesundheitswesen. Ein kombinierter Prototyp, CareSync-AG&AC, nutzt sowohl angewandte Spiele als auch AC für verbesserte Erfahrungen im Gesundheitswesen, während T-Rehab sich auf Anwendungsfälle der physischen Telerehabilitation konzentriert. Schließlich wurden in der Experimentier- und Evaluierungsphase sieben Experimente durchgeführt, die sowohl quantitative als auch qualitative Bewertungen umfassten. Zu den quantitativen Bewertungen gehörten die Prüfung der Leistung des AC-Systems in CareSync-AC unter Verwendung der videobasierten Emotionserkennung und die Bewertung der Leistung des T-Rehab-Prototyps in den Bereichen Gaming, Middleware und Überwachung von Gesichtsemotionen. Die qualitativen Bewertungen umfassten eine Umfrageanalyse und eine heuristische Bewertung für TheraSense sowie eine Umfrageanalyse für T-Rehab. Darüber hinaus wurden Usability-Tests durch kognitive Walkthroughs mit T-Rehab durchgeführt. Zusätzlich wurde eine gemischte Methode zur Bewertung durchgeführt, die qualitative und quantitative Ansätze kombinierte, um das gesamte CareSync-System umfassend zu bewerten. Die Experimente kamen zu dem Schluss, dass CareSync-AC die Emotionserkennung und Herzfrequenzüberwachung effektiv integriert. Gleichzeitig verbessern TheraSense und T-Rehab die Echtzeit Emotionsverfolgung und unterstützen die psychische Gesundheitsversorgung und Rehabilitation mit zu erwartenden zukünftigen Verbesserungen. Dadurch verbessert die Integration von CareSync in SenseCare KM-EP die Benutzerfreundlichkeit, ermöglicht Interaktionen in Echtzeit und gewährleistet eine sichere Datenverwaltung. Darüber hinaus revolutioniert die Integration von emotionssensitiver Informatik in angewendete Spiele im Gesundheitswesen sowohl die psychische als auch die physische Gesundheitsversorgung. Emotionssensitive Informatik ermöglicht es Systemen, sich an den emotionalen Zustand ihrer Benutzer anzupassen, was zu personalisierteren und reaktionsschnelleren Erfahrungen führt. Gleichzeitig fügt Gaming interaktive und ansprechende Elemente hinzu, die eine aktive Beteiligung an Rehabilitation und Training fördern. Zusammen verbessern diese Innovationen die Benutzererfahrung, die Motivation und die umfassenden Ergebnisse im Gesundheitswesen.