Virtual Reality und Conversational AI zur Ergänzung der Patientenedukation im chronischen Krankheitsmanagement

Im Zentrum des Projekts stand der Anwendungsfall der Aufklärung von CKD-Patient*innen über eine neue Medikamentengruppe, die sogenannten Sodium-Glucose Co-Transporter 2 (SGLT-2)-Inhibitoren.

Das methodische Vorgehen umfasste:

1. Analyse von Beratungsgesprächen mit Nephrolog*innen, um typische Gesprächsverläufe zu verstehen.
2. Iterative Entwicklung und Testung des VR-Systems und des Chatbots in enger Zusammenarbeit mit medizinischen Expert*innen.
3. User Experience Studie: Durchführung von drei VR-Beratungssitzungen mit insgesamt 15 CKD-Patient*innen in einer kontrollierten, ambulanten Krankenhausumgebung über einen Zeitraum von sieben Monaten.

Technisch wurde ein multilineares Storyboard für die Konsultationen in Twine entwickelt und in die VR-Entwicklungsumgebung Unity importiert.Ein dynamisches Dialogsystem basierend auf einer Finite-State-Machine steuert Gespräche mit dem beratenden Avatar, dessen Äusserungen mithilfe von GPT (via Microsoft Azure OpenAI) in Echtzeit generiert und von Text in Sprache umgewandelt werden. Non-verbale Kommunikation wird durch Salsa und Unity Animator realisiert. Nutzerfeedback und Sitzungsdaten werden in einer Back-End-Datenbank systematisch erfasst.

• Durch die Kombination von GPT und dem Langchain-Framework können die Stärken großer Sprachmodelle effektiv genutzt werden, ohne die Kontrolle über sensible medizinische Inhalte zu verlieren.
• Erfolgreiches "Prompt Engineering" erfordert ein tiefes Verständnis der Gesprächsziele und -phasen, um Patient*innen gezielt und engagiert in Dialoge einzubinden.

• Integration von VR und Conversational AI: Immersive VR-Umgebungen kombiniert mit intelligenten Sprachmodellen bieten großes Potenzial für die Patientenedukation und sollten in zukünftige Schulungsprogramme integriert werden.
• Sorgfältige Gestaltung von Dialogen: Zielgerichtetes Prompt Engineering und eine strukturierte Gesprächsführung sind entscheidend, um Patient*innen erfolgreich einzubinden und Vertrauen in virtuelle Berater zu schaffen.
• Interdisziplinäre Entwicklungsteams: Eine enge Zusammenarbeit zwischen Technolog*innen und medizinischen Fachkräften ist essenziell, um valide und praxisnahe Lösungen für den Gesundheitsbereich zu entwickeln.