Learnings aus Silent Live Testing im Spitalumfeld
Wissensdatenbank Technologie Datenmanagement & Digitalisierung Mensch C.2: Reduktion der Leerlaufzeiten von MRI-Systemen in Radiologieabteilungen durch den Einsatz von KI-basierter Terminplanungssoftware - MRIdleBevor prädiktive Modelle in einem Spital eingesetzt werden, ist es entscheidend zu verstehen, wie sie in der Praxis funktionieren könnten. Dafür führten wir ein Silent Live Test (SLT) durch, der es uns erlaubte, die tägliche Erstellung von Vorhersagen zu simulieren, ohne die Spitalprozesse oder das Verhalten von Patient:innen zu beeinflussen. Dieser Test validierte in erster Linie die Genauigkeit der Modellvorhersagen, diente aber auch dazu, die technische Einsatzfähigkeit der gesamten Pipeline zu prüfen – von der Datenextraktion über die Generierung bis hin zur Weitergabe der Vorhersagen an das Pflegepersonal.
Problembeschreibung, Forschungsfrage und Relevanz
Eine Validierung von Modellen ausschliesslich anhand retrospektiver Daten stellt nicht sicher, dass ein prädiktives Modell im realen Umfeld zuverlässig funktioniert. Viele Modelle entfalten keine Wirkung, weil Probleme jenseits der Modellgenauigkeit auftreten: Ausfälle in der Datenpipeline, operationelle Einschränkungen oder Kommunikationsprobleme. Das Fehlen einer realitätsnahen Erprobung führt häufig dazu, dass Forschende sich dieser Risiken erst bei der Implementierung bewusst werden.
Methoden und Vorgehen im Projekt
In diesem Projekt implementierten wir ein SLT zur Simulation des Echtzeiteinsatzes eines Modells zur Vorhersage von No-Show-Risiken bei MRI-Terminen. Tägliche Vorhersagen wurden auf Basis der anstehenden Terminpläne generiert, aber nicht an das Personal weitergegeben. Diese Vorhersagen wurden protokolliert und nachträglich mit der tatsächlichen Teilnahme verglichen, ohne die Patientenversorgung zu beeinflussen. Dies ermöglichte uns eine zusätzliche Validierung des Modells sowie die Erprobung der gesamten Pipeline, die in künftigen Interventionsstudien eingesetzt werden soll.
Ergebnisse und Erkenntnisse
Das SLT brachte entscheidende technische und operationelle Erkenntnisse zutage:
- Datenverschiebung (Data Drift): Einige Variablen veränderten ihre Verteilung im Zeitverlauf, was die Modellgenauigkeit beeinträchtigte.
- Systemprobleme: Zu Beginn fielen einige tägliche Prozesse aus unterschiedlichen Gründen aus; alle Probleme konnten jedoch in dieser Testumgebung gelöst werden, was unser Vertrauen in die Pipeline für die Intervention stärkte.
Empfehlungen für die Praxis
- Ein SLT oder jede Form prospektiver Validierung bietet eine unverzichtbare zusätzliche Stufe der Modellvalidierung und ist entscheidend, um die Genauigkeit in der Praxis sicherzustellen.
- Es ermöglicht die frühzeitige Erkennung von Datenverschiebungen, sodass ein Retraining oder eine Neukalibrierung des Modells erfolgen kann, bevor die Leistung abnimmt.
- Systemanfälligkeiten – insbesondere im Bereich Automatisierung und Zeitplanung – können bereits in dieser Testphase adressiert werden.
Ein SLT fungiert damit als wichtige Brücke zwischen Modellentwicklung und realer Integration – ohne ein Risiko für die Patient:innensicherheit oder die Stabilität der Spitalprozesse.
Literatur und andere Quellen
Zitierung des Beitrags
Ein Beitrag zum Thema Silent Live Testing im Spitalumfeld