Automatisierte Workflowanalyse im OP für die chirurgische Logistik

Zur Optimierung der Logistik rund um den Operationsbereich in Krankenhäusern wird in dieser Dissertation untersucht, wie eine automatisierte Workflowanalyse von Operationen innerhalb eines intelligenten Operationssaals umgesetzt werden kann. Die Argumentation erfolgt dabei anhand der laparoskopischen Cholezystektomie als exemplarischer OP-Typ. Als Grundlage des entwickelten Konzepts dient eine detaillierte Analyse wiederkehrender Abläufe im OP-Umfeld im Allgemeinen sowie dem Verlauf und der eingesetzten Ressourcen bei der Cholezystektomie im Speziellen. Das erarbeitete Gesamtkonzept dieser Arbeit sieht ein modulares, multimodales Multitask-Netzwerk bestehend aus zunächst drei Teilsystemen für unterschiedliche Aspekte der Workflowanalyse vor. ... mehrDie Teilsysteme analysieren dabei folgende Aspekte: die Aktivität im Operationssaal, die Nutzung der Materialien am Instrumententisch sowie die Erkennung einzelner OP-Phasen anhand des endoskopischen Kamerabildes. Die Umsetzung dieser Komponenten erfolgt aufgrund mangelnder zusammenhängender Trainingsdaten dabei zunächst unabhängig voneinander als eigenständige Einheiten.

Die Aktivitätsanalyse basiert auf der Auswertung von Gelenkpunkten, welche mittels Methoden des Posentrackings extrahiert werden. Durch Aggregation von Bewegungsvektoren zwischen einzelnen Gelenkpunkten über die Zeit können Aussagen über das Aktivitätslevel getroffen werden. Dabei ermöglichen unterschiedliche Filtermethoden große und kleine Bewegungen zu differenzieren und somit verschiedene Arten der Analyse%, bspw. bzgl. der Gesamtaktivität im Raum oder bzgl. einzelner Körperteile einer Person. Im Rahmen dieses Experiments wird zusätzlich anhand eigens aufgezeichneter Videodaten die Re-Identifizierbarkeit von Personen in medizinischer Kleidung untersucht und Mitigationsstrategien zum Umgang mit der Verdeckung von diskriminierenden Merkmalen aufgezeigt.

Für die Detektion der zeitlichen Abfolge der genutzten OP-Instrumente werden insgesamt 26 verschiedene Modelle aus dem Stand der Technik mit eigenen Daten von realen Instrumenten mittels Transfer-Learning neu trainiert und bzgl. Nutzbarkeit im vorliegenden Kontext verglichen. Dabei wird deutlich, dass nur kleine Unterschiede in der Erkennungsqualität vorherrschen. Allerdings sind in Bezug auf den Ressourcenbedarf sowohl an die Hardware als auch an die Datenquantität signifikantere Unterschiede erkennbar. Letztendlich zeigen insbesondere verschiedene Varianten der YOLO-Familie, allen voran YOLOv5 und YOLOv8, Ergebnisse, die einen Einsatz im realen Umfeld ermöglichen. YOLOv8 in der m-Variante stellt dabei mit einer mAP und einem F1-Score von jeweils 99,5% sowie einer Inferenzzeit von durchschnittlich weniger als 1,8ms den besten Kompromiss zwischen Erkennungsqualität und Ressourcenbedarf dar.

Das Teilsystem zur OP-Phasenerkennung in Endoskopvideos nutzt ein Transformer-Modell, welches den zeitlichen Verlauf der Instrumentennutzung sowie ein Histogramm aller zuvor erkannten Phasen der laufenden Operation als Eingabedaten verarbeitet. Zur Umsetzung dieses Konzepts werden die öffentlichen Datensets Cholec80 und HeiChole genutzt. Auf den Cholec80-Daten kann eine Genauigkeit von 90% und ein F1-Score von 75% erreicht werden. Auf den komplexeren HeiChole-Daten ergibt sich ein durchschnittlicher F1-Score von ca. 53%. Beides ist vergleichbar mit dem Stand der Technik, wobei die Modellkomplexität in der vorliegenden Arbeit geringer ist als bei den betrachteten Arbeiten anderer Forschungsgruppen. Im weiteren Verlauf kann das Modell bzgl. der HeiChole-Daten durch Kombination der beiden Datensets noch verbessert werden. Die Datenqualität und -quantität der verfügbaren Datensets ist für ein solches Deep-Learning-Modell allerdings nicht zufriedenstellend, so dass hier durch Optimierung der Trainingsdaten generell bessere Ergebnisse erwartet werden.

Die vorliegende Arbeit liefert somit einen Beitrag zu verschiedenen Aspekten der Workflowanalyse im OP-Umfeld und bildet die Grundlage für weitere Anwendungsmöglichkeiten von KI-Methoden im chirurgischen Kontext.

In order to optimise the logistics around the operating theatre in hospitals, this dissertation examines how an automated workflow analysis of operations can be implemented within an intelligent operating room. The argumentation is based on laparoscopic cholecystectomy as an exemplary type of operation. The developed concept is based on a detailed analysis of recurring processes in the operating theatre environment in general and the course and resources used in cholecystectomy in particular. The overall developed concept for this work provides for a modular, multimodal multitask network consisting initially of three subsystems for different aspects of the workflow analysis. ... mehrThe subsystems analyse the following aspects: the activity inside the operating room, the use of materials on the instrument table and the recognition of individual surgical phases based on the endoscopic camera image. Due to a lack of coherent training data, these components are initially implemented independently of each other as separate units.

The activity analysis is based on the evaluation of keypoints representing joints, which are extracted using pose tracking methods. By aggregating movement vectors between individual keypoints over time, statements can be made about the activity level. Different filtering methods make it possible to differentiate between large and small movements and thus different types of analysis. As part of this experiment, the re-identifiability of persons in medical clothing is also investigated using specially recorded video data and mitigation strategies for dealing with the masking of discriminatory features are demonstrated.

For the detection of the temporal sequence of the surgical instruments used, a total of 26 different models from the state of the art are retrained with own data from real instruments using transfer learning and compared with regard to usability in the present context. It becomes clear that there are only minor differences in the quality of recognition. However, more significant differences are recognisable in terms of the resources required for both the hardware and the quantity of data. Ultimately, different variants of the YOLO family in particular, especially YOLOv5 and YOLOv8, show results that allow them to be used in a real environment. With a mAP of 99.5 percent, a F1 score of 99.5 percent and an inference time of less than 1.8ms on average, YOLOv8 in the m variant represents the best compromise between recognition quality and resource requirements.

The subsystem for OR phase recognition in endoscopic videos uses a transformer model that processes the temporal progression of instrument use and a histogram of all previously recognised phases of the current operation as input data. The public data sets Cholec80 and HeiChole are used to implement this concept. An accuracy of 90 percent and an F1 score of 75 percent can be achieved on the Cholec80 data. On the more complex HeiChole data, an average F1 score of approx. 53 percent is achieved. Both are comparable to the state of the art, although the model complexity in the present work is lower than in the considered work of other research groups. The model can be further improved with regard to the HeiChole data by combining the two data sets. However, the data quality and quantity of the available data sets is not satisfactory for such a deep learning model, so that better results are generally expected by optimising the training data.

This, this work makes a contribution to various aspects of workflow analysis in the operating theatre environment and forms the basis for further possible applications of AI methods in the surgical context.