Augmented Reality-based Assistance and Automated Planning for Neurosurgical Interventions

Neurochirurgische Eingriffe sind aufgrund der empfindlichen Strukturen des menschlichen Gehirns eine große Herausforderung. Das gesamte Gehirn besteht aus sensiblem Gewebe, das so wenig wie möglich beeinträchtigt werden sollte. Dennoch ist dies nicht immer möglich, da es bei vielen Operation nötig ist, durch Gewebe hindurch zum Zielgebiet zu gelangen. Beispiele sind Biopsien, die Ventrikelpunktion, tiefe Hirnstimulation und Tumorentfernungen. Dabei muss speziell verhindert werden, dass Hochrisikobereiche verletzt werden, da dies zu erheblichen neurologischen Beeinträchtigungen führen kann, z.B. ... mehrdem Verlust der Sprachfähigkeit. Eine optimierte Planung der Operation kann hierbei verhindern, dass Hochrisikobereiche verletzt werden, um so neurologische Schäden zu verhindern.

In dieser Arbeit wird ein neuartiges System vorgestellt, das den kompletten chirurgischen Arbeitsablauf abdeckt, indem eine vollautomatische Operationsplanung und anschließende Szenenregistrierung ausgeführt wird, um dem Chirurgen eine intraoperative Assistenz auf Basis von Augmented Reality (AR) zu ermöglichen.

In einem ersten Schritt werden die Bilddaten des Patienten segmentiert, um Patientenmodelle zu erstellen, die die Anatomie des zu Operierenden möglichst exakt darstellen. Die vorgestellten Methoden erreichen eine Segmentierungsgenauigkeit von 98% (F1-Score). In einem weiteren Schritt verwendet das System Statistical Shape Models, um die Punktionstrajektorie für den linken und rechten Ventrikel automatisiert zu bestimmen. Der Kocher Punkt wird in 98,4% der Fälle gefunden. Der korrekte Zielpunkt innerhalb des Ventrikelsystems wird in 95,4% bestimmt. Dies führt insgesamt zu 93,9% korrekt geplanten Trajektorien. Diese Planung wird durch eine patientenspezifische, Risikokarten-basierte Eintrittspunktbestimmung erweitert, um den optimalen risikoreduzierten Pfad für einen Patienten zu finden.

In dieser Arbeit werden Methoden vorgestellt, die ein robustes und akkurates Tracking des Patienten während eines chirurgischen Eingriffs ermöglichen. Verschiedene Marker für eine robuste Patientenverfolgung wurden untersucht. Als Ergebnis sind Vuforia Marker ausgewählt worden, da diese die Anforderungen am besten abdecken.

Zusätzlich wurde ein Infrarot-Marker Tracking auf der zur Unterstützung verwendeten AR-Brille (HoloLens) implementiert, um die Unzulänglichkeiten der relativ großen und nicht frei nutzbaren zwei-dimensionalen Vuforia Marker zu adressieren. Die chirurgischen Anforderungen an Sterilisierbarkeit und eine hohe Trackinggenauigkeit werden durch die Infrarot Marker erfüllt. Es wird ein Markersystem vorgestellt, das den Prozesswechsel von der unsterilen zur sterilen Operationsphase unterstützt. Die Wiederholgenauigkeit bei erneuter Montage beträgt 0,18 $\pm$ 0,06 mm. Das Markersystem kann Vuforia- und Infrarotmarker aufnehmen.

Es werden vier Registrierungsmethoden vorgestellt, um das Markersystem auf den Patienten zu registrieren. Drei der Verfahren unterstützen einen Benutzer bei der manuellen Registrierung, um die Patientenmodelle möglichst exakt mit dem realen Patienten in Einklang zu bringen. Verwendet werden kann ein Spielecontroller, ein Pointer oder Gesten. Das letzte Verfahren verwendet einen mehrstufigen surface matching Ansatz, um die Registrierung automatisiert auszuführen. Die Registrierungsmethode mithilfe des Spielecontrollers erreicht die höchste Genauigkeit mit einem Wert von 2,71 $\pm$ 1,18 mm.

Die erstellten Patientenmodelle und die ermittelten Punktionstrajektorien werden verwendet, um den Chirurgen intraoperativ durch Visualisierung dieser verborgenen Strukturen zu unterstützen. Die vorgestellten Methoden erhöhen die Punktionsgenauigkeit von linearen Trajektorien in Bezug auf die optimalen Eintritts- und Zielpunkte. Dies kann zu einer geringeren Penetrationsrate von Hochrisikobereichen im Gehirn und zu einem besseren Ergebnis für den Patienten führen.

Zunächst wurden Experimente nach dem Behandlungsstandard durchgeführt. Dabei wurde ein mittlerer Fehler von 6,6 $\pm$ 3,1 mm und eine Erfolgsrate von 72,7% festgestellt. Diese Werte liegen im Bereich, der im Stand der Forschung kommuniziert wird. In der ersten Stufe wird dem Anwender eine virtuelle Führung zur Unterstützung bei neurochirurgischen Eingriffen zur Verfügung gestellt. Dabei wurde ein mittlerer Fehler von 4,8 $\pm$ 2,5 mm und eine um neun Prozent bessere Erfolgsrate von 81,7% ermittelt. In einer aufbauenden Stufe wurde die Herausforderung eines gut gewählten initialen Punktionswinkels durch die Einführung einer Katheternavigationshilfe in Kombination mit dem AR-System adressiert. Der mittlere Fehler konnte auf 3,1 $\pm$ 1,8 mm gesenkt werden und eine Erfolgsrate von 98% wurde erreicht. Dennoch blieb die Herausforderung einer manuellen Manipulation bestehen. Um eine stabilere Manipulation im Raum zu ermöglichen, wurde die Navigationshilfe an einen Roboter montiert, der mit einem Spielecontroller telemanipuliert werden kann. Der Controller wurde verwendet, um den korrekten Winkel einzustellen. Es wurde ein mittlerer Fehler von 1,9 $\pm$ 1,2 mm erreicht. Alle Katheter konnten korrekt platziert werden. In den darauffolgenden Schritten wurde jeweils eine höhere Genauigkeit und Präzision erreicht.

Neurosurgical interventions are very challenging due to the delicate structures of the human brain. The complete brain is composed of tissue which must be damaged as little as possible. Unfortunately, this is not always possible, as many surgeries require penetration of tissue to reach a target area. Examples include biopsies, the ventricular puncture, deep brain stimulation and tumour ablation. It is especially important to prevent high-risk areas from being injured, as this can lead directly to major neurological impairments, e.g. loss of speech. Optimized surgical planning can prevent high-risk areas from being injured in order to prevent neurological damage.
... mehr

In this work, novel methods are presented that support the complete surgical workflow by performing fully automated surgical planning and subsequent scene registration to provide intraoperative assistance to the surgeon based on augmented reality (AR).

In a first step, the patient’s image data is segmented to create patient models that accurately represent the anatomy. A segmentation accuracy of 98% (F1-score) is reached. The system uses statistical shape models in a consecutive stage to determine the catheter placement trajectories for the left and right ventricles completely autonomously. The Kocher's point is found in 98.4% of cases. The correct target point inside the ventricular system is obtained in 95.4%. This leads to an overall rate of correctly planned trajectories of 93.9%. This planning is enhanced by a patient specific risk map-based entry point adjustment to find the optimal risk-reduced path to a target.

Furthermore, methods are presented that enable robust and accurate tracking of the patient during a surgical procedure. Possible markers for robust patient tracking were investigated. As a result, Vuforia markers have been selected as they best meet the requirements. In addition, infrared marker tracking was implemented on the AR-glasses (HoloLens) to address the shortcomings of the relatively large and not freely usable two-dimensional Vuforia markers. The surgical requirements for sterilisability and high tracking accuracy are met by the infrared markers.

A marker system is presented that supports the transition from the non-sterile to the sterile surgical phase. The remounting accuracy is 0.18 $\pm$ 0.06 mm. Vuforia and infrared markers were attached to the marker system. Four registration methods are presented to register the marker system to the patient. Three of the methods support a user in manual registration to match the patient models as closely as possible to the real patient. A game controller, a pointer or gestures can be used to do so. The last method uses a multi-level surface matching approach to perform the registration automatically. The registration method using the game controller achieves the highest accuracy with a value of 2.71 $\pm$ 1.18 mm.

The generated patient models and the determined puncture trajectories are used to assist the surgeon intraoperatively by visualizing these hidden structures. The proposed methods increase the puncture accuracy of linear trajectories in relation to the optimal entry and target points. This can lead to a lower penetration rate of high-risk areas inside the brain and to a better outcome for the patient.

First, experiments after the standard of care were conducted. A mean error of 6.6 $\pm$ 3.1 mm and a success rate of 72.7% was achieved. This corresponds to the values communicated in the state of the art. In the first stage an AR guidance is provided to the user to assist during neurosurgical interventions. The mean error was determined to be 4.8 $\pm$ 2.5 mm and a 9 percent better success rate of 81.7% could be achieved. In a follow-up stage, the challenge of a well-chosen initial puncture angle was addressed by introducing a catheter navigation aid in combination with the AR system. The mean error was improved to 3.1 $\pm$ 1.8 mm and a success rate of 98% was reached. Still the challenge of a manual manipulation remained. To provide a more stable manipulation in space, the navigation aid was mounted on a robot that was telemanipulated with a game controller. The controller was used to set the correct angle. A mean error of 1.9 $\pm$ 1.2 mm was reached. All catheters could be placed correctly. In the successive stages, a higher accuracy and precision were achieved in each case.