Das vorgestellte Projekt verfolgt das Ziel, die onkochirurgische Versorgung von Patienten mit Plattenepithelkarzinomen der Mundhöhle durch den innovativen kombinierten Einsatz von KI-prozessierter endoskopischer Hyperspektralbildgebung (eHSI), sondengestützter konfokaler Laserendomikroskopie (pCLE), 3D-Intraoralscans (IOS), intraoralem Ultraschall (IUS) und Extended Reality (ER) patientenorientiert zu individualisieren und damit zu verbessern. Durch die Prozessierung der genannten Bildgebungsmodalitäten mittels fortschrittlicher Deep-Learning-Algorithmen soll tumorös verändertes Gewebe zuverlässig detektiert und segmentiert werden. Die gewonnenen Hyperspektralinformationen (eHSI) werden bildhaft unter Verwendung photogrammetrischer Verfahren zur Texturierung intraoraler Primärtumor-Oberflächenscans (IOS) genutzt. Diese werden in einer Extended-Reality-Umgebung (ER) integriert, um (a)-präoperativ die räumliche Ausdehnung der Tumormasse, das Operationsausmaß im Sinne einer optimierten Therapieplanung und modernen Ausbildung angehender Chirurgen zu visualisieren, (b)-intraoperativ dem Operateur die Festlegung angepasster und somit individualisierter Resektionsgrenzen mit höherer Präzision und Vorhersagbarkeit zu ermöglichen, sowie (c)-postoperativ (Ausblick) die Früherkennung von Lokalrezidiven und Zweitmalignomen im Rahmen der Tumornachsorge zu verbessern. 

Präoperativ soll durch eine multimodale Bildgebungsstrategie die Visualisierung der Tumorausdehnung erzeugt werden. Dabei sollen Datensätze aus eHSI, IOS, sowie IUS und CT/MRT fusioniert werden um eine hochauflösende Analyse sowohl der Oberflächengrenzen (eHSI + IOS), sowie der tiefenbezogenen Ausdehnung (IUS + CT/MRT) des Tumors zu erzeugen. Die Integration von 3D-Modellen, welche auf Basis von IOS und HSI erstellt werden, ermöglichen die präzise Nachbildung von Tumoren und umliegenden Gewebestrukturen. Dabei wäre es möglich, Tumorgrenzen in Echtzeit zu betrachten und eine optimale Resektionsstrategie zu etablieren. Neben der verbesserten Planbarkeit des Eingriffs und der effizienten Nutzung der ohnehin begrenzten Krankenhausressourcen bietet dieser Ansatz zudem eine wertvolle Gelegenheit, die oft strukturbedingt qualitativ defizitäre Ausbildung, insbesondere für junge Chirurgen, durch den Einsatz moderner Technologien zu fördern und praxisnah zu gestalten. Erweiternd könnten Augmented-Reality-Anwendungen (AR) interaktiven Unterricht anhand realer Tumormodelle unterstützen. AR-Brillen könnten physischen Modellen digitale Informationen über Tumorgrenzen, Gewebearten und Operationszugänge überlagern, was eine präzisere Visualisierung komplexer anatomischer Strukturen und ein tieferes Verständnis chirurgischer Herausforderungen fördern würde. 

Adressierte Forschungsfragen: Ist eine Differenzierung von gesundem und tumorösem Gewebe mittels KI-Algorithmus möglich? 

Können 2D-eHSI-Bilddaten mit .-stl 3D-Oberflächenscans sinnvoll kombiniert werden, um eine exakte Abgrenzung tumorinfiltrierter Resektionsränder von physiologischem Gewebe zu gewährleisten? 

Zu den spezifischen Zielen des Projekts zählt die Entwicklung und Validierung eines Workflows aus eHSI, KI-Prozessierung, Pointcloud-Texturierung und AR-Integration, der eine automatisierte Echtzeit-Diagnose von Tumorrändern anhand KI-Algorithmen zur präoperativen Visualisierung und Prädiktion des Operationsausmaßes (OP-Planung, Auswahl Gewebetransplantat) ermöglicht. Die wichtigsten Kennzahlen umfassen eine Sensitivität in der Tumorerkennung von > 90% und einen F1-Score des Klassifikationsmodells von > 0.9. Diese Kennzahlen werden anhand Korrelation histologischer Schnitte im Rahmen der pathohistologischen Resektataufbereitung validiert. 

Intraoperativ sollen die autosegmentierten Bildinformationen betroffener Gewebeareale via Extended Reality mit Live-Feedback über die Wahrscheinlich von vorhandenem Tumorgewebe informieren. Anhand der hyperspektralen (eHSI) Makro-Gewebeinformationen soll nun die gezielte Integration der konfokalen Laserendomikroskopie (pCLE) präzise live-Informationen über die Resektionsgrenzen auf zellulärer Ebene liefern und somit eine zielgerichtete patientenindividuelle chirurgische Therapie ermöglichen. Ein solcher personalisierter Therapieansatz mit objektiver Festlegung individueller Resektionsgrenzen könnte durch eine präzisere Beurteilung die übermäßige Ablation funktionell wichtiger, anatomischer Strukturen vermeiden, was die postoperative Lebensqualität der Patienten verbessern würde. Gleichzeitig könnte das Risiko von Lokalrezidiven durch die Vermeidung unzureichender Resektionsabstände gesenkt werden. 

Adressierte Forschungsfragen: Wie kann eHSI, IOS und CLE in eine intuitive AR-Benutzeroberfläche integriert werden, um eine intraoperative Echtzeit-Informationsverarbeitung durch den Operateur zu ermöglichen?

Förderung: 150.000 Euro