Werkzeuge für KI-Kollaborationen

Wir beschleunigen multizentrische Forschungsvorhaben mit unserem integrierten Werkzeugkasten für Datenkuration, Verteiltes Lernen, Validierung und Anwendung von KI-Modellen.

Eine Plattform, viele Werkzeuge

Klinische und technische Forscher und Entwickler arbeiten mit verschiedenen Werkzeugen eng zusammen, um aus medizinischen Rohdaten robuste KI-Modelle abzuleiten.
© Fraunhofer MEVIS
Fraunhofer MEVIS bietet integrierte Werkzeuge für die verteilte, kollaborative Entwicklung von KI-Lösungen.

Eine KI zu programmieren, ist ein aufwändiger Prozess: Unmengen von Daten müssen gesammelt, gesichtet und bewertet werden. Unsere Forschungsgruppe „Collaborative AI in Healthcare“ entwickelt eine Plattform, die alle wesentlichen Schritte integriert und die Zusammenarbeit von Programmierern und Medizinern erleichtert.

 

Künstliche Intelligenz (KI) wird in der Medizin zunehmend wichtig. Immer genauer können lernfähige Algorithmen Organe in CT- oder MRT-Bilddaten identifizieren oder bei Tumoren bestimmen, ob sie gutartig oder bösartig sind. Für den klinischen Alltag verspricht das neue Möglichkeiten: Beispielsweise können Diagnoseassistenten manch zeitraubende Routinearbeit erleichtern und den Workflow in Kliniken vereinfachen. Und Algorithmen für die Therapieplanung können Hinweise darauf liefern, ob und wie ein Patient ein bestimmtes Medikament verträgt.

Doch die Entwicklung solcher KI-Systeme bringt einige Herausforderungen mit sich. So muss die Software mit möglichst vielen, qualitativ hochwertigen Daten trainiert werden. Soll beispielsweise ein Programm eine bestimmte Region der Leber auf MRT-Aufnahmen zuverlässig erkennen und präzise vermessen, muss es zuvor mit zahlreichen von Ärzten markierten Bilddaten trainiert werden, auf denen zuvor die Leber eingezeichnet wurde. Zwar gibt es dafür schon diverse Programmier-Werkzeuge, aber diese greifen meist noch nicht gut ineinander. Deshalb arbeitet Fraunhofer MEVIS an einer kollaborativen KI-Plattform, die alle wesentlichen Werkzeuge vereint und die Zusammenarbeit der maßgeblichen Akteure – Programmierer und Mediziner – ermöglicht. „Unsere Plattform soll alles in einem System zusammenführen“, erläutert MEVIS-Informatiker Hans Meine. „Alle Beteiligten können sich in diese Plattform einloggen und dort sämtliche Arbeitsschritte ausführen.“

 

Qualitätssicherung mit eingebaut

Das beginnt beim Handling der Daten. So ist es heute in der Regel eine umständliche Handarbeit, die Daten aus einer Software zu exportieren und in eine andere zu importieren. Die neue Plattform soll diese Prozesse automatisieren und damit vereinfachen: Ähnlich wie eine professionelle Fotoverwaltungssoftware sammelt und katalogisiert sie die Datensätze und stellt sie übersichtlich dar.

Die Daten lassen sich – gegebenenfalls automatisch – nach ihrer Qualität bewerten, wobei Bilder von mangelhafter Güte aussortiert werden. Das Personal kann jeden Datensatz mit inhaltlichen Bemerkungen versehen, etwa was auf einer CT-Aufnahme zu erkennen ist und wie sich krankhafte Veränderungen bemerkbar machen. Dadurch fließt wertvolles medizinisches Wissen ein, mit dem der Computer seine erlernten Fähigkeiten laufend verfeinern kann.

„Ein Beispiel ist die Segmentierung, etwa wenn der Algorithmus versucht, bestimmte Regionen der Lunge automatisch zu erkennen“, erklärt Meines Kollegin Bianca Lassen-Schmidt. „Bemerkt der Mediziner, dass diese Segmentierung noch nicht so gut gelungen ist, kann er sie nachbearbeiten.“ Das korrigierte Bild geht dann als Trainingsdatensatz zurück in das Programm ein, wodurch sich der Algorithmus verbessern und genauere Resultate liefern sollte. „Dabei möchten wir natürlich sicherstellen, dass die Software nicht etwa schlechter wird“, sagt Lassen-Schmidt. „Das lässt sich vermeiden, indem man sie regelmäßig mit einem Testdatensatz überprüft.“ Erst wenn der Algorithmus diesen Test besteht, werden die angelernten Veränderungen übernommen – ein wichtiges Element der Qualitätssicherung.

 

Training in mehreren Kliniken

Eine weitere Herausforderung: Wird ein Algorithmus mit den Daten von nur einer Klinik trainiert, dürfte er womöglich auch nur dort funktionieren. Der Grund: Verschiedene Kliniken arbeiten mit unterschiedlichen Gerätschaften und Bildaufnahme-Protokollen. Dadurch können sich selbst für ein identisches Krankheitsbild die Datensätze subtil unterscheiden, was eine KI stärker verwirren kann als Menschen. Damit ein Algorithmus klinikübergreifend funktioniert, ist es wünschenswert, ihn mit den Daten aus möglichst vielen Krankenhäusern zu trainieren. Das aber wird durch den Datenschutz erschwert – Patientendaten sollen das Haus nach Möglichkeit nicht verlassen.

„Deshalb arbeiten wir daran, wie man einen Algorithmus mit den Daten aus verschiedenen Krankenhäusern trainieren kann, ohne dass diese Daten die Kliniken verlassen müssen“, erklärt Bianca Lassen-Schmidt. Die Strategie: Der Algorithmus beginnt sein Training in Klinik A, um es danach in Krankenhaus B fortzusetzen. Danach geht es wieder zurück in die erste Klinik, um die Prozedur weiter zu verfeinern. Da die Software bei jedem Schritt lediglich die gelernten Muster und keine Patientendaten „mitnimmt“, sollte der Datenschutz gewährleistet sein.

„Die Einzelkomponenten für unsere KI-Plattform haben wir bei Fraunhofer MEVIS im Großen und Ganzen bereits entwickelt“, sagt Hans Meine. „Jetzt sind wir dabei, sie zu einem Gesamtpaket zu schnüren, das wir dann gemeinsam mit unseren Partnern erproben können, etwa um klinische Studien durchzuführen.“ Und vielleicht kann die kollaborative Plattform langfristig sogar dazu beitragen, dass verschiedene Kliniken auch inhaltlich enger zusammenarbeiten. „Für die medizinische Forschung“, glaubt Bianca Lassen-Schmidt, „könnte das einen großen Effekt haben.“

SATORI: Eine anpassungsfähige Plattform für Datenkuration

SATORI zeigt radiologische Bilder neben relevanter klinischer Informationen und gefundener Strukturen anzeigt
© Fraunhofer MEVIS
Myokarditisstudie mit SATORI: komplexe „Hängungen" von MR-Bildern in geeigneten Layouts, Konturieren einer Struktur im Bild, Struktur-Darstellung in orthogonalen Viewern, Seitenleiste für die Bewertung der Bildqualität und die Bearbeitung von Metadaten. Die abgebildeten Bilddaten wurden mit freundlicher Genehmigung des Universitätsklinikums Mannheim zur Verfügung gestellt.

Eine Kernkomponente unseres Toolkits ist „SATORI", unsere browserbasierte Anwendung für die Sichtung, Kuration und Aufbereitung medizinischer Daten. SATORI unterstützt Bilder, Videos und klinische Daten, mit besonderem Nutzen für radiologische Bilddaten. So lassen sich für jede Studie passende „Hängungen" definieren, die alle relevanten Bilder und Informationen in einem passenden Layout präsentieren. So lassen sich die Daten sehr leicht mit zusätzlichen Informationen zu den Patienten, zeitlichen Situationen, konkreten Bildern oder einzelnen Strukturen anreichern. SATORI enthält auch unsere bewährten Werkzeuge für besonders effiziente Konturierung und Nachkorrektur.

Analyse von White Matter Hyperintensities in MRT-Bildern über mehrere Zeitpunkte mit SATORI.
© Fraunhofer MEVIS
SATORI mit spezieller Erweiterung für die Verfolgung von Läsionen über mehrere Zeitpunkte (hier die Entwicklung von sogenannten White Matter Hyperintensities über fünf Zeitpunkte). Die abgebildeten Bilddaten wurden mit freundlicher Genehmigung von Prof. Lukas, St. Josef Krankenhaus Bochum, Institut für Neuroradiologie zur Verfügung gestellt.


SATORI ist praktisch beliebig an darüber hinaus gehende Anforderungen anpassbar; Erweiterungen können schnell auf Basis unserer Rapid- Prototyping-Umgebung umgesetzt werden. Obwohl die Anwendung im Browser läuft, ermöglicht es die zugrundeliegende Client-Server-Technologie, alle unseren bestehenden Algorithmen einzubinden, z.B. für automatische Segmentierung, Registrierung, sogar komplexe 3D Visualisierungen und spezialisierte Analysen für verschiedene medizinische Fragestellungen. Eine webbasierte Lösung bietet dabei enorme Vorteile für die multidisziplinäre, verteilte Zusammenarbeit.

Lungenanalyse Toolkit

Ein SATORI konfiguriert für Lungenbilder zeigt ein CT mit Analyseergebnissen und ein 3D Rendering der Lunge
© Fraunhofer MEVIS
Lungenbildanalyse mit SATORI. Die abgebildeten Bilddaten stammen aus dem Cancer Imaging Archive Repository https://wiki.cancerimagingarchive.net/display/Public/COVID-19.

Dieses speziell für die Lungenbildanalyse konfigurierte SATORI segmentiert beim Import eines CT-Datensatzes automatisch die Lunge, Lungenlappen, Bronchien, Blutgefäße und COVID-19 typische Verdichtungen in der Lunge. Anwender können mit verschiedenen Werkzeugen beliebige weitere Pathologien einzeichnen und die quantitativen Ergebnisse zusammen mit Screenshots exportieren.

Fraunhofer Interview mit Bianca Lassen-Schmidt auf der DMEA2022 zu den Themen AI Collaboration Toolbox, SATORI und dem Projekt RACOON. Weitere Informationen zu dem Verbundprojekt RACOON, bei dem alle Universitätsradiologien in Deutschland Partner sind, finden sie hier: https://racoon.network/.

Deep Learning für bessere klinische Entscheidungsunterstützung

Architektur eines u-nets, wie es häufig für ein Training von neuronalen Netzwerken verwendet wird.
© Fraunhofer MEVIS
Diagramm einer U-Net Variante, benannt nach der Anordnung der Schichten von Neuronen. Die vertikalen Ebenen arbeiten auf unterschiedlichen Skalen, so dass diese Modelle feine Details mit globaleren Informationen integrieren können.

Deep Learning bezeichnet eine Gruppe moderner Methoden, mit denen wir kognitive Aufgaben automatisieren können. Ärzte können so zum Beispiel Unterstützung durch eine schnelle, quantitative Analyse bekommen und bei ihrer Arbeit entlastet werden. Neben konkreten diagnostischen Werkzeugen sind dabei auch hilfreichere, „mitdenkende" Benutzungsschnittstellen im Fokus, so dass Ärzte auf Anhieb die relevanten Informationen automatisch zusammengestellt bekommen.

Deep Learning in Medical Imaging

Radiomics extrahiert wertvolle diagnostische Informationen aus Bildern

CT-Bild, Tabelle mit klinischen Parametern und Heatmap, die deren Korrelation zeigt.
© Fraunhofer MEVIS
Radiomics deckt Zusammenhänge zwischen Bildern und klinischen Daten auf. Die „Heatmap“ gruppiert Patienten mit ähnlichen Merkmalen und stellt sie durch gleichfarbige Flächen dar.

Ein weiterer „datengetriebener Ansatz", der viele und gut aufbereitete Daten benötigt und daher besonders von den hier vorgestellten Werkzeugen profitiert, wird mit dem Kunstwort „Radiomics" bezeichnet. Hiermit wird darauf angespielt, dass sich aus radiologischen Bilddaten mit modernen Technologien viele nicht offensichtliche Merkmale ableiten lassen, die (ähnlich wie Genomik oder Proteomik) für prädiktive Modelle nützlich sind. Somit können z.B. Gruppen von ähnlichen Patienten identifiziert werden, die besonders von bestimmten Therapien profitieren, idealerweise alleine aufgrund ohnehin aufgenommener Bilddaten.

Radiomics