KI Projekte an der Medizischen Fakultät Heidelberg

Projektbeschreibung: 

In diesem Projekt wird ein KI-gestütztes Assistenzsystem für die Hautkrebsdiagnostik entwickelt, das aus der universitären Forschung MDR-konform in die Marktfähigkeit überführt werden soll. Die Software unterstützt Ärztinnen und Ärzte bei der Beurteilung potenziell maligner Hautläsionen und legt dabei Wert auf Erklärbarkeit, um Vertrauen in die Technologie zu stärken. Gemeinsam mit der HEINE Optotechnik GmbH & Co. KG wird die Lösung in digitale Dermatoskope integriert, um eine breite Anwendung in der Hautkrebsvorsorge zu ermöglichen. Ziel ist eine messbare Verbesserung der Diagnostik und damit ein konkreter Nutzen für Patienten und Patientinnen, Behandelnde und das Gesundheitssystem. Gleichzeitig dient das Projekt als Blaupause für andere Forschungseinrichtungen und erarbeitet Empfehlungen für regulatorische sowie gesundheitspolitische Rahmenbedingungen.

Vision: 

KI ist für unsere Forschung wichtig, weil sie dazu beitragen kann, die frühzeitige und präzisere Erkennung von Melanomen zu unterstützen und unnötige Biopsien zu vermeiden. Unsere Vision ist eine vertrauenswürdige, erklärbare und MDR-konforme Lösung, die im digitalen Dermatoskop als ergänzende Entscheidungshilfe eingesetzt wird. In der Versorgung soll KI perspektivisch unter klaren klinischen Rahmenbedingungen genutzt werden: transparent, validiert und mit Blick auf Fairness sowie Datensicherheit. So kann sie Ärzte und Ärztinnen unterstützen und potenziell zu verbesserten Behandlungsergebnissen beitragen.

Kontakt: 

PD Dr. med. Titus J. Brinker: titus.brinker(at)nct-heidelberg.de 

Projektbeschreibung: 

Das Projekt zielt auf die Entwicklung eines KI-gestützten Systems zur automatisierten Analyse von Herzdeformationen sowie zur präzisen Phänotypisierung kardiovaskulärer Erkrankungen auf Basis von Kardio-MRT-Daten ab. Im Fokus steht eine herzphasen-spezifischen Strain-Analyse, die auf deformierbaren Bildregistrierungsmodellen basiert und sowohl die automatische Detektion charakteristischer Herzphasen als auch die vektorfeldbasierte Strainberechnung ermöglicht.  Ziel ist es, die Eignung dieser Methodik für die Charakterisierung komplexer Krankheitsbilder, insbesondere der Herzinsuffizienz mit erhaltener Ejektionsfraktion (HFpEF), zu evaluieren.  Darüber hinaus wird untersucht, inwiefern eine Integration multimodaler Informationen aus Kardio-MRT, Echokardiographie und klinischen Daten die diagnostische und prognostische Aussagekraft steigern kann. Der innovative Ansatz vereint deformierbare Bildregistrierungsmodelle für Strain-Analyse und Herzphasendetektion mit multimodaler Datenfusion zu einer umfassenden, patientenspezifischen Diagnostik.

Vision: 

Mit der wachsenden und alternde Bevölkerung steigt der Bedarf an präziser Diagnostik und individueller Therapieentscheidung. KI bietet die Chance, ÄrztInnen durch intelligente, datengetriebene Analysesysteme zu unterstützen, damit mehr Menschen schneller Zugang zu einer besseren und personalisierten medizinischen Versorgung erhalten und Ärzte mehr Zeit für ihre Patienten haben.

Kontakt: 

Sarah Kaye Müller 

PhD Student of Institute "Artificial Intelligence in Cardiovaskular Medicine" [AICM]

Heidelberg University Hospital | Im Neuenheimer Feld 410 | D-69120 Heidelberg

SarahKaye.Mueller(at)med.uni-heidelberg.de

Sandy.Engelhardt(at)med.uni-heidelberg.de

Projektbeschreibung: 

Das Projekt zielt darauf ab, generative KI-Modelle zu entwickeln, die realistische medizinische Bilddaten erzeugen, ohne Patientendaten offenzulegen. Durch einen ressourcenschonenden Diffusionsansatz und optimierte Evaluationsmetriken trägt das Projekt zu einer nachhaltigen und effizienten Anwendung generativer KI in der Medizin bei. Ein besonderer Fokus liegt auf der Reduktion von Datenmemorisierung, der Verbesserung von Bildqualität- und Diversität sowie der Analyse des ökologischen Fußabdrucks solcher Modelle.

Vision: 

Künstliche Intelligenz, insbesonder Generative KI,  spielt eine zentrale Rolle in der medizinischen Bildgebung, da sie komplexe Strukturen erfassen und aus begrenzten Daten realistische, diagnostisch relevante Informationen generieren kann. Zukünftig sollen generative KI-Systeme über die reine Bildsynthese hinausgehen und patientenzentrierte, multimodale Repräsentationen schaffen. Durch die Integration von Anatomie, Physiologie und verschiedenen Bildmodalitäten in gemeinsame latente Räume kann KI neue Korrelationen entdecken, Modalitäten überbrücken und digitale Patientenzwillinge ermöglichen. Damit entsteht eine Grundlage für eine tiefere, datengetriebene und personalisierte medizinische Forschung.

Kontakt: 

Marvin.seyfarth(at)med.uni-heidelberg.de

SalmanUlHassan.Dar(at)med.uni-heidelberg.de  

Sandy.engelhardt(at)med.uni-heidelberg.de

Projektbeschreibung: 

Die Entwicklung von KI-Systemen zur Analyse chirurgischer Bild- und Videodaten stellt ein aktives Forschungsfeld dar. Solche Systeme ermöglichen die Extraktion von Informationen über den Ablauf von Operationen, die bislang unzugänglich waren. Diese Informationen können zur Echtzeit-Unterstützung des OP-Personals eingesetzt werden, um die Sicherheit der chirurgischen Eingriffe zu erhöhen und logistische Prozesse im Operationssaal zu optimieren. Darüber hinaus eröffnet die retrospektive Analyse von Eingriffen die Möglichkeit, wertvolle Informationen aus den Aufzeichnungen zu gewinnen und diese den angehenden Chirurgen*innen zur Verfügung zu stellen.

Im Rahmen dieses Projekts untersuchen wir die Entwicklung von multimodalen KI-Modellen, die Bild- und Textdaten aus kardiochirurgischen Videoaufnahmen gleichzeitig verarbeiten und interpretieren können.

Vision: 

KI-Modelle, die gleichzeitig chirurgische Bild- und Textdaten verarbeiten und auswerten können, bilden eine wichtige Grundlage für neuartige interaktive Lernplattformen und entscheidungsunterstützende Systeme.

Kontakt: 

Prof. Dr. Sandy Engelhardt
Institute for Artificial Intelligence in Cardiovascular Medicine
Klinik für Herzchirurgie
Universitätsklinikum Heidelberg
Im Neuenheimer Feld 420
69120 Heidelberg
+49 6221 56-37173, sandy.engelhardt(at)med.uni-heidelberg.de 

Georgii Kostiuchik
Institute for Artificial Intelligence in Cardiovascular Medicine
Klinik für Herzchirurgie
Universitätsklinikum Heidelberg
Im Neuenheimer Feld 420
69120 Heidelberg
+49 6221 56-310341, georgii.kostiuchik(at)med.uni-heidelberg.de

Projektbeschreibung: 

Das im DZHK gestartete und nun internationaliesierte Projekt zielt darauf ab, klinische Komplikationen von Transkatheter-Aortenklappenimplantationen (TAVI) vorherzusagen. Hierbei werden Daten verschiedener Institutionen, sowie verschiedener Modalitäten (CT, EKG, Protheseninformtionen, ... usw.) einbezogen, ohne dass diese die Institution verlassen. Das fördertiert trainierte und in Heidelberg orchestrierte Modell kann über mehrere Zentren trainiert und evaluiert werden. 

Vision: 

Künstliche Intelligenz, insbesondere Deep Learning, spielt eine zentrale Rolle in der medizinischen Bildgebung, da sie komplexe Strukturen erfassen und aus begrenzten Daten realistische, diagnostisch relevante Informationen vorhersagen kann. Föderierte Verfahren ermöglichen das Training solcher Deep Learning Modelle auf Daten verschiedener Institutionen, ohne dabei patientenspezifische Information auszutauschen. Durch die Erweiterung solcher föderierten Modelle um multi-modale Kapazitäten, lassen sich vorhandene Daten verschiedener Diagnostikverfahren (zum Beispiel CT und ECG) miteinander kombinieren, um die Vorhersagen von Deep Learning Modellen signifikant zu verbessern. Die Kombination föderierter und multi-modaler Techniken ermöglicht eine umfassende Zusammenarbeit zwischen klinischen Abteilungen und Zentren, und legt Grundsteine für eine tiefere und datengetriebene medizinische Forschung und Diagnostik.

Kontakt: 

Yannik.Frisch(at)med.uni-heidelberg.de

Sandy.engelhardt(at)med.uni-heidelberg.de 

Project overview: 

The WSI-Babel-Shark pipeline is a modular framework for automated metadata extraction from digital pathology slides (WSIs).
It integrates barcode decoding, ROI-based optical character recognition, stain detection, and slide ID generation to create structured registries from raw histopathology data.
By combining deep-learning-based layout classification with rule-based text parsing, it achieves robust recognition of complex label layouts across diverse scanners and staining protocols.
The system emphasizes reproducibility, modular design, and transparent logging, providing a scalable tool for AI-driven digital pathology workflows.
It serves as a successor to the earlier WSI-BabelFish prototype with improved open-set handling and ROI fallback logic.

Vision: 

Artificial intelligence enables reproducible, large-scale integration of pathology data for research and clinical practice.
By automating metadata acquisition and harmonization, Babel-Shark bridges the gap between raw digital slides and structured datasets ready for downstream AI analysis.
We envision a fully automated digital pathology infrastructure where metadata, image content, and clinical context are seamlessly linked.
Such systems will accelerate AI model training, enable transparent validation, and support precision diagnostics across institutions.

Contact: 

Shahram Aliyari¹

¹ Section Computational Pathology Heidelberg, Institute of Pathology Heidelberg, University Hospital Heidelberg, University of Heidelberg, Heidelberg, Germany.

Shahram.aliyari(at)med.uni-heidelberg.de  

Project overview: 

DiagnosticReportHarvester is a self-hostable clinical text search platform to identify relevant clinical cases from free-text diagnostic reports. It combines Elasticsearch indexing with clinical NLP to normalize terminology, expand queries using UMLS synonyms, and detect negations or modifiers (via medspaCy or using LLM-supported semantic search). The system supports semantic retrieval with clinical LLM embeddings and ranks reports to reduce manual screening time. Designed for compatibility with SQL-based clinical databases, it offers a secure web interface tailored for routine and research workflows. 

Vision: 

By turning unstructured clinical text into searchable, semantically rich data, DiagnosticReportHarvester accelerates cohort discovery and hypothesis generation. We envision a privacy-preserving search layer that integrates with LIS/PACS and downstream AI pipelines. The result is faster, reproducible case selection with transparent evidence trails that clinicians can trust.

Kontakt: 

Maximilian Legnar Msc.¹

¹ Section Computational Pathology Heidelberg, Institute of Pathology Heidelberg, University Hospital Heidelberg, University of Heidelberg, Heidelberg, Germany.

Maximilian.Legnar(at)med.uni-heidelberg.de  

Project overview: 

Large language models (LLMs) are increasingly applied in medical documentation and have been proposed for clinical decision support. A main focus in this field has been on the assessment of closed-sourced frontier LLMs, while the interest in open-source alternatives is rising.  We are evaluating the performance of small language models as building blocks for novel open compound-AI systems, which can be operated at the edge. 

Vision: 

LLM based medical compound AI system must be based on transparent and controllable open-source models. Openness enables medical tool developers to control the safety and quality of underlying AI models, while also allowing healthcare professionals to hold these models accountable. For these reasons, the future of medical compound AI system must be open.

Contact: 

lars.riedemann(at)med.uni-heidelberg.de 

Project overview

This project aims to develop novel predictive and prognostic biomarkers for PDAC using advanced deep learning applied to histology and immunohistochemistry (IHC) data. By integrating multimodal image features, we seek to predict molecular characteristics directly from slides. The approach will map spatial niches where specific cell phenotypes coexist and evaluate how their heterogeneity influences clinical outcomes. This AI-driven framework addresses PDAC’s complex, stroma-rich microenvironment and has the potential to advance personalized treatment strategies through image-based biomarker discovery. 

Vision: 

AI is revolutionizing how we study disease by turning routine images into rich sources of molecular and clinical insight. It enables us to decode the tumor microenvironment and predict outcomes with unprecedented precision. The future of AI in research lies not in replacing scientists, but in expanding the boundaries of what science can reveal. 

Contact: 

Prof. Dr. Jakob N. Kather – jakob.kather@med.uni-heidelberg.de

PD. Dr. Nathalia Giese - Nathalia.Giese(at)med.uni-heidelberg.de

Dr. Anna-Katharina König - Anna-Katharina.Koenig(at)med.uni-heidelberg.de

Project overview

Our project leverages decentralized deep learning approaches, particularly swarm learning, to collaboratively train AI models across institutions without sharing raw data. This ensures that sensitive information remains local while still enabling the creation of powerful, multicentric datasets. Our current initiatives apply swarm learning to a variety of clinical data types, including histopathology whole-slide images, CT, MRI scans, surgical videos and single-cell analyses. Through this approach, we aim to advance medical AI while maintaining the highest standards of data privacy and security.

Vision: 

AI is revolutionizing how we study disease by turning routine images into rich sources of molecular and clinical insight. It enables us to decode the tumor microenvironment and predict outcomes with unprecedented precision. The future of AI in research lies not in replacing scientists, but in expanding the boundaries of what science can reveal. 

Contact: 

Prof. Dr. Jakob N. Kather – jakob.kather@med.uni-heidelberg.de

Dr. Oliver Saldanha - Oliver.Saldanha(at)med.uni-heidelberg.de 

Dr. Silvia Barbosa – silvia.barbosa(at)med.uni-heidelberg.de

Project overview

The goal of this project is to develop a fully automated AI model for accurate glioma prognosis by integrating pre-operative MRI and post-operative WSI, addressing the critical clinical bottleneck of manual image segmentation. The central innovative AI approach is a fully automated, segmentation-free pipeline that employs pre-trained foundation models to extract deep features directly from raw imaging data. The project systematically investigates the optimal data fusion strategy by evaluating novel Fusion architectures against single-modality models and simpler fusion baselines. This research aims to determine if this foundation model-driven approach can provide a more accurate, objective, and scalable tool for clinical risk stratification than current methods.

Vision: 

Artificial intelligence is essential for our research because it provides a practical way to quantitatively integrate the complementary information from macroscopic MRI and microscopic WSI data. Our specific use of foundation models is critical as it allows us to bypass the manual segmentation bottleneck, enabling a fully automated and reproducible analysis pipeline. The future we envision is one where such automated systems are seamlessly integrated into standard clinical workflows, analyzing routinely acquired imaging data in the background to provide consistent, objective decision support.

Contact: 

Prof. Dr. Jakob N. Kather – jakob.kather@med.uni-heidelberg.de

Dr. Silvia Barbosa – silvia.barbosa(at)med.uni-heidelberg.de

Prof. Dr. Shuixing Zhang – zsx7515(at)jnu.edu.cn 

Project overview

The goal of this project is to harness AI to predict colorectal cancer prognosis and, in the future, treatment response. Using data from the ColoCare Study, we focus on imaging phenotypes derived from CT scans and digital pathology to identify patterns linked to clinical outcomes such as recurrence and disease-free survival. Our research addresses key questions about how imaging-based features reflect underlying tumor biology and patient outcomes. The innovative aspect of this work lies in its fully automated, agnostic AI approach, which allows the discovery of novel, data-driven imaging biomarkers without relying on predefined assumptions.

Vision: 

AI is essential to this research because it enables us to uncover complex, hidden patterns in medical images that are beyond human perception. By applying AI to CT scans and digital pathology data, we aim to better predict colorectal cancer prognosis and, in time, treatment success. This work will establish a foundation for integrating multiple data types within the ColoCare Study to enhance precision medicine. Ultimately, we envision a future where AI-driven insights guide truly individualized care for colorectal cancer patients.

Contact: 

Dr. Biljana Gigic – biljana.gigic(at)med.uni-heidelberg.de

Dr. Victoria Damerell – victoria.damerell(at)med.uni-heidelberg.de

Prof. Dr. Jakob N. Kather – jakob.kather@med.uni-heidelberg.de

Dr. Silvia Barbosa – silvia.barbosa(at)med.uni-heidelberg.de

Project overview

The goal of the LIMBS project is to reduce the time- and labor-intensive process of extracting structured information from proprietary document formats, such as PDFs and unstructured text, by employing a generative AI framework with human-in-the-loop oversight. Can generative information extraction enhance efficiency and documentation quality in real-world clinical settings?

The LIMBS project is implementing a biomedical information extraction framework combining different machine learning (ML) techniques like optical character recognition (OCR), large language models (LLMs) and vision language models (VLMs) into one agentic system to extract structured information from unstructured PDF documents. 

The limbs-framework’s modular architecture enables cost efficient generalization to new clinical settings via prompt engineering and allows for easy extension or customization by third-parties.

Vision: 

AI is essential for our research because it can unlock clinically valuable information trapped in unstructured, heterogeneous records like discharge summaries and physician letters, which currently limit interoperability and complicate the integration and analysis of patient data. By transforming this information into structured, analyzable insights, generative machine learning enables optimized data sharing, better clinical decision-making, and accelerated research.

Contact: 

 Dr. Keno März - k.maerz(at)Dkfz-Heidelberg.de 

Projektbeschreibung: 

Das Projekt zielt darauf ab, ein automatisiertes, KI-basiertes System zur Beurteilung des Schweregrads der Lungenerkrankung bei Mukoviszidose (CF) in MRT-Bildern zu entwickeln, um die Grenzen der derzeitigen visuellen Scoring-Methoden zu überwinden, die zeitaufwändig und subjektiv sind. Mithilfe von Deep Learning, insbesondere Convolutional Neural Networks (CNNs), sollen zentrale MRT-Merkmale wie bronchiale Wandveränderungen, Schleimpfropfbildung, Konsolidierungen und Perfusionsstörungen erfasst werden. Eine Datengrundlage von rund 850 standardisierten Thorax-MRTs von 200 CF-Patientinnen und -Patienten, die zuvor durch Expertinnen und Experten bewertet wurden, dient als Referenz (Ground Truth) für das Training und die Validierung. Die daraus entstehende Software soll eine schnelle, objektive und benutzerunabhängige Beurteilung ermöglichen und zugleich als Entscheidungshilfe für klinisches Fachpersonal dienen. Abschließend wird der Prototyp im klinischen Workflow getestet und in einem multizentrischen Setting mit bislang unbekannten Daten validiert, um Robustheit und Übertragbarkeit sicherzustellen. 

Vision: 

Künstliche Intelligenz ist in diesem Forschungsprojekt entscheidend, um die bisher subjektive und zeitaufwändige visuelle Beurteilung von CF-MRTs durch ein automatisiertes, objektives und reproduzierbares Verfahren zu ersetzen. In Zukunft wird KI die radiologische Befundung transformieren, indem sie Ärztinnen und Ärzte mit präzisen, datenbasierten Analysen unterstützt und so eine schnellere, standardisierte und patientenorientierte Diagnostik ermöglicht.

Kontakt: 

Dr. Urs Eisenmann (urs.eisenmann@med.uni-heidelberg.de) 

Institut für Medizinische Informatik

Im Neuenheimer Feld 130.3

69120 Heidelberg

Projektbeschreibung: 

Im Projekt wird ein KI-basiertes System zur automatisierten Bestimmung des Lungenperfusions-Scores aus MRT-Bildern bei verschiedenen chronischen Lungenerkrankungen entwickelt. Ziel ist es, durch den Einsatz von Bildverarbeitungsmethoden und KI-Ansätzen eine MRT-basierte Lungenlappendefinition und eine zuverlässige Klassifikation von Perfusionsstörungen zu ermöglichen. Durch die multizentrische Datenerhebung sollen generalisierbare Modelle entstehen, die zusätzlich zu den Bilddaten auch klinische Lungenfunktionsparameter einbeziehen. Ein besonderer Fokus liegt auf der Nachvollziehbarkeit der Entscheidungsprozesse, weshalb Methoden der Explainable AI zur Anwendung kommen.

Vision: 

Ziel ist es, ärztliche Entscheidungsprozesse bei der Beurteilung von Lungenperfusionsstörungen mithilfe von KI nachzubilden und zu unterstützen, insbesondere dort, wo klassische Bildverarbeitungsmethoden an ihre Leistungsgrenzen stoßen. KI bietet die Möglichkeit, komplexe Muster in MRT- und klinischen Daten zu erkennen und zusätzliche Datentypen in die Entscheidungsfindung einzubeziehen. Dadurch entsteht das Potenzial für eine reproduzierbare, transparente und effizientere Diagnostik chronischer Lungenerkrankungen.

Kontakt: 

Dr. Urs Eisenmann (urs.eisenmann@med.uni-heidelberg.de) 

Institut für Medizinische Informatik

Im Neuenheimer Feld 130.3

69120 Heidelberg

Projektbeschreibung: 

Es handelt sich nicht um ein Einzelprojekt, sondern um zahlreiche laufende und geplante Untersuchungen. Ziel ist die Adressierung intensivmedizinischer und perioperativer Fragestellungen mithilfe KI-gestützter Methoden. Im Mittelpunkt stehen explorative Analysen vielfältiger klinischer Datensätze sowie der Einsatz maschineller Lernalgorithmen für prädiktive und entscheidungsunterstützende Anwendungen. Langfristig soll die translationale Umsetzung dieser Erkenntnisse in den klinischen Alltag erfolgen und so die Qualität und Sicherheit der Patient*innenversorgung weiter verbessert werden.

Vision: 

Künstliche Intelligenz eröffnet neue Möglichkeiten, komplexe medizinische Zusammenhänge sichtbar zu machen. Unsere Vision ist es, auf Basis KI-gestützter Untersuchungen klinische Entscheidungen auf eine neue Ebene von Präzision und Erkenntnis zu heben, und so Patient*innen individueller, sicherer und vorausschauender behandeln zu können.

Kontakt: 

melanie.marhofer(at)med.uni-heidelberg.de