Detection and Differentiation of Circulating Tumor Cells in Liquid Biopsy using Self-Supervised Learning and Human-in-the-Loop Methods

Abstract

Circulating tumor cells (CTCs) are important biomarkers in cancer diagnostics, but their rarity and heterogeneity make fully automated detection challenging. Although the FDA‑approved CellSearch® system is clinically established, CTC identification still requires substantial expert involvement. Therefore, this thesis investigates how CTCs in liquid biopsy samples can be detected and classified more reliably using modern deep learning methods.

Using fluorescence microscopy images from a cohort of metastatic breast cancer patients, the thesis makes four main contributions: • Implementation of a robust deep learning‑based segmentation approach for CTC detection on raw CellSearch images. • Use of self‑supervised learning to extract generalizable representations from unlabeled images, enabling accurate binary classification (CTCs vs. non‑CTCs) with a simple machine learning classifier using only a small number of well‑annotated samples. • Development of a human‑in‑the‑loop framework that targets model uncertainties and improves classification performance through expert annotation of a limited number of uncertain cases. • Comparative analysis of CTC detection and classification performance between the CellSearch system and the optimized classifier, including evaluations in patients with varying disease progression and in healthy donors.

Overall, the results demonstrate that combining self‑supervised learning with human‑in‑the‑loop strategies enables more efficient, reliable, and transparent CTC detection.

Zirkulierende Tumorzellen (CTCs) sind wichtige Biomarker in der Krebsdiagnostik, doch ihre Seltenheit und Heterogenität erschweren eine vollständig automatisierte Detektion. Obwohl das FDA‑zugelassene CellSearch®‑System klinisch etabliert ist, erfordert die Identifizierung von CTCs weiterhin erheblichen Expert:innenaufwand. Daher untersucht diese Arbeit, wie CTCs in Liquid Biopsy Proben mithilfe moderner Deep Learning Methoden zuverlässiger detektiert und klassifiziert werden können.

Unter Verwendung von fluoreszenzmikroskopischen Bildern aus einer Kohorte metastasierter Brustkrebspatient:innen leistet die Arbeit vier zentrale Beiträge: • Implementierung eines robusten, Deep Learning‑basierten Segmentierungsansatzes zur CTC‑Detektion in Rohbildern des CellSearch‑Systems. • Einsatz von selbstüberwachtem Lernen, um aus nicht‑annotierten Bildern generalisierbare Repräsentationen zu gewinnen und eine genaue binäre Klassifikation (CTCs vs. Nicht-CTCs) mit einem einfachen Machine Learning Klassifikator zu ermöglichen, der nur eine geringe Anzahl gut annotierter Beispiele benötigt. • Entwicklung eines Human‑in‑the‑Loop Frameworks, das Modellunsicherheiten gezielt identifiziert und die Klassifikationsleistung durch Expert:innenannotationen einer begrenzten Anzahl unsicherer Fälle verbessert. • Vergleich der Detektions‑ und Klassifikationsleistung zwischen dem CellSearch‑System und dem optimierten Klassifikator, einschließlich Bewertungen bei Patient:innen mit unterschiedlicher Krankheitsprogression sowie bei gesunden Spender:innen.

Insgesamt zeigen die Ergebnisse, dass die Kombination aus selbstüberwachtem Lernen und Human‑in‑the‑Loop Strategien eine effizientere, zuverlässigere und besser nachvollziehbare CTC‑Detektion ermöglicht.