Haematological Cell Image Classification using Self-Supervised and Transfer Learning

Abstract

Accurate classification of peripheral blood and bone marrow cells is crucial for diagnosing haematological disorders. Traditional supervised AI methods for blood cell image classification, which are trained on large labelled datasets, have dominated the field, achieving high performance in controlled environments. However, this approach has significant limitations: it depends heavily on extensive manual labelling, often requires specialised hardware for training, and struggles to generalise across different datasets. Although several studies have attempted to address one or two of these challenges, none has fully overcome all three.

To address these challenges, transfer learning presents a promising solution by transferring knowledge from a model trained on a large (annotated) dataset to a smaller target dataset. This method makes efficient use of existing information, enhancing performance with minimal additional annotation. Another effective approach is self-supervised learning (SSL), where algorithms can extract useful information from data without the need for human-made annotations. In this study, I combine SSL with transfer learning to improve blood cell classification, effectively overcoming the three limitations identified earlier.

To further illustrate the approach, SSL-based feature extraction is combined with a lightweight classifier trained on a small number of labelled samples. This strategy allows for effective representation learning with minimal reliance on large labelled datasets. Four datasets are used: one bone marrow and three peripheral blood cell image datasets. The feature extractor is trained using SSL on the bone marrow images. Two experiments are conducted: direct transfer, where classifiers are trained on bone marrow images, and domain adaptation, where classifiers are trained using a limited number of blood cell images. The performance of this pipeline is then compared to traditional SL methods, which require extensive labelled datasets for training.

The results demonstrate that this approach enhances the transferability of blood cell image classification. In direct transfer, the SSL pipeline achieved an accuracy between 53% to 64%, outperforming the supervised models, which achieved between 41% to 46%. In domain adaptation, the ML classifier, trained with approximately 50 labelled images per class, outperformed the supervised models, particularly in classifying rare or atypical cell types. These results highlight the value of combining transfer learning with SSL for knowledge transfer between bone marrow and peripheral blood. This study also tested transfer learning from blood to bone marrow, but the results were not favourable, likely due to differences in dataset size, image background, and domain variability.

In conclusion, transfer learning combined with SSL offers a promising alternative to traditional methods and provides a more efficient and scalable solution for automated blood cell image classification. Future work could focus on extending this approach to whole-slide images to further improve automation in cell image classification and diagnosis.

Die präzise Klassifikation von peripheren Blut- und Knochenmarkzellen ist von zentraler Bedeutung für die Diagnostik hämatologischer Erkrankungen. Traditionell dominieren überwachte KI-Methoden zur Blutzellklassifikation, die auf großen, annotierten Datensätzen basieren und in kontrollierten Umgebungen eine gute Performanz erzielen. Diese Ansätze weisen jedoch signifikante Einschränkungen auf: Sie sind stark auf die manuelle Annotation großer Datensätze angewiesen, erfordern oft spezialisierte Hardware für das Training und haben Schwierigkeiten, die Generalisierbarkeit auf unterschiedliche Datensätze sicherzustellen. Obwohl zahlreiche Studien versucht haben, einzelne dieser Herausforderungen zu adressieren, konnte bislang keine Methode alle drei Probleme vollständig lösen.

Um diese Herausforderungen zu bewältigen, stellt Transfer Learning eine vielversprechende Lösung dar, bei der Wissen von einem Modell, das auf einem großen (annotierten) Datensatz trainiert wurde, auf einen kleineren Ziel-Datensatz übertragen wird. Diese Methode nutzt somit bestehende Informationen effizient und verbessert die Leistung mit minimalen zusätzlichen Annotationen. Ein weiterer effektiver Ansatz ist das selbstüberwachte Lernen (self-supervised learning - SSL), bei dem Algorithmen nützliche Informationen aus den Daten extrahieren können, ohne dass menschliche Annotationen erforderlich sind. In dieser Thesis kombiniere ich SSL mit Transfer Learning, um die Blutzellklassifikation zu verbessern und so die drei oben identifizierten Einschränkungen effektiv zu überwinden.

Die SSL-basierte Merkmalsextraktion wird mit einem Klassifikator kombiniert, der auf einer kleinen Anzahl von annotierten Bildern trainiert wird. Diese Strategie ermöglicht ein effektives Repräsentationslernen mit minimaler Abhängigkeit von großen annotierten Datensätzen. Es werden vier Datensätze verwendet: ein Knochenmark-Datensatz und drei Datensätze für periphere Blutzellbild-Datensätze. Der Merkmalsextraktor wird mithilfe von SSL auf den Knochenmarkbildern trainiert. Zwei Experimente werden durchgeführt: direkter Transfer, bei dem Klassifikatoren auf Knochenmarkbildern trainiert werden, und Domänenadaptation, bei der Klassifikatoren unter Verwendung einer begrenzten Anzahl von Blutbildbildern trainiert werden. Die Performanz dieser Pipeline wird dann mit traditionellen überwachten Lernmethoden (supervised learning - SL) verglichen, die umfangreiche annotierte Datensätze für das Training erfordern.

Die Ergebnisse zeigen, dass mein Ansatz die Übertragbarkeit der Blutzellklassifikation verbessert. Beim direkten Transfer erzielte die SSL-Pipeline eine Genauigkeit von 53% bis 64%, was die SL Modelle übertraf, die eine Genauigkeit von 41% bis 46% erreichten. Bei der Domänenadaptation übertraf der ML-Klassifikator, der mit etwa 50 annotierten Bildern pro Klasse trainiert wurde, die überwachten Modelle, insbesondere bei der Klassifikation seltener oder atypischer Zelltypen. Diese Ergebnisse unterstreichen den Wert der Kombination von Transferlernen mit SSL für den Wissenstransfer zwischen den Domänen Knochenmark und peripherem Blut. Diese Studie testete auch das Transferlernen von Blut zu Knochenmark, aber die Ergebnisse waren nicht günstig, wahrscheinlich aufgrund von Unterschieden in der Datensatzgröße, dem Bildhintergrund und der Domänenvariabilität.

Zusammenfassend lässt sich sagen, dass Transferlernen in Kombination mit SSL eine vielversprechende Alternative zu traditionellen Methoden darstellt. Zukünftige Arbeiten können diesen Ansatz auf Whole-Slide-Bilder erweitern, um die Automatisierung der Zellklassifikation und Diagnose weiter zu verbessern.