Deep learning-based discrete-time survival prediction on prostate cancer histopathology images

Abstract

In order to enable optimal treatment decisions, physicians can be supported by clinical decision support systems. These aim at providing accurate and objective disease prognoses, e.g., for cancer patients. One of the most prevalent cancers in Germany is prostate cancer. Up to today, prostate cancer severity is, to a large extent, assessed by pathologists from histopathology images by assigning so-called Gleason grades. Since these suffer from high interobserver variability, algorithms for automated tissue analysis have been proposed in the literature. However, these suffer from uncertain and subjective annotations. To eliminate the need for subjective annotations, relapse-free survival times can be predicted as an objective end-point for treatment decision support. Knowing how long a patient lives relapse-free can reduce over- and under-treatment.

Therefore, in this thesis, the topic of automated estimation of relapse times from histopathology images is explored. A literature overview reveals the shortcomings of current approaches to Gleason grade and survival prediction and why a new approach needs to be developed for the given problem statement. In particular, an artificial neural network named eCaReNet (explainable cancer relapse prediction network) is developed, which uses digitized tissue microarray spots extracted after prostatectomy as input and predicts relapse-free survival curves. Multiple datasets are available to train and evaluate the neural network.

In comparison to current state-of-the-art methods, eCaReNet allows for accurate individual survival prediction and outputs biologically reasonable survival curves. It further stratifies patients into up to eight distinct risk groups, in contrast to the usual two to three groups that are stratified in the literature. Also, eCaReNet reaches predictive performance similar to a pathologist, while having access to only a small part of prostate tissue. It is further shown that the pathologist can be outperformed when adding the additional patient parameters prostate-specific antigen (PSA) value, tumor diameter, and volume in addition to the input image.

To integrate a decision support system in clinical workflows, model explainability and robustness to unseen dataset biases are necessary since the variation in the data encountered in a clinic might be greater than in the training dataset. Thus, an ad-hoc explainability is included, which reveals the amount of influence different image regions have on the final prediction. This approach can support pathologists by showing which region to focus on and can build trust in the model's predictions. Furthermore, this work presents an extensive evaluation of the robustness to different data acquisition protocols, which reveals the sensitivity of eCaReNet to dataset biases. An approach for out-of-distribution detection proves proper to assign uncertainty scores to images and decide whether an image is in-distribution or out-of-distribution. It is further proposed to transfer the training dataset color bias to out-of-distribution images with an extension of histogram matching and Macenko adaptation. It is shown that this color adaptation improves results on datasets that mostly include uncertain images.

This thesis provides both a thorough analysis of the state of the art in prostate cancer classification and survival analysis from a multidisciplinary perspective and a proof-of-concept study. It also serves as a starting point for further evaluations on how to obtain robust and accurate survival predictions from histopathology prostate cancer images.

Systeme zur klinischen Entscheidungsunterstützung (vgl. Englisch, "clinical decision support systems") unterstützen Ärzte und Pathologen im Klinikalltag, indem sie Patientendaten automatisiert auswerten. Sie sind in der Lage objektive Prognosen zu erstellen und Therapieentscheidungen zu unterstützen, beispielsweise bei Krebserkrankungen. Eine der häufigsten Krebsarten in Deutschland ist Prostatakrebs. Um den Schweregrad eines Prostatakrebses zu bestimmen und darauf basierend eine Therapieentscheidung zu treffen, analysiert ein Pathologe einen Teil des Prostatagewebes und klassifiziert es mit dem sogenannten Gleason-Score. Da dieser jedoch sehr subjektiv ist und eine hohe Varianz zwischen Pathologen aufweist, werden derzeit computerbasierte Systeme zur Unterstützung der Gleason Klassifikation erforscht. Allerdings sind diese Systeme dadurch begrenzt, dass sie nur die subjektiven Annotationen von Pathologen lernen können. Um von dieser Subjektivität unabhängig zu werden, wird die rückfallfreie Überlebenszeit als objektiver Endpunkt für eine Entscheidungsunterstützung bevorzugt. Wenn vorhergesagt werden kann wie lange ein Patient überlebt ohne ein Rezidiv zu erleiden, können Über- und Unterbehandlungen von Prostatakrebspatienten verringert werden.

In dieser Arbeit wird daher untersucht, inwieweit eine automatisierte Vorhersage von Rückfallzeiten von Prostatakrebspatienten möglich ist. Mit eCaReNet (explainable cancer relapse prediction network, erklärbares Modell zur Vorhersage von Krebsrezidiven) wird ein künstliches neuronales Netz entwickelt, welches digitalisierte Histopathologie-Bilder verarbeitet, um daraus die Wahrscheinlichkeit eines Prostatarezidivs über die Zeit zu prognostizieren.

Eine ausführliche Untersuchung von eCaReNet zeigt die Vorteile gegenüber derzeitigen Überlebenszeitmodellen auf. Insbesondere ermöglicht eCaReNet eine individuelle, präzise und erklärbare Prognose über einen Zeitraum von sieben Jahren nach der operativen Entfernung der Prostata. Verglichen mit dem derzeitigen Stand der Technik sticht eCaReNet heraus, da eine Risikostratifizierung in bis zu 8 statt der üblichen 2-3 Risikogruppen ermöglicht wird und biologisch realistische Überlebenszeitkurven vorhergesagt werden. Im Vergleich mit der Klassifizierung durch einen erfahrenen Pathologen erreicht eCaReNet eine äquivalente Differenzierung der Patienten. Es wird ebenfalls gezeigt, dass eCaReNets Prognosen durch Zugabe eines zweiten Bildes oder klinischer Daten (PSA-Wert, Tumordurchmesser und -volumen), zusätzlich verbessert werden können. Wenn klinische Daten hinzugenommen werden, übertrifft eCaReNet sogar den Pathologen in seiner Klassifizierung.

Um den Einsatz von Modellen zur Entscheidungsunterstützung in Kliniken zu ermöglichen, sind sowohl Robustheit als auch Erklärbarkeit unerlässlich. Mit einer eingebauten ad-hoc Erklärbarkeit zeigt eCaReNet an, welche Region des Bildes die Entscheidung wie stark beeinflusst. Dies ermöglicht dem Pathologen, die Entscheidungsunterstützung kritisch zu bewerten und zu entscheiden, ob der Prognose vertraut werden kann.

Verglichen mit den zum Anlernen des Modells genutzten Trainingsdatensätzen, können die Daten, die im Klinikalltag verarbeitet werden sollen, vorher nicht beobachtete Variationen aufweisen (zum Beispiel durch Unterschiede in der Gewebeaufbereitung). Da sich die Vorhersagegenauigkeit eines neuronalen Netzes auf unbekannten Daten verringern kann, muss die Robustheit und Generalisierbarkeit genauestens untersucht werden. Eine Untersuchung der Robustheit auf Prostatakrebsdatensätzen mit verschiedenen Protokollen zur Aufbereitung und Digitalisierung von Gewebe zeigt, dass insbesondere unterschiedliche Färbungen durch die Digitalisierung oder dünn geschnittenes Gewebe die Genauigkeit von eCaReNet verschlechtern. Die Unsicherheit der Vorhersage kann mittels eines sogenannten OOD (out-of-distribution, außerhalb der Verteilung) Ansatzes approximiert werden. Es wird vorgeschlagen, Bilder, auf denen keine sichere Vorhersage möglich ist da sie sich außerhalb der Verteilung der Trainingsbilder befinden, durch eine gezielte Änderung der Farbe dem Trainingsdatensatz anzupassen. Eine Kombination aus Anpassung des Histogramms und Macenko Normalisierung trägt dazu bei, dass die Vorhersagegenauigkeit auf Datensätzen mit überwiegend ,,OOD''-Bildern verbessert wird.

Insgesamt präsentiert diese Arbeit eine Machbarkeitsstudie zur Überlebenszeitanalyse von Prostatakrebspatienten auf Grundlage von Histopathologie-Bildern. Sie zeigt eine systematische Herangehensweise auf, um solch ein Vorhersagemodell zu erstellen und zu analysieren. Diese Arbeit soll als Ausgangspunkt zur Erforschung robuster und objektiver Überlebenszeitanalysen dienen.