Blinded sample size re-estimation in a confirmatory diagnostic accuracy study

Abstract

Background: A confirmatory phase III diagnostic study compares the sensitivity and specificity of an experimental test either against pre-defined minimum thresholds in a single-test design or against a comparator test in an unpaired or paired design. Hereby, it combines sensitivity and specificity as co-primary endpoints. In conventional sample size calculation, the problem of an overpowered study can arise because the final sample size represents the maximum of the individual sample sizes needed to show sufficient sensitivity or specificity. For this sample size calculation, one needs assumptions about nuisance parameters which are the disease prevalence and, in a paired design, proportions of discordant test results in the diseased and non-diseased population. Often these assumptions are uncertain leading to an incorrect specification of the sample size. This thesis aims to improve the initial sample size calculation and to develop blinded adaptive designs for the sample size re-estimation.

Methods: As there have been no adaptive designs to adjust the sample size during a diagnostic study so far, my co-authors and I elaborate on possibilities for developing adaptive designs in Thesis Article 1. In Thesis Articles 2 and 3, we develop the optimal sample size calculation and blinded adaptive design based on the optimal sample size calculation. We use the adaptive design to adjust the sample size by estimating nuisance parameters in each of the three study designs. We aim to show superiority or non-inferiority of the experimental test in both endpoints or combinations of superiority and non-inferiority, respectively. We conduct simulation studies to evaluate the performance of the blinded adaptive design and compare it to a fixed design without sample size re-estimation. Furthermore, we compare the blinded adaptive design to the existing approach of McCray et al. (2017) within a paired example study.

Results: The optimal sample size calculation and blinded adaptive design support reaching the target power. The proposed adaptive design controls the type I error rate due to blinded sample size re-estimation. Nuisance parameters are estimated without any relevant bias. Adjusted sample sizes are close to true sample sizes. Our blinded adaptive design leads to a smaller sample size than the already existing approach.

Conclusions: We suggest applying the optimal sample size calculation and the blinded adaptive design in confirmatory diagnostic accuracy studies as both support reaching the target power. Their application does not require much additional effort.

Hintergrund: Eine konfirmatorische Diagnosestudie vergleicht die Sensitivität und Spezifität eines experimentellen Tests mit vordefinierten Grenzen in einem Ein-Test Design bzw. mit einem Komparatortest in einem ungepaarten oder gepaarten Design. Die Studie kombiniert Sensitivität und Spezifität zu co-primären Endpunkten. In der konventionellen Fallzahlplanung kann eine zu hohe Power auftreten, weil die finale Fallzahl das Maximum der individuellen Fallzahlen der beiden Endpunkte darstellt. Für die Fallzahlplanung braucht man Annahmen über Störparameter wie die Prävalenz, und im gepaarten Design, die Anteile der diskordanten Testergebnisse. Oftmals sind diese Annahmen unsicher, was zu einer ungenauen Berechnung der Fallzahl führen kann. Das Ziel meiner Doktorarbeit ist die Verbesserung der initialen Fallzahlplanung und die Entwicklung eines verblindeten adaptiven Designs zur Fallzahlneuschätzung.

Methoden: Da bisher keine adaptiven Designs zur Fallzahlanpassung in einer Diagnosestudie existiert haben, erörtern meine Koautoren und ich die Möglichkeiten zur Entwicklung von adaptiven Designs in Publikation 1. In Publikation 2 und 3 entwickeln wir die optimale Fallzahlplanung und ein verblindetes adaptive Design, das auf die optimale Fallzahlplanung zurückgreift. Es dient zur Anpassung der Fallzahl mit Hilfe der geschätzten Störparameter in den drei Studiendesigns, die entweder darauf abzielen die Überlegenheit, Nicht-Unterlegenheit oder eine Kombination aus Überlegenheit und Nicht-Unterlegenheit des experimentellen Tests in beiden Endpunkten zu zeigen. Wir verwenden Simulationsstudien um das Verhalten des verblindeten adaptiven Designs zu evaluieren und es mit einem fixen Design ohne Fallzahlneuschätzung zu vergleichen. Außerdem vergleichen wir an einer gepaarten Beispielstudie das verblindete adaptive Design mit dem existierenden Ansatz von McCray et al. (2017).

Ergebnisse: Die optimale Fallzahlplanung und das adaptive Design tragen zum Erreichen der Zielpower bei. Durch die Verblindung kontrolliert das adaptive Design den Fehler 1. Art. Die Störparameter werden ohne relevante Verzerrung geschätzt. Die angepassten Fallzahlen kommen den wahren Fallzahlen nahe. Unser adaptives Design führt zu kleineren Fallzahlen als der bereits existierende Ansatz.

Schlussfolgerungen: Wir schlagen die Anwendung der optimalen Fallzahlplanung und des verblindeten adaptiven Designs vor, weil beide Methoden das Erreichen der Zielpower unterstützen. Ihre Anwendung erfordert keinen erheblichen Zusatzaufwand.