Minimax Risk Bounds in Stochastic Models with Smooth Parameter Function

Abstract

To better understand the time-dependent development of certain phenomena – e.g. in economy, meteorology or science – the statistician has to fit a suitable model to a given series of observed data points. This always comes with the task of estimating certain model parameters on the basis of the observed data. Naturally, the question of the quality of the used estimation procedures arises. This problem was tackled in the thesis. A rather abstract stochastic model was considered, in which the distributions of the independent observations were assumed to be given by a parametric distribution family, while the distribution parameter was supposed to be driven by an unknown, smooth function. As an important special case this approach covers the nonparametric regression model. Within this model the minimax risk with respect to a zero-one loss function was investigated. In simple terms, this means that an estimator is judged by the probability with which the estimate takes a value outside of a specific neighbourhood of the true value of the parameter to estimate. The scope of this thesis was to derive asymptotic minimax risk bounds under rather general conditions. The basic idea for the examinations was to use a localisation procedure, which is a common technique in asymptotic statistics. This means that first a localised model was considered in which certain estimators were shown to be asymptotically normally distributed. Both upper and lower bounds for the asymptotic minimax risk within this local model could be established. In a second step these bounds could be transferred to the original model, too. Furthermore, it could be shown that the general nonparametric regression model and also some other models satisfy the regularity conditions that were imposed to derive the asymptotic minimax risk bounds.

In den Wirtschafts- und Naturwissenschaften tritt häufig die Frage auf, wie man bestimmte sich zeitlich entwickelnde Prozesse geeignet beschreiben kann. Aufgabe der Statistik ist es, für solche Prozesse passende Modelle zu entwickeln, um mit diesen die beobachteten Daten beschreiben und erklären zu können. Damit einher geht die Aufgabe, eine bestimmte Anzahl von Parametern innerhalb eines solchen Modells auf Grundlage der vorliegenden Daten zu schätzen. Es stellt sich die Frage nach der Güte der dazu verwendeten Schätzverfahren. Diese Frage wurde im Rahmen der Dissertation behandelt. Grundlage für die Untersuchungen war ein abstraktes stochastisches Modell, bei dem die als unabhängig angenommenen Beobachtungen durch eine parametrische Verteilungsfamilie modelliert werden. Von dem Verteilungsparameter wird angenommen, dass dieser durch eine unbekannte, hinreichend glatte Funktion gesteuert wird. Ein wichtiger Spezialfall dieses Modells ist das klassische nichtparametrische Regressionsmodell. In dem betrachteten Modell wurde das Minimax-Risiko unter Verwendung einer 0-1-Verlustfunktion untersucht. Einfach ausgedrückt bedeutet dies, dass ein Schätzer für den unbekannten Verteilungsparameter danach beurteilt wird, wie groß die Wahrscheinlichkeit ist, dass er einen Wert in einer Umgebung des wahren Parameterwertes annimmt. Ziel der Arbeit war es, unter möglichst allgemeinen Bedingungen asymptotische obere und untere Schranken für das Minimax-Risiko herzuleiten. Eine grundlegende Idee der Untersuchungen hierzu bestand darin, eine Lokalisierung des Modells vorzunehmen, und das Minimax-Risiko zunächst in den resultierenden lokalen Modellen zu untersuchen. In diesen konnte die asymptotische Normalität gewisser Schätzer nachgewiesen und damit obere und untere Schranken für das Minimax-Risiko hergeleitet werden. Durch die Konstruktion von Schätzern mit einer hinreichend guten Konvergenzrate konnten diese Schranken in einem zweiten Schritt auf das ursprüngliche Modell übertragen werden. Es wurden zudem Beispiele für Modelle gebracht, auf die die Theorie dieser Arbeit anwendbar ist.