Towards the standardisation of obstacle-resolving model results

Abstract

Data standards can be used to ensure that published research data can be easily reused. These standards define how data producers can generate uniform data and thereby increase the reuse for users. In atmospheric research, the netCDF data format and the Climate and Forecast (CF) conventions are commonly used to describe and provide research data. The CF conventions already offer for many disciplines good opportunities to describe their data, since numerical model and observation data are often published in this format. However, not all niches and their specific features can be adequately described and covered by the CF conventions. In urban climate research, for example, where obstacle-resolving microscale models (ORM) are used, there is currently no ORM-wide and specific data standard. While numerical models mostly use the netCDF and CF conventions, even if certain data descriptions are not yet standardised, there is no overall data standard for physical model data. Standardised data would facilitate the data comparisons between numerical models, physical models and observational data that are common in urban climatology. In order to increase the publication of well-described research data, the AtMoDat standard, which is based on the netCDF-CF standard, was developed to help data producers better describe their data. This dissertation deals with the process of standardising obstacle-resolving model data. The aim is to determine what requirements and what difficulties arise in standardisation and need to be resolved. To this end, the AtMoDat standard is applied to datasets from the numerical model MITRAS and the wind tunnel laboratory at the University of Hamburg.

The first study in this thesis deals with the question of how data from different numerical models is generated and reused, and what requirements data producers and users have for an ORM data standard. A survey was conducted to ask modellers and data users specific questions about the models they use, their properties, and the provision and use of model data. The aim is to determine the extent to which standardisation already exists and what requirements an ORM standard should meet. The survey revealed that the participants are aware of the need for data standards, and despite the different model output settings and processing methods, they would like to see the use of the netCDF format with CF conventions.

In the second part, the applicability of the AtMoDat standard to numerical ORM data, in this work to data from the MITRAS model, was investigated. Although MITRAS already produces netCDF data, some aspects necessary to comply with the requirements of the CF conventions were missing. It was found that compliance with the CF conventions on ORMs is technically feasible, but not always trivial for a data producer. In order to meet the requirements of the AtMoDat standard, several aspects were added to the post-processing of the model. The model’s own post-processor was expanded and adapted to the CF conventions with regard to data description. Missing data descriptions were added, and the data structures were adapted to make important information more visible and easier to understand for subsequent users. In addition, the post-processor nc2atmodat was developed, which prepares and finalises the MITRAS netCDF model results for publication. Furthermore, nc2atmodat includes additional necessary adjustments that are not trivial to solve in the model’s own post-processing, thus enabling AtMoDat-compliant data provision. The first MITRAS datasets that meet the requirements of the AtMoDat standard have already been published. When adapting the model routines to CF conventions, it became apparent that many aspects that are common in ORMs are often not covered in the CF standard. This includes ORM-specific variables that are defined slightly differently in other ORMs, or the explicit resolution of buildings in the model area, which can be used to map surface variables that have not yet been explicitly addressed in the CF conventions.

In physical modelling dealing with urban atmospheric processes, there is currently no data standard available that ensures a uniform provision of wind tunnel model data. Furthermore, it is common practice for different layouts, data descriptions or datasets to be used depending on the working group or data producer. In addition to the model measurement results, which are published as dimensionless values in text or Excel files, information on conversion, simulation properties and set-ups is also provided. This makes the data complex in terms of scope and handling. A very basic approach was therefore chosen for the standardisation attempt. Based on the handling in numerical modelling and the CF conventions, a concept for providing wind tunnel data in netCDF format was developed and applied. This showed that the provision and description of wind tunnel data as netCDF data appears to be generally possible. But there are many options available to provide relevant information for the data descriptions. Certain aspects of the CF conventions can be applied directly. However, some existing concepts need to be adapted to fit the wind tunnel, with the possibility that they would no longer comply with the current CF standard. This work therefore only offers initial steps or ideas for a possible wind tunnel standard, which needs to be further defined, discussed and tested within the community.

Um eine gute Nachnutzbarkeit von veröffentlichten Forschungsdaten sicherzustellen, können Datenstandards verwendet werden. Diese legen fest, wie Datenproduzenten einheitliche Daten generieren können und damit die Nachvollziehbarkeit für den Nachnutzer erhöhen können. In der Atmosphärenforschung haben sich zur Beschreibung und Bereitstellung von Forschungsdaten das netCDF-Datenformat und die Climate and Forecast (CF)-Konventionen etabliert. Die CF-Konventionen bieten vielen Disziplinen bereits gute Möglichkeiten, ihre Daten zu beschreiben und viele numerische Modell- und Beobachtungsdaten werden in diesem Format publiziert. Aber nicht alle Nischen und ihre Besonderheiten sind durch die CF-Konventionen ausreichend beschreibbar und abgedeckt. In der Stadtklimaforschung beispielsweise, in der mit hindernisauflösenden mikroskaligen Modellen (engl. Obstacle Revolving Model – ORM) gearbeitet wird, fehlt bisher ein ORM-übergreifender und spezifischer Datenstandard. Während numerische Modelle am ehesten die netCDF und die CF-Konventionen verwenden, auch wenn wichtige Datenbeschreibungen noch nicht standardisiert sind, gibt es in der physikalischen Modellierung keinen modellübergreifenden Datenstandard. Dabei würden standardisierte Daten gerade die in der Stadtklimatologie verbreiteten Datenvergleiche zwischen numerischen Modellen, physikalischen Modellen und Beobachtungsdaten erleichtern. Um die Veröffentlichung gut beschriebener Forschungsdaten zu erhöhen, wurde der auf dem netCDF-CF-Standard basierende AtMoDat-Standard entwickelt, der Datenproduzierenden dabei helfen soll, ihre Daten besser zu beschreiben. Diese Dissertation befasst sich mit dem Prozess zur Standardisierung hindernisauflösender Modelldaten. Ziel ist es zu ermittelt, welche Ansprüche an die Standardisierung gestellt werden müssen und welche Schwierigkeiten in der Standardisierung auftreten und gelöst werden müssen. Dazu wird der AtMoDat Standard auf Datensätze des numerischen Modell MITRAS und des Windkanallabors der Universität Hamburg angewendet.

Die erste Studie dieser Arbeit, befasst sich mit der Frage, wie Daten verschiedener numerischer Modelle generiert und nachgenutzt werden und welche Ansprüche Datenproduzierende und -nutzende an einen ORM-Datenstandard haben. Mittels einer Umfrage wurden Modellierer und Datennutzende gezielt zu den von ihnen genutzten Modellen, deren Eigenschaften und Bereitstellung bzw. Verwendung von Modelldaten befragt. Daraus wurde abgeleitet, inwieweit eine Standardisierung bereits vorhanden ist und welche Anforderungen ein ORM-Standard erfüllen sollte. Die Umfrage hat ergeben, dass sich die Teilnehmenden trotz der verschiedenen Modelle der Notwendigkeit von Datenstandards bewusst sind. Sie wünschen sich trotz der verschiedenen Modellausgabeeinstellungen und -verarbeitungen die Nutzung des netCDF-Formats mit den CF-Konventionen.

Anschließend wurde die Anwendbarkeit des AtMoDat-Standard auf numerische ORM-Daten, in dieser Arbeit auf Daten des Modells MITRAS, untersucht. Zwar produziert MITRAS bereits netCDF-Daten, es fehlten jedoch einige Aspekte, die zur Erfüllung bzw. Einhaltung der Vorgaben der CF-Konventionen notwendig sind. Dabei zeigte sich, dass die Erfüllung der CF-Konventionen auf ORMs technisch machbar ist, für einen Datenproduzenten jedoch nicht immer trivial ist. Um den Anforderungen des AtMoDat- Standards gerecht zu werden, wurde das Post-Processing des Modells um einige Aspekte ergänzt. Der modelleigene Post-Prozessor wurde erweitert und an die CF-Konventionen in Bezug auf die Datenbeschreibung angepasst. Fehlende Datenbeschreibungen wurden ergänzt und die Datenstrukturen wurden angepasst, um wichtige Informationen besser sichtbar und für Nachnutzende besser nachvollziehbar zu machen. Darüber hinaus wurde der Postprozessor nc2atmodat entwickelt, der die MITRAS-netCDF-Modellergebnisse für die Datenpublikation aufbereitet und finalisiert. nc2atmodat beinhaltet zusätzliche notwendige Anpassungen, die im modelleigenen Postprocessing nicht trivial zu lösen sind und ermöglicht so eine AtMoDat-konforme Bereitstellung von Daten. Die ersten MITRAS-Datensätze, die die Anforderungen des AtMoDat-Standards erfüllen, wurden bereits publiziert. Bei der Anpassung der Modellroutinen an die CF-Konventionen zeigte sich, dass viele Aspekte, die in ORMs geläufig sind, im CF-Standard oft nicht vorkommen oder abgedeckt sind. Dazu zählen ORM-spezifische Variablen, die in anderen ORMs leicht anders definiert sind, oder die explizite Auflösung der Gebäude im Modellgebiet, mit der sich Oberflächenvariablen abbilden lassen, die noch keine explizite Behandlung in den CF-Konventionen erfahren haben.

In der physikalischen Modellierung, die sich mit Stadtklimaprozessen befasst, besteht bisher kein übergreifender Datenstandard, der eine einheitliche Bereitstellung von Daten vorgibt. Üblich ist es, dass je nach Arbeitsgruppe oder Datenproduzent, unterschiedliche Layouts, Datenbeschreibungen oder Datenmengen verwendet werden. So werden neben den Modellmessergebnissen, die als dimensionslose Werte in ASCII- oder Exceldateien herausgegeben werden, noch Informationen zur Umrechnung, Simulationseigenschaften und Set-ups mitgeliefert. Dadurch sind diese Daten im Umfang und Handhabung komplex. Bei dem Standardisierungsversuch wurde daher ein sehr grundlegender Ansatz gewählt. Angelehnt an die Handhabung in der numerischen Modellierung und den CF-Konventionen wurde ein Konzept für die Bereitstellung von Windkanaldaten im netCDF-Format entwickelt und angewendet. Dabei zeigte sich, dass die Bereitstellung und Beschreibung von Windkanaldaten als netCDF-Daten grundsätzlich möglich zu sein scheint. Bei der Bereitstellung von relevanten Informationen zur Beschreibung der Daten sind vielfältige Möglichkeiten vorhanden. Gewisse Aspekte der CF-Konventionen lassen sich teils direkt anwenden, teils müssen vorhandene Konzepte jedoch auf den Windkanal angepasst werden, sodass sie dem aktuellen CF-Standard nicht mehr entsprechen würden. Diese Arbeit bietet daher nur erste Schritte oder Ideen zu einem möglichen Windkanalstandard, der innerhalb der Community weiter definiert, diskutiert und getestet werden muss.