Implementierung eines Datenqualitätsdienstes zur evolutionären Datenqualitätsverbesserung in relationalen Datenbankmanagementsystemen

Abstract

Seit Mitte der 90er Jahre werden zunehmend Anwendungssysteme entwickelt, die Daten gemeinsam nutzen oder unterschiedliche Datenbestände zu einem gemeinsamen Datenbestand migrieren. Werden Daten von mehreren Anwendungssystemen genutzt oder Datenbestände integriert, so ist die Qualität der Daten von entscheidender Bedeutung. Mangelnde Datenqualität war in der Vergangenheit allerdings ein wesentlicher Grund dafür, dass solche Softwareprojekte gescheitert sind.

Die vorliegende Arbeit thematisiert das Problem der Datenqualität und beschreibt Verfahren aus unterschiedlichen Bereichen der Informatik (u.a. Datenbanken, Information Research, Bioinformatik, Künstliche Intelligenz), die zur Analyse und zum Verbessern von Daten wichtig sind. Darauf aufbauend wird eine Architektur vorgeschlagen, wie Datenqualitätsdienste in die Architektur eines relationalen Datenbankmanagementsystem (RDBMS) integriert werden können. Über die Komponente der Regelverwaltung kann die Datenqualität gerade im Hinblick auf Legacy-Anwendungen über ein evolutionäres Vorgehen verbessert werden, indem Geschäftsregeln in der Datenbank gespeichert werden, ohne dass Anwendungen geändert werden müssen. Da Datenqualität domänenspezifische Verfahren benötigt, liegt ein weiterer Schwerpunkt der Architektur in der flexiblen Erweiterung der Dienste.

Schließlich werden die Umsetzung dieser Architektur in ein bestehendes relationales Datenbankmanagementsystem anhand eines Prototypen aufgezeigt und verschiedene Szenarien zur Verbesserung der Daten erläutert.

In der Arbeit wird gezeigt, dass über standardisierte SQL-Sprachkonstrukte viele Verfahren zur Verbesserung der Datenqualität integriert werden können. Gerade die Kombination der SQL mit benutzerdefinierten Funktionen bietet dabei, wie im Prototypen zu sehen, eine leistungsfähige Möglichkeit zur Verbesserung und Analyse von Daten. Vorteilhaft ist zudem die Mächtigkeit mit der das Datenqualitäts-Framework über Plug-Ins mit neuen und abgeleiteten Klassen erweitert werden kann.

Since the mid 90s, an increasing number of application systems have been developed, which use shared datasets or different datasets as a common migrated dataset. When datasets are used by several application systems or many datasets are integrated, the quality of the data is of vital importance. In the past insufficient data quality has been an essential reason for the failure of such software projects.

The present work picks out as the problem of data quality a central theme and describes methods from different areas of informatics (among other things Databases, Information Research, Bioinformatics, Artificial Intelligence) which are suited for analysing and improving data. On this basis an architecture is proposed, how to integrate data quality services into the architecture of a relational database management system (RDBMS). With a rule management component data quality can be improved evolutionarily, especially in view of Legacy applications, by storing business rules in the database, without changing existing application systems. Because data quality needs procedures specific to domains, another main focus of the architecture lies in the flexible extension of the services.

Finally, the implementation of this architecture into an existing relational database management system with a prototype is described and different scenarios, how to improve the quality of data, are discussed.

The present work shows that with standardised SQL-Elements many procedures can be integrated to improve the data quality. Especially the combination of SQL with user-defined functions offers an efficient possibility to improve and analyse data as shown in the prototype. A further advantage lies in the possibility to expand the framework with Plug-Ins by implementing new and derived classes.