Realzeit-Szeneninterpretation mit ontologiebasierten Regeln

Abstract

Diese Arbeit beschäftigt sich mit dem Thema „Szeneninterpretation“, deren Ziel das automatische „Verstehen“ von Bildern und Videosequenzen ist, d.h. die Zuweisung von Bedeutung, oberhalb der Ebene einzeln erkannter Objekte, die menschlichen Konzeptbeschreibungen entspricht. Es wird ein generisches Rahmenwerk für die wissensbasierte Szeneninterpretation präsentiert, realisiert durch das Szeneninterpretationssystem SCENIOR (SCENe Interpretation with Ontology-based Rules). Aktionsmodelle werden mit Hilfe einer OWL (Web Ontology Language) Ontologie definiert, erweitert durch SWRL-Regeln, zum Beschreiben von Constraints. Diese konzeptuelle Wissensbasis wird automatisch in eine regelbasierte Wissensbasis für SCENIOR übersetzt, welche auf Jess-Regeln basiert. Interpretationsziele werden in hierarchisch strukturierte Hypothesen transformiert, die mit Constraints verknüpft sind. Der inkrementelle Interpretationsprozess ist als Strahlsuche mit multiplen parallelen Interpretations-Threads organisiert. Bei jedem Schritt wird eine kontextabhängige probabilistische Bewertung für jede alternative partielle Interpretation berechnet. Niedrig bewertete Threads werden aussortiert, abhängig von der Strahlbreite. Vollständig instanziierte Hypothesen dienen als Eingabe für Hypothesen, die höher in der Hierarchie angeordnet sind. Fehlende Evidenz kann, abhängig vom Kontext, „halluziniert“ werden. Das Interpretationssystem wurde anhand von Experimenten für die Domäne der Flughafenvorfeldaktivitäten und die Domäne intelligenter Wohnumgebungen evaluiert.

This thesis is concerned with the subject of “high-level scene interpretation”, which can be roughly defined as understanding images or video streams at abstraction levels above single objects. A generic framework for knowledge-based scene interpretation is presented, realised with an interpretation system called SCENIOR (SCENe Interpretation with Ontology-based Rules). Activity models are defined in an ontology using OWL (Web Ontology Language), extended by SWRL rules for describing constraints. This conceptual knowledge base is transformed into a high-level scene interpretation system based on Jess rules. Interpretation goals are transformed into hierarchical hypotheses structures associated with constraints. The incremental interpretation process is organised as a Beam Search with multiple parallel interpretation threads. At each step, a context-dependent probabilistic rating is computed for each partial inter-pretation. Low-rated threads are discarded depending on the beam width. Fully instantiated hypotheses may be used as input for higher-level hypotheses. Missing evidence may be “hallucinated” depending on the context. The system has been evaluated for the domain of aircraft service activities and for smart home environments.