Entity Analysis: Disambiguation and Typing with Graphs

Abstract

Information has been ubiquitous on the web in various styles, e.g. news articles, blog posts, encyclopedic contents, etc. Wikipedia, for example, consists of articles, containing encyclopedic information on entities, e.g. locations, organizations, persons, events, animals, cars, films, etc., and has grown into a valuable resource. Yet, finding the relevant information is still an issue: consider the scenario one wants to know about “What is the most critical step in Michael Jordan’s career after joining the Chicago Bulls?”. A search engine might retrieve the documents related to “Michael Jordan (basketball player)”, “Michael Jordan (scientist)”, and “Michael Jordan (football player)”. The key challenge here is the lexical ambiguity of entities. Thus, resolving this ambiguity is a crucial process and task in natural language processing to enable several applications, e.g. retrieving the relevant information as examplified here.

In this thesis, we discuss the annotation of the entities in two levels: 1) the process of assigning labels to entity mentions, e.g. “Michael Jordan” in a textual context, with the ultra-fine type information, e.g. basketball player, scientist, football player – entity typing, and 2) the process of matching them to a knowledge graph record e.g. providing the link (https://en.wikipedia.org/wiki/Michael_Jordan) – entity disambiguation.

We study on these tasks in several aspects. We systemize design features of entity disambiguation and linking systems, developed since 2015 as a result of the “deep learning revolution” in natural language processing. This work distills a generic architecture and discusses its prominent components as well as the vast variety of modifications of this general architecture. In a similar manner, the summarization of the ultra-fine entity typing models, which address a lack of the annotated data issue is presented. There are numerous types in the type vocabulary of ultra-fine entity typing task. This results in difficulties for human to label them and thus, it is a crucial challenge in this task. To address this issue, we explore an unsupervised way, which requires no labeled data for training. This study relies on the information from a graph of terms (known as distributional thesaurus) that carries crucial information about terms and their relations. We explore the leverage of distributionally induced word/term senses through such a graph in an ultra-fine entity typing task. More specifically, we analyze the use of the labels information of the appropriate induced word/term sense to the entity mention. The graph is constructed through the features of terms, in this study, nonetheless, there could be many different graphs built in various ways. For example, a graph constructed through page links in Wikipedia information. We leverage such a graph to transform it to graph embeddings and utilize it as a vector representation of entities. One of the essential components of the generic architecture (presented in our first study) is entity representations with the goal to capture semantic meaning of the entities and/or semantic relatedness between entities in various aspects. We investigate the role of entity embeddings, constructed through this graph information. We present a simple technique for the integration of the structured information of entities into an entity disambiguation model with graph embeddings.

All in all, we have analyzed recently proposed neural entity disambiguation and linking models, which generally show better performance than the classical solutions. With the guidance of this analysis, new researchers to this field would understand the task and this might help shaping future works in this field. We have investigated the leverage of information from the graph structures in entity disambiguation and ultra-fine entity typing tasks. We observe that use of information coming from graph structure helps on these tasks. This might lead to use such kind of information in different tasks/scenarios, for future studies.

Informationen sind im Web allgegenwärtig und in verschiedenen Formaten verfügbar, z. B. in Nachrichtenartikeln, Blogbeiträgen oder enzyklopädischen Inhalten. Wikipedia besteht beispielsweise aus Artikeln, die enzyklopädische Informationen zu Entitäten wie Orten, Organisationen, Personen, Ereignissen, Tieren, Autos, Filmen usw. enthalten, und hat sich zu einer wertvollen Ressource entwickelt. Dennoch bleibt die Suche nach relevanten Informationen eine Herausforderung: Stellen wir uns das Szenario vor, in dem jemand wissen möchte: „Was war der entscheidendste Schritt in Michael Jordans Karriere nach seinem Wechsel zu den Chicago Bulls?“ Eine Suchmaschine könnte Dokumente zu „Michael Jordan (Basketballspieler)“, „Michael Jordan (Wissenschaftler)“ und „Michael Jordan (Fußballspieler)“ abrufen. Die zentrale Herausforderung hierbei ist die lexikalische Mehrdeutigkeit von Entitäten. Daher ist die Auflösung dieser Mehrdeutigkeit ein wesentlicher Prozess und eine zentrale Aufgabe in der Verarbeitung natürlicher Sprache, um verschiedene Anwendungen zu ermöglichen, z. B. das Abrufen relevanter Informationen, wie es hier veranschaulicht wurde.

In dieser Arbeit diskutieren wir die Annotation von Entitäten auf zwei Ebenen: 1) den Prozess der Zuweisung von Labels zu Entitätsnennungen, z. B. „Michael Jordan“ in einem Textkontext, mit ultra-feinen Typinformationen, z. B. Basketballspieler, Wissenschaftler, Fußballspieler – Entitätstypisierung, und 2) den Prozess des Abgleichs mit einem Eintrag in einem Wissensgraphen, z. B. durch Bereitstellung eines Links (https://de.wikipedia.org/wiki/Michael_Jordan) – Entitätsdisambiguierung.

Wir untersuchen diese Aufgaben aus verschiedenen Perspektiven. Wir systematisieren die Designmerkmale von Entitätsdisambiguierungs- und Verknüpfungssystemen, die seit 2015 als Folge der „Deep-Learning-Revolution“ in der Verarbeitung natürlicher Sprache entwickelt wurden. Diese Arbeit destilliert eine allgemeine Architektur und diskutiert ihre wichtigsten Komponenten sowie die Vielzahl an Modifikationen dieser allgemeinen Struktur. In ähnlicher Weise wird eine Zusammenfassung der Modelle zur ultra-feinen Entitätstypisierung präsentiert, die das Problem des Mangels an annotierten Daten adressieren. Das Vokabular der ultra-feinen Entitätstypisierung umfasst zahlreiche Typen. Dies führt zu Herausforderungen für Menschen bei der manuellen Annotation und stellt somit eine zentrale Schwierigkeit in dieser Aufgabe dar. Um dieses Problem zu lösen, untersuchen wir einen unüberwachten Ansatz, der keine annotierten Trainingsdaten erfordert. Diese Studie basiert auf Informationen aus einem Graphen von Begriffen (bekannt als distributionelles Thesaurus), der wichtige Informationen über Begriffe und deren Relationen enthält. Wir analysieren, wie sich distributionell induzierte Wort- bzw. Begriffs-Sinnesinformationen durch einen solchen Graphen für die ultra-feine Entitätstypisierung nutzen lassen. Konkret untersuchen wir, wie die Label-Informationen des passenden induzierten Wort- bzw. Begriffssinns auf die Entitätsnennung angewendet werden können. Der Graph wird in dieser Studie anhand von Merkmalsinformationen von Begriffen erstellt. Dennoch gibt es verschiedene Möglichkeiten, Graphen zu konstruieren, z. B. durch die Nutzung von Seitenverlinkungen aus Wikipedia. Wir verwenden einen solchen Graphen, um ihn in Graph-Embeddings zu transformieren und als Vektorrepräsentation von Entitäten zu nutzen. Eine der zentralen Komponenten der allgemeinen Architektur (präsentiert in unserer ersten Untersuchung) ist die Entitätsrepräsentation, mit dem Ziel, die semantische Bedeutung von Entitäten und/oder ihre semantische Verwandtschaft in verschiedenen Kontexten zu erfassen. Wir untersuchen die Rolle von Entitäts-Embeddings, die durch diese Graphinformationen konstruiert werden, und präsentieren eine einfache Technik zur Integration der strukturierten Entitätsinformationen in ein Entitätsdisambiguierungsmodell mit Graph-Embeddings.

Zusammenfassend haben wir kürzlich vorgeschlagene neuronale Modelle zur Entitätsdisambiguierung und -verknüpfung analysiert, die in der Regel eine bessere Leistung als klassische Lösungen zeigen. Diese Analyse kann neuen Forschenden in diesem Bereich helfen, die Aufgabe besser zu verstehen und zur Entwicklung zukünftiger Arbeiten beitragen. Darüber hinaus haben wir den Einfluss von Graphstrukturen auf die Entitätsdisambiguierung und ultra-feine Entitätstypisierung untersucht. Unsere Ergebnisse zeigen, dass die Nutzung von Informationen aus Graphstrukturen diese Aufgaben positiv beeinflusst. Dies könnte dazu führen, dass solche Informationen in zukünftigen Studien für verschiedene Aufgaben und Szenarien genutzt werden.