More Applicable Text Classification with Human-in-the-Loop: Patterns, Frameworks, and Tools

Abstract

Machine Learning (ML)-based text classification offers a promising and scalable approach to automate the classification of text, such as app reviews or social media posts. However, the applicability of text classifiers in real-world settings is limited by inherent uncertainties and potential performance gaps.

This thesis explores the potential of the emerging field of Human-in-the-Loop (HiL) to address the applicability challenges for ML-based text classification. Our goal is to increase applicability by efficiently incorporating humans into the text classification pipeline. To this end, we review the current literature on HiL and develop a pattern catalog to provide software developers with best practices for designing HiL systems. Our catalog aims to facilitate the development and deployment of applicable HiL systems that integrate humans into the ML loop.

Next, this thesis proposes and evaluates novel frameworks that implement three HiL patterns. Addressing common applicability challenges such as high computational resource requirements, limited classification performance, and high model latency. In particular, the proposed frameworks utilize the concept of prediction uncertainty to coordinate human efforts. We evaluated the effectiveness of our frameworks using datasets from the domains of software engineering, online journalism, and social media analysis. Our contributions enable more applicable solutions for the cost-optimized training and deployment of text classifiers.

Furthermore, we propose a novel framework for explaining the prediction uncertainty of text classifiers in order to improve user understanding of classification decisions. While existing explanation techniques mainly explain the provided class label, we build on the concept of prediction uncertainty and make it explicit to users.

Finally, based on our HiL patterns, this thesis develops REM, a visual tool for the real-time moderation of online forums. REM enables a semi-automated moderation of continuous streams of user comments by integrating various HiL patterns and HiL collaboration mechanisms. Experiments with REM show promising results, achieving a significant increase in classification performance (from 78.48% to 96.08%) while requiring manual moderation of only 25% of the data. These contributions empower domain experts to be efficiently involved in the text classification process, ultimately improving the applicability and efficiency of forum moderation in real-world settings. REM was developed specifically for online journalism, but can be easily adapted to other domains.

Textklassifikationsverfahren, die auf maschinellem Lernen basieren, sind ein vielversprechender und hochgradig skalierbarer Ansatz, um die Klassifikation von Texten wie beispielsweise App-Rezensionen oder Kommentaren in sozialen Medien zu automatisieren. Die Anwendbarkeit solcher Verfahren wird jedoch durch inhärente Unsicherheiten und potentielle Leistungsdefizite in Bezug auf die Anforderungen, die in realen Anwendungsgebieten auftreten, eingeschränkt.

Diese Arbeit untersucht die Eignung des aufstrebenden Human-in-the-Loop-Ansatzes, um die Anwendbarkeit maschineller Lernverfahren für die Textklassifikation zu adressieren. Unser Ziel ist es, die Anwendbarkeit durch die effiziente Integration des Menschen in den Klassifikationsprozess zu verbessern. Dazu wird zunächst ein Überblick über den aktuellen Stand der Literatur zum HiL-Ansatz gegeben. Ein Katalog von Entwurfsmustern wird entwickelt, um Softwareentwicklern bewährte Praktiken für den Entwurf von HiL-Systemen bereitzustellen. Die Muster können den Entwurf und die Inbetriebnahme von HiL Systemen erleichtern.

Anschließend werden neuartige Rahmenwerke für die Umsetzung von drei HiL-Mustern vorgeschlagen und evaluiert. Diese adressieren allgemeine Herausforderungen der Anwendbarkeit von Textklassifikatoren, wie z.B. den enormen Bedarf an Rechenressourcen, eine begrenzte Klassifikationsgenauigkeit und eine hohe algorithmische Latenz zwischen menschlichen Interaktionen während des Trainingsprozesses. Die vorgeschlagenen Implementierungen nutzen insbesondere das Konzept der Vorhersageunsicherheit, um die Effizienz menschlicher Eingriffe zu optimieren. Die Effektivität dieser Ansätze wird anhand von Datensätzen aus der Softwareentwicklung, dem Online-Journalismus und der Analyse sozialer Medien evaluiert. Unsere Beiträge ermöglichen anwendbarere Lösungen für das kostenoptimierte Training und den Einsatz von Textklassifikatoren.

Darüber hinaus schlagen wir ein neues Rahmenwerk zur Erklärung der Vorhersageunsicherheit von Textklassifikationsergebnissen vor, um das Verständnis der Klassifikationsergebnisse für den Benutzer zu verbessern. Während bestehende Ansätze hauptsächlich das Klassifikationsergebnis erklären, bauen wir auf dem Konzept der Vorhersageunsicherheit auf und kommunizieren diese dem Nutzer.

Basierend auf unseren HiL-Mustern entwickelt diese Arbeit REM, ein visuelles Werkzeug für die Echtzeit-Moderation von Online-Foren. REM ermöglicht die halbautomatische Moderation kontinuierlicher Ströme von Nutzerfeedback durch die Integration verschiedener HiL-Muster und HiL-Kollaborationsmechanismen. Experimente mit REM zeigen vielversprechende Ergebnisse mit einer signifikanten Erhöhung der Klassifikationsgenauigkeit (von 78,48% auf 96,08%), während nur 25% der Daten manuell moderiert werden müssen. REM ermöglicht die effiziente Einbindung von Moderatoren in den Textklassifikationsprozess, was letztlich die Anwendbarkeit und Effizienz von Forenmoderation in realen Anwendungsfällen verbessert. REM wurde speziell für den Bereich des Online-Journalismus entwickelt, kann aber leicht an andere Bereiche angepasst werden.