Issue Tracking Ecosystems: Context and Best Practices

Abstract

Issue Tracking Systems (ITSs), such as GitHub and Jira, are popular tools that support Software Engineering (SE) organisations through the management of “issues”, which represent different SE artefacts such as requirements, development tasks, and maintenance items. ITSs also support internal linking between issues, and external linking to other tools and information sources. This provides SE organisations key forms of documentation, including forwards and backwards traceability (e.g., Feature Requests linked to sprint releases and code commits linked to Bug Reports). An Issue Tracking Ecosystem (ITE) is the aggregate of the central ITS and the related SE artefacts, stakeholders, and processes—with an emphasis on how these contextual factors interact with the ITS. The quality of ITEs is central to the success of these organisations and their software products. There are challenges, however, within ITEs, including complex networks of interlinked artefacts and diverse workflows. While ITSs have been the subject of study in SE research for decades, ITEs as a whole need further exploration.

In this thesis, I undertake the challenge of understanding ITEs at a broader level, addressing these questions regarding complexity and diversity. I interviewed practitioners and performed archival analysis on a diverse set of ITSs. These analyses revealed the context-dependent nature of ITE problems, highlighting the need for context-specific ITE research. While previous work has produced many solutions to specific ITS problems, these solutions are not consistently framed in a context-rich and comparable way, leading to a desire for more aligned solutions across research and practice. To address this emergent information and lack of alignment, I created the Best Practice Ontology for ITEs. Using this ontology, I curated a catalogue of Best Practices from existing literature, including Timely Severe Issue Resolution, Bug-to-Commit Linking, and Avoid Zombie Bugs. I also collected and created algorithms to automatically detect violations to these Best Practices. Finally, I proposed and evaluated tooling solutions that describe how to integrate these Best Practices into existing development environments.

The findings from this thesis enable a structured approach to improving the quality of ITEs. The Best Practice ontology, catalogue, and algorithms are contributions to researchers interested in understanding and improving ITEs. In practice, the context-aware catalogue and algorithms can be used to identify key areas for improvement, and to automate organisational processes such as maintaining a meaningful backlog and ensuring the completeness of issues.

Issue Tracking Systems (ITSs) wie GitHub und Jira sind beliebte Tools, die Software Engineering (SE) Organisationen durch die Verwaltung von „Issues“ unterstützen, die verschiedene SE-Artefakte wie Anforderungen, Entwicklungsaufgaben und Wartungselemente darstellen. ITS unterstützen auch die interne Verknüpfung von Issues und die externe Verknüpfung mit anderen Tools und Informationsquellen. Dies bietet SE-Organisationen wichtige Formen der Dokumentation, einschließlich vorwärts und rückwärts gerichteter Rückverfolgbarkeit (z. B. Verknüpfung von Feature Requests mit Sprint Releases und Code Commits mit Bug Reports). Ein Issue Tracking Ecosystem (ITE) ist die Gesamtheit des zentralen ITS und der damit verbundenen SE-Artefakte, Stakeholder und Prozesse—mit dem Schwerpunkt darauf, wie diese kontextuellen Faktoren mit dem ITS interagieren. Die Qualität der ITEs ist entscheidend für den Erfolg dieser Organisationen und ihrer Softwareprodukte. Es gibt jedoch Herausforderungen innerhalb von ITEs, einschließlich komplexer Netzwerke miteinander verbundener Artefakte und unterschiedlicher Arbeitsabläufe. Während ITS seit Jahrzehnten Gegenstand der SE-Forschung sind, müssen ITEs als Ganzes weiter erforscht werden.

In dieser Arbeit stelle ich mich der Herausforderung, ITEs auf einer breiteren Ebene zu verstehen und diese Fragen hinsichtlich Komplexität und Vielfalt zu beantworten. Ich befragte Praktiker und führte eine Archivanalyse einer Vielzahl von ITS durch. Diese Analysen haben die kontextabhängige Natur von ITS-Problemen und -Lösungen aufgezeigt und den Bedarf an kontextspezifischer ITS-Forschung verdeutlicht. Während frühere Arbeiten vielfältige Analysen und Lösungen für spezifische ITS-Probleme hervorgebracht haben, sind diese Lösungen nicht durchgängig kontextabhängig und vergleichbar, was zu dem Wunsch nach besser abgestimmten Lösungen in Forschung und Praxis führt. Um dieses Informationsdefizit und den Mangel an Abstimmung zu beheben, habe ich eine ITE-Best-Practice-Ontologie erstellt. Anhand dieser Ontologie habe ich einen Katalog bewährter Verfahren aus der vorhandenen Literatur zusammengestellt. Anschließend habe ich Tooling-Lösungen vorgeschlagen und bewertet, die beschreiben, wie diese bewährten Verfahren in bestehende Umgebungen integriert werden können.

Die Erkenntnisse dieser Arbeit ermöglichen einen strukturierten Ansatz zur Verbesserung der ITE-Qualität. Die Ontologie, der Katalog und die Algorithmen sind Beiträge für Forscher, die sich für das ITE-Verständnis und die -Verbesserung interessieren. In der Praxis können der kontextbezogene Katalog und die Algorithmen genutzt werden, um Schlüsselbereiche für Verbesserungen zu identifizieren und organisatorische Prozesse zu automatisieren.