The Politics of Platform Governance: NetzDG, Democracy, and the Regulation of Content Moderation in Germany

Abstract

Die vorliegende Dissertation befasst sich mit den politischen Prozessen und demokratischen Fragen der Plattformregulierung und -Governance im Bereich der Inhaltsmoderation oder auch Content Moderation auf sozialen Netzwerken. Content Moderation umfasst die Richtlinien und Praktiken, mit denen Internetplattformen (nutzergenerierte) Inhalte kuratieren. Dieser Bereich der Plattformregulierung hat weitreichende Auswirkungen darauf, was Nutzer*innen sozialer Netzwerke sehen oder äußern können, wie Informationen verbreitet werden und wie öffentlicher Diskurs auf Plattformen stattfinden kann. Meine Analyse fokussiert sich insbesondere auf das Netzwerkdurchsetzungsgesetz in Deutschland, das auch NetzDG genannt wird. Ziel der Arbeit ist es, die Interaktionen zwischen politischen Strukturen und digitalen Infrastrukturen besser verstehen und demokratisch lenken zu können. Das Netzwerkdurchsetzungsgesetz wurde 2017 eingeführt mit dem Ziel, Hassrede und sogenannte „Fake News“ im Internet zu bekämpfen. Es verpflichtet die Betreiber sozialer Netzwerke in Deutschland, „offensichtlich rechtswidrige“ Inhalte, also Inhalte, die gegen bereits bestehende Gesetze verstoßen, innerhalb von 24 Stunden nach Meldung zu löschen und unklare Fälle innerhalb von 7 Tagen zu klären, ggf. mit Hilfe einer Einrichtung der regulierten Selbstregulierung. Darüber hinaus enthält das Gesetz Vorgaben für die nationale Erreichbarkeit der Plattformen, die Erstellung von Transparenzberichten und das Beschwerdemanagement. Bei systematischen Verstößen können Bußgelder von bis zu 50 Millionen Euro für Unternehmen verhängt werden. Das NetzDG wurde also eingeführt, um bereits bestehende und weitestgehend akzeptierte Gesetze in sozialen Netzwerken durchzusetzen. Es löste dennoch eine öffentliche Kontroverse in Deutschland aus und fand weltweit Beachtung. Meine Dissertation untersucht, wie dieses Gesetz öffentlich debattiert und legitimiert wurde, welche Annahmen verschiedene Positionen im öffentlichen Diskurs machten und welche politischen Konsequenzen sie implizierten. Ich habe insbesondere analysiert, wie das NetzDG in der medialen Berichterstattung in Deutschland geframed, also „gerahmt,“ wurde. Solche eine Framing-Analyse untersucht, wie Informationen anhand zugrundeliegender Überzeugungs- und Wertestrukturen selektiert, geordnet und bewertet werden. In meiner Analyse des medialen Diskurses um das NetzDG habe ich konkurrierende Interpretationen der Herausforderungen, vor denen die Inhaltsmoderation auf sozialen Netzwerken und ihre Regulierung stehen, identifiziert. Anhand meiner Analyse der Berichterstattung und öffentlichen Rezeption des NetzDG diskutiere ich die Möglichkeiten und Grenzen der Plattformregulierung und die Notwendigkeit neuer Strukturen zur demokratischen Plattform-Governance. In Teil 1 der Arbeit beschreibe ich den Hintergrund und konzeptuellen Rahmen der Studie. Ich erläutere den Bereich der Content Moderation auf sozialen Netzwerken, die Probleme, die sich ergeben und die regulatorische Lage zur Zeit der Forschung in Deutschland, insbesondere in Bezug auf das NetzDG. Außerdem skizziere ich das dynamische Verhältnis zwischen (digitalen) Technologien und gesellschaftlichen und politischen Strukturen. Hierzu nutze ich Konzepte aus den Science and Technology Studies, nämlich die der ‚Co-production,‘ der ‚Socio-technical Imaginaries,‘ und des ‚Technological Drama.‘ Weiterhin stelle ich die Ansätze der Diskurs-, Framing- und Medienanalyse vor, die meiner empirischen Studie zugrunde liegen. Abschließend erkläre ich meine Methodik sowie die Auswahl des analysierten Materials. In Teil 2 präsentierte ich dann die Ergebnisse meiner Framing-Analyse. Dieser Teil ist in sieben Frames gegliedert, welche meinen Ergebnissen nach die Medienberichterstattung zum NetzDG strukturierten. Diese Frames sind 1) Meinungsfreiheit, 2) Hassrede und Fake News, 3) Rechtsstaatlichkeit, 4) Transparenz der Plattformen, 5) Regulatorische Kontrolle für Plattformen, 6) Qualität der Gesetzgebung und 7) politischer Kontext. In meiner Analyse fand ich heraus, dass die Medienartikel und ihre zitierten Sprecher*innen diese Frames unterschiedlich zur Analyse und Bewertung des NetzDG nutzten. So konnte das NetzDG zum Beispiel als Gefahr für oder als Verteidigung der Meinungsfreiheit oder Rechtsstaatlichkeit interpretiert werden, wobei bei den jeweiligen Interpretationen unterschiedliche Aspekte, Beispiele und Sorgen im Mittelpunkt standen. In den Unterkapiteln des zweiten Teils skizziere ich diese unterschiedlichen Interpretationsmuster innerhalb der jeweiligen Frames als sogenannte Framings. In Teil 3 interpretiere ich die Ergebnisse meiner Framing-Analyse. Ich argumentiere, dass die von mir identifizierten Framings je eine Form der Plattformregulierung und -steuerung als demokratisch legitim zu rechtfertigten suchten und ich untersuche ihre politischen Annahmen und zugrundliegenden Demokratieverständnisse. Dazu konzeptualisiere ich zwei „Socio-technical Imaginaries of Democracy.“ Die beiden Imaginaries beschreiben unterschiedliche Vorstellungen davon, wie Demokratie im Internet und auf sozialen Netzwerken gefördert und umgesetzt werden kann. Innerhalb des ersten Imaginary, welches ich als „technologisches Imaginary“ bezeichne, erscheint das Internet als inhärent demokratisierendes Medium, dessen freie Informationsflüsse den Nutzer*innen die freie Meinungsbildung und -äußerung ermöglichen. Diese freien Informationsflüsse versprechen hier Schutz vor autoritären staatlichen Eingriffen, wobei Transparenz und Dezentralisierung als wichtige Ziele der Plattformregulierung erscheinen. Im zweiten Imaginary, welches ich das „regulatorische Imaginary“ nenne, erscheint das Internet hingegen als ein anarchistischer oder gar gesetzesloser Ort, an welchem erst die Implementierung demokratisch legitimer Gesetze, auch in der Inhaltsmoderation, Grundrechte und demokratische Diskursnormen sichert. Substanziellere staatliche Eingriffe versprechen hier, die Nutzer*innen und ihre Rechte als demokratische Bürger*innen zu schützen. Die beiden Imaginaries schreiben also den Plattformen, staatlichen Institutionen sowie Nutzer*innen/Bürger*innen unterschiedliche Rollen, Rechte und Verantwortlichkeiten zu. Diese Zuschreibungen fanden sich auch in den unterschiedlichen Interpretationen des NetzDG wieder. In meiner Arbeit zeige ich, dass die Unterschiede in diesen Zuschreibungen auf Unterschiede zwischen liberalen, deliberativen und republikanisch/agonistischen Demokratievorstellungen zurückzuführen sind. Dies veranschaulicht, dass unterschiedliche Interpretationen der „richtigen“ Plattformregulierung nicht nur auf einem bestimmten Bild der technologischen Beschaffenheiten basierten, sondern auch auf divergenten Demokratieverständnissen. Bestehende demokratische Strukturen und Gesetze können die Spannungen, die zwischen solchen Verständnissen existieren, temporär auflösen. Die Frage aber, wie diese Strukturen und Gesetze auf das Internet zu übertragen sind, eröffnet diese Spannungen erneut. Meine demokratie-theoretische Analyse der Framings, die im öffentlichen Diskurs um das NetzDG verwendet wurden, veranschaulicht so, dass die Kontroverse als Teil eines größeren politischen Diskurses um die Gestaltung unserer Demokratie in Zeiten des Internets fungierte. Hierbei ließ der mediale Diskurs ernsthafte Zweifel an der demokratischen Legitimität des Gesetzes aufkommen. Diese Zweifel waren nicht zuletzt durch die politische Struktur des Diskurses selbst geprägt, in dem sich starke Diskurskoalitionen gegen das NetzDG bildeten. Bei der Kontroverse um das NetzDG ging es also nicht nur darum, wie bestehende Rechte adäquat auf sozialen Netzwerken durchgesetzt werden können, sondern auch um die viel größere Frage, wie sich Demokratie mit digitalen Technologien gestalten lässt. Meine Arbeit veranschaulicht, dass die technologischen und ökonomischen Gegebenheiten sozialer Netzwerke als Katalysator für eine Neuverhandlung grundlegender demokratischer Fragen nach der Rolle der Bürger*innen, nach Formen demokratischer Gemeinschaft und nach dem Aufgabenbereich des Staates wirkten. Eine nicht einfach regulatorisch aufzulösende Spannung lässt sich in dieser Neuverhandlung auch darauf zurückführen, dass Plattformen als privatwirtschaftliche Unternehmen einen wichtigen Raum für öffentlichen demokratischen Diskurses bereitstellen. Meine Untersuchung zeigt, an welchen Stellen Gesetzgebung und Rechtsdurchsetzung nicht ausreichen, um Internet-Plattformen und soziale Netzwerke in demokratische Bahnen zu lenken oder den politischen Fragen zu begegnen, die der Umgang mit auf ihnen veröffentlichen Inhalten aufwirft. Abschließend betone ich deshalb den Bedarf, neue demokratische Strukturen für die Steuerung von Plattformen zu schaffen. Ich schlage die Entwicklung einer agonistischen Form der Plattform-Governance vor, die es Menschen ermöglicht, in demokratischer Gemeinschaft an der politischen Gestaltung digitaler Technologien teilzunehmen.

This dissertation studies the political processes and democratic challenges of regulating and governing content moderation on social media platforms. Content moderation refers to the policies and practices by which internet platforms curate (user-generated) content. As an area of platform regulation, it has far-reaching implications for what social media users can see or say, how information is disseminated, and public discourse takes place online. My analysis focuses specifically on the so-called Network Enforcement Act or NetzDG in Germany. The aim of my work is to better understand and democratically govern the interactions between political structures and digital infrastructures. The Network Enforcement Act was introduced in 2017, with the aim of combating hate speech and so-called “fake news” online. It obliges the providers of social media platforms to remove “manifestly unlawful” content, so content that violates existing laws, within 24 hours of notification and to clarify unclear cases within 7 days, possibly under reference to an institution of regulated self-regulation. Moreover, the law includes various stipulations for platforms’ reachability, transparency reports, and complaint management systems. Systematic failures to comply on behalf of the companies can result in fines of up to 50 million euros. Although introduced to enforce already existing and widely accepted laws on social media platforms, the law sparked a public controversy in Germany and attracted attention worldwide. My dissertation examines how this law was publicly debated and legitimized, what assumptions different discursive positions were based on, and what political consequences they implied. To this end, I analyzed how the media reporting in Germany framed this law. Such a framing analysis studies how information is selected, organized, and evaluated based on underlying values and structures of belief. In my analysis of the media reporting on NetzDG, I identified competing interpretations of the challenges faced by content moderation and its regulation. Based on this analysis of the reporting and public reception of NetzDG, I discuss the possibilities and limitations of platform regulation and the need for new structures of democratic platform governance. In Part 1 of the thesis, I introduce my study’s background and conceptual framework. I describe the area of content moderation, the problems that arise within it, and the regulatory situation in Germany at the time of research, particularly concerning NetzDG. Furthermore, I outline the dynamic interactions between (digital) technologies and social and political structures. To this end, I utilize concepts from Science and Technology Studies, namely ‘co-production,’ ‘socio-technical imaginaries,’ and ‘technological dramas.’ Moreover, I detail the approaches of discourse, framing, and media analysis, which built the basis for my empirical study. Finally, I explain my methodology and selection of the analyzed material. In Part 2, I present the results of my framing analysis. This part is organized by seven frames which, according to my findings, structured the media coverage of NetzDG. These frames are 1) Freedom of Speech, 2) Hate Speech and Fake News, 3) The Rule of Law, 4) Platform Transparency, 5) Regulatory Control for Platforms, 6) Legislative Quality, and 7) Political Context. In my analysis of the reporting, I found that the media articles and the speakers they cited used these frames in different ways to analyze and evaluate NetzDG. For example, the new law could be interpreted as a threat or as a defense of freedom of speech or the rule of law. Different interpretations here centered distinct aspects, examples, and concerns. In the subchapters of this part, I outline the various patterns of interpretation under each frame as so-called framings. In Part 3, I interpret the results of my framing analysis. I argue that the framings I have identified each sought to justify a particular form of platform regulation and governance as democratically legitimate, and I explore the political and democratic assumptions that underpinned them. For this, I conceptualize two “socio-technical imaginaries of democracy.” The two imaginaries describe different visions of how democracy can be fostered and realized on the internet and social media. Within the first imaginary, which I call the “technological imaginary,” the internet appears as an inherently democratizing medium, whose free information flows can be employed by users to freely form opinions and express themselves. These free information flows promise protection against authoritarian state interventions, while transparency and decentralization appear as important imperatives for platform regulation. Within the second imaginary, which I call the “regulatory imaginary,” the internet in contrast appears as an anarchistic or even lawless space, where democratically legitimate laws, also for moderating content, are considered necessary to secure fundamental rights and democratic norms. Accordingly, more substantial governmental interferences promise to protect users as democratic citizens. Hence, the two imaginaries ascribe different roles, rights, and responsibilities to platforms, state institutions, and users/citizens. Such ascriptions also resurfaced in different framings of NetzDG. In my work, I trace such differences back to liberal, deliberative, and republican/ agonistic conceptions of democracy. This means that different interpretations of how to “correctly” regulate platforms in the NetzDG controversy not only built on diverging views about technological affordances but also on diverging conceptions of democracy. Existing democratic structures and laws may temporarily settle the tensions between such differing conceptions. These tensions are, however, reopened when the question arises of how to implement such structures and laws on the internet. Thus, my theoretical analysis of the public discourse surrounding NetzDG illustrates that the controversy functioned as part of a larger political discourse on the shape of democracy in the age of the internet. The media reporting here raised serious concerns about the democratic legitimacy of NetzDG. The emergence of these concerns was not least shaped by the political structure of the discourse itself, where strong discourse coalitions formed against NetzDG. Consequently, the NetzDG controversy was not only about the question of how to appropriately implement existing laws on social media platforms but also about the much larger question of how to realize democracy with digital technologies. My work illuminates how the technological and economic conditions of social media platforms worked as a catalyst to renegotiate fundamental democratic concerns about the role of citizens, the shape of democratic community, and the appropriate realm of state power. A tension that could not easily be resolved by regulatory means here resulted from the role that platforms, as private corporations, take up in providing a space for public democratic discourse. My research uncovers where regulation and law enforcement are insufficient to channel the internet and social media platforms into democratic forms or to address the political questions that arise from moderating content on them. In conclusion, I emphasize the need to create new democratic structures for platform governance and propose the development of an agonistic form of platform governance that would enable people to participate in the political shaping of digital technologies within a democratic community.