How Generative Language Models Shape Human Problem Solving: A Phenomenon-centered, Sociotechnical Perspective

Abstract

Motivation & research goal Problem-solving is essential for knowledge work and innovation in organizations. Text-based generative large language models (GLMs) are being rapidly adopted across domains, offering potentially substantial performance improvements. Yet, GLMs can also introduce risks and negatively affect outcomes, creating a pressing practical need to better understand how humans can productively work with GLMs. This need from practice ties into the academic discourse on human–AI collaboration, which examines how humans and AI jointly work on tasks. Specifically, scholars have called for research that explains how humans and AI systems can jointly achieve superior performance and that uncovers the underlying dynamics of such collaboration when solving problems. Due to their domain-agnostic generative capacity—the ability to create novel content in real-time across a broad range of topics—GLMs enable a new form of human–AI work. They can dynamically support open-ended problem-solving tasks at the content level, rather than supporting routine decision-making or facilitating at the meta-level. Challenging how humans can work with AI systems renders human–GLM problem-solving a theoretically interesting phenomenon. Accordingly, this dissertation seeks to explain how humans work with GLMs to solve problems and to uncover mechanisms and factors that shape performance and behavior.

Research design To address this goal, the dissertation adopts a phenomenon-centered research approach, framing human–GLM problem-solving as a sociotechnical phenomenon. It follows a cumulative, multi-study design comprising three journal and eight conference publications. The empirical, multi-method approach combines exploratory and confirmatory methods in selected tasks and contexts. These include brainstorming, design science research concept development, coding, and professional knowledge work. Data collection includes qualitative and quantitative surveys, interviews, and a diary study, as well as interaction and usage data from controlled experiments utilizing GLM-based custom-built web applications and commercial, chat-based GLMs. The data analyses span qualitative content analysis, and descriptive and inferential statistics. They draw on theories on social loafing, cognitive stimulation, and cognitive load, building on decades of research on group work and individual creativity support systems.

Results The studies show empirically that human–GLM dyads can achieve superior performance in creative idea generation, a key aspect of problem-solving. They further disentangle performance, revealing tensions between individual and dyadic performance as well as between perceived and measured outcomes. The dissertation identifies four mechanisms across studies through which GLMs shape performance and human behavior: (1) Dynamic scaffolding describes how GLMs help individuals move efficiently through a problem by, for example, supporting operationalization or preventing getting stuck; (2) Problem- and solution space exploration captures how GLMs broaden or narrow the set of options considered; (3) Effort management sheds light on humans’ shift from being sole creators of content to creating own and curating GLM content; and (4) Responsibility attribution describes how GLMs change users’ felt responsibility. The dissertation also discusses influencing factors, including individual ability or contextual norms, and formulates tentative design implications based on the findings.

Contribution The dissertation primarily contributes to two discourses in the literature: human–AI collaboration and individual creativity support systems. For human–AI collaboration, it offers an empirically grounded and sharpened understanding of human–GLM problem-solving, thereby enhancing concept clarity. Moreover, it provides explanatory knowledge by describing mechanisms and potential boundary conditions, an important foundation for design knowledge. The findings help to inform the discourse on the transferability of human group-level mechanisms to human–AI dyads, extending the social loafing construct beyond its original scope and suggesting how it may need to be adapted. This dissertation extends the individual creativity support systems research stream by framing GLMs as a new type of individual creativity support system. It offers empirical evidence that human–GLM dyads can outperform individuals in idea generation, as well as how GLMs influence the diversity of outputs, challenging prior notions of how AI can support creative tasks. Lastly, it suggests that GLMs appear to have a different effect on humans compared to prior individual creativity support systems or human group members.

Limitations Beyond the study-specific limitations discussed in the individual publications, the dissertation has several overarching limitations related to its scope and its research design and empirical approach, which limit generalization despite method and data triangulation. Moreover, its theorizing is limited, with the dissertation focusing on developing an in-depth explanatory understanding of the phenomenon rather than developing and evaluating prescriptive design knowledge. As such, the design implications remain tentative and require further empirical validation.

Future Research The findings in this dissertation open up several avenues for future research. While GLMs can improve performance, they also alter human behavior—sometimes in undesirable ways. Future research should examine how tools can be designed to counteract such behavior and support users in situationally improving their allocation of effort between creating and curating. Moreover, extending the dissertation's findings, future research should explore how more capable or more agentic AI, or the involvement of multiple AI systems or agents, shape felt responsibility or effort investment. Professional knowledge workers appear to experience a “fill-up effect,” in which saved time due to working with the GLM is used to complete additional tasks. Aligning with calls for examining humanistic, not solely instrumental goals, future research should explore whether such patterns contribute to a “mechanization” of knowledge work and potential implications for worker well-being, particularly if knowledge work shifts from creation to curation. Finally, while the studies show that GLMs can support creative tasks, they did not investigate professional creative workflows involving extended, iterative projects. Future research should examine whether GLMs can support creative professionals in the creative part of their work, beyond merely enhancing efficiency.

Motivation Das Lösen von Problemen ist zentral für Wissensarbeitende und Innovation in Organisationen. Zunehmend werden hierfür domänenübergreifend textbasierte generative Sprachmodelle (engl. Generative Language Models, GLMs) eingesetzt, die erhebliche Verbesserungen bei der Aufgabenbearbeitung ermöglichen können. Gleichzeitig bergen GLMs jedoch Risiken und können die Ergebnisse beeinträchtigen. Aus der Praxis ergibt sich damit ein dringender Bedarf, besser zu verstehen, wie wir mit GLMs produktiv zusammenarbeiten können. Dieser praktische Bedarf spiegelt sich auch im wissenschaftlichen Diskurs zur Mensch–KI-Zusammenarbeit oder -Kollaboration wider. Dieser untersucht, wie Menschen und KI-Systeme gemeinsam Aufgaben bearbeiten. Ziel ist es insbesondere zu erklären, wie Menschen und KI-Systeme gemeinsam eine bessere Leistung (engl. Performance) erzielen können und welche Dynamiken bei dieser Zusammenarbeit entstehen. Aufgrund ihrer domänenagnostischen generativen Fähigkeit – der Fähigkeit, in Echtzeit neuartige Inhalte über ein breites Themenspektrum hinweg zu erzeugen – ermöglichen GLMs eine neue Form der Mensch–KI-Zusammenarbeit. Sie können bei der Lösung offener Probleme (engl. open-ended problems) dynamisch auf inhaltlicher Ebene unterstützen, statt lediglich routinemäßige Entscheidungen oder nur auf der Metaebene zu unterstützen. Dies macht die Frage, wie Menschen und GLMs zusammenarbeiten, um Probleme zu lösen, auch theoretisch interessant. Vor diesem Hintergrund hat diese Dissertation das Ziel, zu erklären, wie Menschen mit GLMs Probleme lösen, und Mechanismen und Einflussfaktoren zu beschreiben, die die Ergebnisse und das menschliche Verhalten prägen.

Forschungsdesign Hierfür verfolgt die Dissertation einen phänomenzentrierten Forschungsansatz und nimmt eine soziotechnische Perspektive auf das Mensch–GLM-Problemlösen (engl. human–GLM problem-solving) ein. Sie folgt einem kumulativen Multi-Studien-Design und umfasst drei Zeitschriften- und acht Konferenzpublikationen. Der empirische Multi-Methoden-Ansatz kombiniert explorative und konfirmatorische Methoden in ausgewählten Aufgaben und Kontexten, darunter Brainstorming, Konzeptentwicklung für Design-Science-Research-Studien, Programmieren sowie professionelle Wissensarbeitsaufgaben. Die Datenerhebung umfasst qualitative und quantitative Befragungen, Interviews und eine Tagebuchstudie sowie Interaktions- und Nut-zungsdaten aus kontrollierten Experimenten mit GLM-basierten, eigens entwickelten Webanwendungen sowie kommerziellen, chatbasierten GLMs. Die Datenanalysen umfassen qualitative Inhaltsanalysen sowie deskriptive und inferenzstatistische Verfahren. Theoretisch stützt sich die Arbeit auf Konzepte wie Social Loafing, kognitive Stimulation und kognitive Belastung und baut auf jahrzehntelanger Forschung zu Gruppenarbeit sowie zu Kreativitätsunterstützungssystemen für Individuen auf.

Ergebnisse Die Studien zeigen empirisch, dass Dyaden aus Mensch und GLM bei der kreativen Ideengenerierung – einem zentralen Aspekt des Problemlösens – eine überlegene Leistung gegenüber nicht durch GLM unterstützten Personen erzielen können. Gleichzeitig differenziert die Arbeit den Leistungsbegriff weiter aus und zeigt Spannungsfelder zwischen individueller und dyadischer Leistung sowie zwischen wahrgenommener und gemessener Leistung auf. Über die Studien hinweg identifiziert die Dissertation vier Mechanismen, durch die GLMs Leistung und menschliches Verhalten beeinflussen: (1) Dynamic Scaffolding, also die Bereitstellung dynamischer Hilfskonstruktionen, beschreibt, wie GLMs Individuen dabei unterstützen, Probleme effizient abzuarbeiten, etwa durch die Unter-stützung bei der Operationalisierung abstrakter Ideen oder durch das Verhindern mentaler Blockaden; (2) Exploration des Problem- und Lösungsraums beschreibt, wie GLMs die in Betracht gezogenen Optionen erweitern oder verengen kann; (3) Aufwandsmanagement (engl. Effort Management) beleuchtet die Verschiebung des Fokus der menschlichen Tätigkeit von der alleinigen Erstellung von Inhalten hin zur Erstellung eigener Inhalte und der Kuratierung von GLM-generierten Inhalten; und (4) Verantwortungszuweisung (eng. Responsibility Attribution) beschreibt, wie GLMs das subjektiv empfundene Verantwortungsgefühl der Nutzenden verändern. Darüber hinaus diskutiert die Dissertation Einflussfaktoren wie individuelle Fähigkeiten oder kontextuelle Normen und leitet auf Grundlage der Ergebnisse vorläufige Designimplikationen ab.

Beitrag Die Dissertation leistet Beiträge insbesondere zu zwei Forschungssträngen: der Mensch–KI-Zusammenarbeit und den Kreativitätsunterstützungssystemen für Individuen (engl. individual creativity support systems). Im Bereich der Mensch–KI-Zusammenarbeit bietet sie ein empirisch fundiertes und geschärftes Verständnis des Problemlösens durch Mensch und GLM und trägt damit zur Definition zentraler Konzepte bei. Darüber hinaus liefert sie erklärendes Wissen, indem sie zugrunde liegende Mechanismen und potenzielle Randbedingungen beschreibt, was eine wichtige Grundlage für die Entwicklung von Gestaltungswissen darstellt. Die Ergebnisse tragen zudem zum Diskurs über die Übertragbarkeit von Mechanismen aus der Forschung zu menschlichen Gruppen auf Mensch–KI-Dyaden bei und zeigen auf, wie das SocialLoafing-Konzept über seinen ursprünglichen Anwendungsbereich hinaus angepasst werden könnte. Zudem erweitert die Dissertation die Forschung zu Kreativitätsunterstützungssystemen für Individuen, indem sie GLMs als einen neuen Typ dieser Systeme konzeptualisiert. Sie liefert empirische Evidenz dafür, dass Mensch–GLM-Dyaden Individuen bei der Ideengenerierung übertreffen können, und zeigt auf, wie GLMs die Diversität der Ergebnisse beeinflussen, wodurch bestehende Annahmen zur Unterstützung von Kreativität durch KI hinterfragt werden. Schließlich legt die Arbeit nahe, dass GLMs eine andere Wirkung auf Menschen entfalten als frühere individuelle Kreativitätsunterstützungssysteme oder als menschliche Gruppenmitglieder.

Limitationen Über die studienspezifischen Limitationen der einzelnen Publikationen hinaus weist die Dissertation mehrere übergreifende Einschränkungen auf, die sich aus ihrer thematischen Abgrenzung sowie dem Forschungsdesign und dem empirischen Ansatz ergeben, wodurch die Generalisierbarkeit der Ergebnisse trotz Methoden- und Datentriangulation begrenzt bleibt. Zudem ist der theoretische Beitrag der Arbeit in seiner Art beschränkt, da der Fokus auf der Entwicklung eines vertieften erklärenden Verständnisses des Phänomens liegt und nicht auf der Entwicklung und Evaluation präskriptiven Gestaltungswissens. Entsprechend bleiben die abgeleiteten Design-implikationen vorläufig und bedürfen weiterer empirischer Validierung.

Ausblick Aus den Ergebnissen dieser Dissertation ergeben sich mehrere Ansatzpunkte für zukünftige Forschung. Wenngleich GLMs die Leistung steigern können, verändern sie auch menschliches Verhalten – teilweise in unerwünschter Weise. Zukünftige Forschung sollte untersuchen, wie Systeme gestaltet werden können, um solchen Effekten entgegenzuwirken und Nutzende dabei zu unterstützen, ihre Aufwandsverteilung zwischen dem Erstellen und dem Kuratieren von Inhalten situationsabhängig zu verbessern. Darüber hinaus sollte erforscht werden, wie leistungsfähigere oder autonomere KI-Systeme sowie der Einsatz mehrerer KI-Systeme oder Agenten das empfundene Verantwortungsgefühl oder den Aufwand bzw. das Engagement beeinflussen. Laut unserer Studie erleben Wissensarbeitende etwas, das sich als Auffülleffekt (engl. fill-up effect) beschreiben lässt, wonach sie eingesparte Zeit durch die Zusammenarbeit mit GLMs nutzen, um zusätzliche Aufgaben zu erledigen. In Anlehnung an Forderungen, neben instrumentellen auch humanistische Ziele stärker zu berücksichtigen, sollte zukünftige Forschung untersuchen, ob solche Muster zu einer „Mechanisierung“ von Wissensarbeit beitragen und welche Auswirkungen dies auf das Wohlbefinden von Beschäftigten haben könnte – insbesondere, wenn sich Wissensarbeit zunehmend von der Erstellung hin zur Kuratierung von Inhalten verlagert. Zudem haben die vorliegenden Studien zwar gezeigt, dass GLMs kreative Aufgaben unterstützen können, jedoch keine professionellen kreativen Arbeitsprozesse mit längeren, iterativen Projekten untersucht. Zukünftige Forschung sollte daher analysieren, ob und wie GLMs Kreativarbeitende auch im kreativen Teil ihrer Arbeit unterstützen können – über reine Effizienzsteigerungen hinaus.