Dopaminergic modulation of the explore/exploit trade-off in human decision making

Abstract

A central aspect of many decision problems is the regulation of when to exploit, i.e. to choose a familiar option with a well-known reward, and when to explore, i.e. to choose an alternative option with an uncertain but potentially larger reward. This decision dilemma is commonly known as the explore/exploit trade-off, and a growing body of evidence suggests that dopamine (DA) may be tightly involved in regulating this trade-off. However, direct evidence for a causal role of DA in explore/exploit behavior is sparse and still lacking in humans. Therefore, the aim of this study was to directly test for DA effects on human explore/exploit behavior and its neural correlates in a pharmacological fMRI approach, using L-dopa (DA precursor) and haloperidol (DA antagonist) in a double-blind, placebo-controlled, within-subjects design. First, explore/exploit behavior, as assessed with the restless four-armed bandit task, was analyzed using different cognitive models of learning and decision making in a hierarchical Bayesian modeling approach. Among the tested models, choice behavior was best described by the Bayes-SM+EP model – a model that includes a Bayesian learning rule for tracking both the mean and variance (uncertainty) of the expected reward, combined with a modified softmax choice rule that captures both random and directed exploration along with choice perseveration. Using this model, it was found that directed (uncertainty-driven) exploration, as indexed by the φ parameter, was significantly reduced across subjects under L-dopa compared to placebo. In contrast, haloperidol did not significantly shift the φ parameter across subjects, but showed a tendency to reduce the group-level variance of this parameter relative to placebo and L-dopa. To examine drug effects on the neural level, choices were first classified as either exploitative (i.e. following the highest expected value) or exploratory, and the pattern of brain activity was compared between both types of choices. Across all drug conditions, exploratory choices were associated with higher activity in the frontopolar cortex (FPC) and intraparietal sulcus (IPS), consistent with previous studies which suggest that exploration is mediated via a frontoparietal control network. In contrast, exploitative choices showed higher activity in the orbitofrontal cortex (OFC) and ventromedial prefrontal cortex (vmPFC), brain areas that have previously been implicated in reward coding and exploitation. Surprisingly, no drug effects were found on these neural correlates of exploratory and exploitative choices, nor on striatal reward prediction error signaling. Yet, an exploratory analysis of the brain imaging data revealed that L-dopa reduced brain activity associated with the overall uncertainty in the insula and dorsal anterior cingulate cortex (dACC), areas that have been implicated in coding reward uncertainty and in mediating the effect of emotional arousal on risky decision making. Accordingly, by reducing uncertainty-related activity in these regions, L-dopa might have delayed the time point at which exploratory decisions are triggered in response to accumulating uncertainty. In conclusion, the results of this study support the notion that DA plays a causal role in human explore/exploit behavior. While more research is needed to reveal the underlying neural mechanisms involved in this process, first evidence suggests that DA may influence uncertainty-related activity in a cortical control network that guides attention and behavioral responses toward salient, uncertain choice options.

Zentraler Gegenstand vieler Entscheidungsprobleme ist die Frage, wann man „exploitet“, d.h. eine vertraute Option mit bekannter Belohnung wählt, und wann man „exploriert“, d.h. eine alternative Option mit einer ungewissen, aber möglicherweise höheren Belohnung wählt. Dieses Entscheidungs-dilemma ist als „explore/exploit trade-off“ bekannt, und es gibt zunehmend Anhaltspunkte dafür, dass Dopamin (DA) eine zentrale Rolle in der Regulierung dieses trade-offs spielt. Direkte Evidenz dafür, dass DA kausal am explore/exploit Verhalten beteiligt ist, ist jedoch spärlich und fehlt bislang beim Menschen. Das Ziel dieser Studie war es daher, die kausale Rolle von DA in Bezug auf menschliches explore/exploit Verhalten und dessen neuronale Korrelate zu untersuchen. Hierzu wurde ein pharmakologischer fMRI Ansatz gewählt, bei dem L-Dopa (ein DA Vorläufer) und Haloperidol (ein DA Antagonist) in einem doppelt verblindeten, Placebo-kontrollierten Crossover-Studiendesign zur Anwendung kamen. Zunächst wurde explore/exploit Verhalten, das mittels der nicht-stationären vierarmigen Banditen-Aufgabe („restless four-armed bandit task“) untersucht wurde, unter Verwendung verschiedener kognitiver Modelle des Lernens und Entscheidens in einem hierarchischen Bayesianischen Modellierungsverfahren analysiert. Unter den getesteten Modellen wurde das Entscheidungsverhalten am besten durch das Bayes-SM+EP Model beschrieben. Dieses Modell kombiniert eine Bayesianische Lernregel, die sowohl den Mittelwert als auch die Varianz (Unsicherheit) der erwarteten Belohnung kontinuierlich aktualisiert, mit einer modifizierten Softmax-Entscheidungs-regel, die sowohl zufällige als auch gerichtete Exploration und Perseveration erfasst. Anhand dieses Modells wurde festgestellt, dass gerichtete (unsicherheits-getriebene) Exploration, erfasst durch den φ Parameter, über alle Testpersonen hinweg unter L-Dopa gegenüber Placebo signifikant reduziert war. Dagegen zeigte sich unter Haloperidol keine signifikante Verschiebung des φ Parameters über alle Testpersonen hinweg, jedoch eine Tendenz zur Reduzierung der Gruppenvarianz dieses Parameters gegenüber Placebo und L-Dopa. Um die Effekte der dopaminergen Wirkstoffe auf der neuronalen Ebene zu untersuchen, wurden Entscheidungen zunächst als exploitativ (d.h. dem höchsten erwarteten Belohnungswert folgend) oder explorativ klassifiziert und das Muster der Gehirn-aktivierung zwischen beiden Arten von Entscheidungen verglichen. Über alle experimentellen Bedingungen hinweg waren explorative Entscheidungen mit einer höheren Aktivität im frontopolaren Kortex (FPC) und intraparietalen Sulcus (IPS) assoziiert. Dieser Befund steht im Einklang mit früheren Studien, welche nahelegen, dass exploratives Verhalten über ein frontoparietales Kontrollnetzwerk vermittelt wird. Im Gegenzug dazu zeigten exploitative Entscheidungen eine höhere Aktivität im orbitofrontalen Kortex (OFC) und ventromedialen Präfrontalkortex (vmPFC) – Gehirnregionen, die zuvor mit der Kodierung von Belohnungen und exploitativem Verhalten in Verbindung gebracht wurden. Wider Erwarten zeigte sich kein signifikanter Einfluss der dopaminergen Substanzen auf die erwähnten neuronalen Korrelate explorativer und exploitativer Entscheidungen, noch auf die striatalen Korrelate des Belohnungs-Vorhersage-Fehlers. Hingegen ergab eine exploratorische Analyse der fMRI-Daten, dass L-Dopa zu einer Reduktion der mit der Gesamtunsicherheit (d.h. der Belohnungs-unsicherheit über alle Entscheidungsoptionen hinweg) assoziierten Gehirnaktivität in der Insula und dem dorsalen anterioren cingulären Kortex (dACC) führt – Gehirnareale, die zuvor mit der Kodierung von Unsicherheit sowie mit der Vermittlung emotionaler Einflüsse auf riskantes Entscheidungs-verhalten in Verbindung gebracht wurden. Demnach könnte vermutet werden, dass L-Dopa durch die Verringerung der unsicherheitsbezogenen Gehirnaktivität in diesen Arealen den Zeitpunkt verzögert hat, zu dem exploratorische Entscheidungen als Reaktion auf zunehmende Unsicherheit initiiert werden. Zusammenfassend stützen die Ergebnisse dieser Studie weitestgehend die Vorstellung, dass DA eine kausale Rolle im menschlichen explore/exploit Verhalten einnimmt. Wenngleich weitere Forschung nötig ist, um die zugrundeliegenden neuronalen Mechanismen dieser Prozesse aufzudecken, legen erste Befunde nahe, dass DA unsicherheitsbezogene Aktivität in einem kortikalen Kontrollnetzwerk beeinflusst, welches Aufmerksamkeit und Verhalten in Richtung salienter, unsicherer Entscheidungsoptionen lenkt.