Semantic Incongruency Interferes with Endogenous Attention in Cross-Modal Integration of Semantically Congruent Objects

Abstract

Werden multimodale Reize gemeinsam als zusammengehörig verarbeitet, spricht man von multimodaler Integration. Dieser Zusammenschluss wird durch viele Faktoren beeinflusst, wie zum Beispiel von der inhaltlichen Bedeutung (Semantik) der einzelnen Reize und Beachtung dieser mit zielgerichteter (endogener) Aufmerksamkeit. Semantische Kongruenz kann dabei Verarbeitungsressourcen zu einem kongruenten Stimulus umlenken, während Aufmerksamkeit die Integration beachteter multimodaler Stimuli begünstigt. Wie sich diese Verhältnisse unter Beachtung von drei Reizen, von denen zwei im zielgerichteten Aufmerksamkeitsfokus stehen, verhalten, untersuchten wir in dieser Studie. Wir erstellten Stimuli aus drei Komponenten: 1. ein visuelles Objekt oder Lebewesen im Vordergrund (V), 2. ein Ton (A) und 3. ein visueller Hintergrund (B). Unsere Studienteilnehmer wiesen wir an, sich auf zwei dieser Komponenten zu konzentrieren und deren Kongruenz zu bewerten. Dazu teilten wir die Probanden in drei Gruppen ein: eine sollte das Bild im Vordergrund und den Ton beachten (Gruppe VA, n=30), die zweite das Bild im Vordergrund und den Hintergrund (Gruppe VB, n=27) und die dritte den Ton und den Hintergrund (Gruppe AB, n=30). Die Kongruenz variierten wir systematisch zwischen den drei Stimuluskomponenten: es konnten alle Komponenten inhaltlich übereinstimmen (z.B. V: Löwe, A: Gebrüll, B: Savanne), alle zueinander inkongruent sein (z.B. V: Krankenwagen, A: Glockengeläut, B: Schwimmbad) oder zwei der drei Komponenten kongruent sein mit dem dritten inkongruent dazu (z.B. V: Ente, A: Geschnatter, B: Telefonzelle). Als Ergebnis konnten wir einen Effekt in allen Gruppen nachweisen: Wenn die beiden beachteten Stimuluskomponenten inhaltlich zueinander passten, die unbeachtete Komponente aber semantisch inkongruent war, wurden deutlich mehr Fehler als in allen anderen Stimuluskombinationen gemacht. Zur weiteren Einordnung dieses Resultats führten wir eine hierarchische Drift-diffusion-Modellierung durch, die in den kritischen Bedingungen mit Kongruenz der beachteten Reize und inkongruentem Störreiz eine signifikant kleinere drift rate ergab. Die drift rate gibt bei dieser Modellierung von Entscheidungsprozessen die Ansammlung von Entscheidungshinweisen an. Ist sie niedrig, spricht dies für erschwerte Aufgabenanforderung. In unserer Studie wird also die Entscheidung in der kritischen Bedingung durch die Beeinflussung durch den inkongruenten Reiz erschwert. Dieser Einfluss auf die Hinweisansammlung war unabhängig davon, welche Objektpaare beachtet wurden. Eine Auswirkung der Sinnesmodalität auf die Anfälligkeit der Kongruenzbewertung durch inkongruente, unbeachtete Störreize scheint es somit nicht zu geben. Durch eine Kontrollanalyse konnten wir schnell eine mögliche Verzerrung ausschließen, die die erhöhte Fehlerrate durch insgesamt häufigere korrekte „nein, nicht passend“-Antworten begründen könnte. Wir konnten in dieser Studie nachweisen, dass unsere Wahrnehmung sehr empfindlich für semantische Inkongruenz ist, auch wenn diese nicht im bewussten, zielgerichteten Aufmeksamkeitsfokus steht.

Efficient multisensory integration is often influenced by other cognitive processes including, but not limited to, semantic congruency and focused endogenous attention. Semantic congruency can re-allocate processing resources to the location of a congruent stimulus, while attention can prioritize the integration of multi-sensory stimuli under focus. Here, we explore the robustness of this phenomenon in the context of three stimuli, two of which are in the focus of endogenous attention. Participants completed an endogenous attention task with a stimulus compound consisting of 3 different objects: (1) a visual object (V) in the foreground, (2) an auditory object (A), and (3) a visual background scene object (B). Three groups of participants focused their attention on either the visual object and auditory sound (Group VA, n = 30), the visual object and the background (VB, n = 27), or the auditory sound and the background (AB, n = 30), and judged the semantic congruency of the objects under focus. Congruency varied systematically across all 3 stimuli: All stimuli could be semantically incongruent (e.g., V, ambulance; A, church bell; and B, swimming-pool) or all could be congruent (e.g., V, lion; A, roar; and B, savannah), or two objects could be congruent with the remaining one incongruent to the other two (e.g., V, duck; A, quack; and B, phone booth). Participants exhibited a distinct pattern of errors: when participants attended two congruent objects (e.g., group VA: V, lion; A, roar), in the presence of an unattended, incongruent third object (e.g., B, bath room) they tended to make more errors than in any other stimulus combination. Drift diffusion modeling of the behavioral data revealed a significantly smaller drift rate in two-congruent-attended condition, indicating slower evidence accumulation, which was likely due to interference from the unattended, incongruent object. Interference with evidence accumulation occurred independently of which pair of objects was in the focus of attention, which suggests that the vulnerability of congruency judgments to incongruent unattended distractors is not affected by sensory modalities. A control analysis ruled out the simple explanation of a negative response bias. These findings implicate that our perceptual system is highly sensitive to semantic incongruencies even when they are not endogenously attended.