Timing in a multisensory context with music and movements: In search of an internal clock

Abstract

Time cannot be perceived directly via a dedicated sensory organ but is rather construed from inputs of multiple sensory modalities. The debate of whether the internal clock model is central or intrinsic (distributed) has been a topic of interest in time perception studies. This dissertation aims to find theoretical and empirical evidence for the optimal internal clock model in the seconds range timescale. In addition, human timing performances on different levels of ecological validity were also examined to further verify the sensitivity of the internal clock model towards the environmental influences as a less explored attribute. Four studies were conducted accordingly: Study 1 explored the literature backgrounds of the two clock models and identified key points of differences. Study 2 followed the thread of modality specificity in temporal processing and confirmed the discrepancy between visual and auditory inputs with tempo judgments. Study 3 further compared the duration judgments with visual and audiovisual stimuli using the same movements as in Study 2, investigating whether bimodal stimuli change time perception compared to unimodal inputs. Finally, Study 4 examined the participants’ passage of time (PoT) ratings and duration estimation in the context of audiovisual drumming performances, which entailed higher ecological validity than the lab-designed motions in Study 2 and 3. In Study 1, a narrative literature review was conducted to investigate the main internal clock models, the supportive mechanisms, and the key factors that could affect the internal clock speed. The study identified the intrinsic and central clock as the optimal leading models in the sub-seconds and supra-seconds timescales, respectively. Evidence that supports either model diverged on the presence of a modality effect: The intrinsic clock is in line with modality-specific timing with an emphasis on sub-second, sensory-based timing. In contrast, the central clock hypothesizes a universal timer across modalities where cognitive mechanisms such as attention contribute to the seconds' range and beyond. However, empirical evidence suggested that the modality-specific effect in time-related judgments was also present in the seconds-to-minute time span. The finding invites further exploration to confirm the possibility of an intrinsic clock model in the time range of what used to be believed to be the applicable range for the central clock. To this end, Study 2 investigated tempo judgments in a tempo-incongruent context with the bisection paradigm. Participants judged the overall tempo of a stimulus to be closer to the slow or fast reference tempi. In contrast, the auditory and visual tempi of the stimulus did not necessarily align. The findings suggested that participants not only preferred to rely on the visual tempo, but it also elicited greater change per unit in the proportion of “fast” judgments than the auditory tempo overall. In this case, the results support the intrinsic clock model in the supra-second timescale. Apart from the modality specificity, Study 2 also revealed a possibility of visual dominance in temporal processing by increasing the ecological validity of the stimulus. Instead of employing artificial stimuli as previous studies did, this study used human movements that may have provided higher plausibility that was in line with the participants’ perceptual experience. Study 3 continued investigating modality-relevant effects for the intrinsic clock model by comparing perceived durations and emotions between visual (unimodal) and audiovisual (bimodal) presentations. In this study, participants judged the durations, emotional valence, and arousal of tempo-shifted movements (same basis as in Study 2). No significant differences were found between the modalities, suggesting that the bimodal advantage in temporal processing that has been found in some studies earlier may not be present when ecologically valid movements were evaluated. This might be due to the high salience of the visual stimuli, again supporting the visual dominance effect found in Study 2. In addition, the findings showed that emotional arousal and valence were sensitive to differences in movement complexity and fluidity when stimuli of different original tempi were shifted to the same speed. This indicates a possibility that tempo, as an important factor in the internal clock speed, is not merely event frequency but a multiple-faceted concept that calls for future exploration. Extending on the findings of ecological validity, Study 4 adopted a musical context of high ecological validity where a drummer performed rhythms varying in tempo and complexity as stimuli. The study compared timing performances when participants observed the stimuli only and when they freely and isochronously tapped to the stimuli. The findings indicated significantly faster PoT and shorter duration (at slow and medium tempi) perceived when tapping than not tapping. In this case, motor involvement appeared to distract attention from time judgments, suggesting that attention is a key component in supra-second timing. Though not present in all conditions, tempo effects on both PoT and duration estimation in Study 4 compared to not finding an effect in Study 3 might suggest that naturalistic performance scenes that were more ecologically valid than lab-designed movements potentially also received more attention, leading to a greater extent of changes in the internal clock speed according to the pacemaker-counter theory. It is speculated that ecological validity as an important environmental factor influences the allocation of attention in temporal processing. However, the existing intrinsic clock lacks the power to explain the role of attention in supra-second timing as with the central clock model. Therefore, the discrepancy demands future investigations of a timing mechanism compatible with modality specificity and cognitive processes indispensable to seconds-range temporal judgments. In general, the findings of the current dissertation have contributed to the understanding of the internal clock that is at the center of time perception in an audiovisual context. Study 1 identified modality specificity that essentially distinguished the central vs. intrinsic clock model. The Modality effects found in Study 2 further provided evidence for an intrinsic clock in the supra-second timescale. Using the same movement stimuli, Study 3 revealed the absence of a bimodal advantage in temporal processing compared to unimodal stimuli, potentially corresponding to a visual dominance effect with ecologically valid inputs. Study 4 found evidence for the involvement of attention in supra-second PoT and duration judgments, in addition to a possible effect of ecological validity on the internal clock speed. The observations provide implications for the evolvement of internal clock models, along with passive and proactive strategies that could influence time perception in day-to-day auditory and visual experiences.

Zeit kann nicht direkt über ein bestimmtes Sinnesorgan wahrgenommen werden, sondern wird vielmehr aus den Informationen mehrerer Sinnesmodalitäten konstruiert. Die Diskussion darüber, ob der menschliche Zeitmessungsmechanismus, die sogenannte innere Uhr, ein zentrales oder ein intrinsisches (verteiltes) Uhrenmodell darstellt, ist ein wichtiges Thema in der Zeitwahrnehmungsforschung. Ziel dieser Dissertation war es, theoretische und empirische Belege für das optimale interne Uhrenmodell im Sekundenbereich zu finden. Dazu wurden menschliches Zeitempfinden auf verschiedenen Ebenen der ökologischen Validität untersucht, um die Sensitivität des internen Uhrenmodells gegenüber Umwelteinflüssen als einen weniger erforschten Gegenstand weiter zu verifizieren. Hierfür wurden vier Studien durchgeführt: Studie 1 untersuchte die existierende Forschungsliteratur zu den beiden Uhrenmodellen und identifizierte die wichtigsten Unterschiede. Studie 2 vertiefte den Aspekt der Modalitätsspezifität bei der zeitlichen Verarbeitung und bestätigte die Diskrepanz zwischen visuellen und auditiven Inputs bei Tempobeurteilungen. In Studie 3 wurde die Beurteilung der Dauer bei visuellen und audiovisuellen Reizen mit denselben Stimulus-Bewegungen wie in Studie 2 verglichen in Erwartung eines additiven Effekts bei bimodalen im Gegensatz zu unimodalen Inputs. Studie 4 untersuchte schließlich die Zeitspannen- (PoT) und Zeitdauereinschätzung von Versuchsteilnehmenden im Kontext audiovisueller Perkussionsperformances, die eine höhere ökologische Validität als die im Labor entworfenen Bewegungen in Studie 2 und 3 mit sich brachten. Studie 1 beschäftigt sich mit der vorhandenen Literatur, um die wichtigsten Modelle der inneren Uhr, die unterstützenden Mechanismen sowie die Schlüsselfaktoren zu untersuchen. In der Studie wurden die intrinsische Uhr und die zentrale Uhr als die führenden Modelle identifiziert, die im Sub-Sekunden- bzw. Supra-Sekunden-Zeitbereich optimal waren. Die Beweise, die die beiden Modelle unterstützen, unterscheiden sich hinsichtlich des Vorhandenseins eines Modalitätseffekts: Die intrinsische Uhr steht im Einklang mit der modalitätsspezifischen Zeitmessung mit Schwerpunkt auf der sensorischen Zeitmessung im Subsekundenbereich, während die zentrale Uhr von einem universellen Zeitgeber über alle Modalitäten hinweg ausgeht, bei dem die kognitiven Mechanismen, wie z. B. die Aufmerksamkeit, einen Beitrag im Sekundenbereich und darüber hinaus leisten. In Studie 1 wurden jedoch empirische Belege gefunden, die den Modalitätseffekt auch auf der supra-sekundlichen Zeitskala hervorheben. Dieses Ergebnis lädt zu weiteren Untersuchungen ein, um die Möglichkeit eines intrinsischen Uhrenmodells in dem Zeitbereich zu bestätigen, der früher als der für die zentrale Uhr geltende Bereich angesehen wurde. Zu diesem Zweck wurden in Studie 2 die Tempobeurteilungen in einem tempo-inkongruenten Kontext mit dem Bisektionsparadigma untersucht. Die Versuchsteilnehmenden bewerteten das Gesamttempo eines Reizes als näher am langsamen oder schnellen Referenztempo, während das auditive und visuelle Tempo des Reizes nicht unbedingt übereinstimmte. Die Ergebnisse deuten darauf hin, dass nicht nur mehr Teilnehmende es vorzogen sich auf das visuelle Tempo zu verlassen, sondern dass dieses auch eine größere Veränderung pro Einheit im Anteil der "schnellen" Beurteilungen hervorrief als das auditive Tempo insgesamt. In diesem Fall spricht die Evidenz für das intrinsische Uhrenmodell auf der Supra-Sekunden-Zeitskala. Abgesehen von der Modalitätsspezifität zeigte Studie 2 auch eine mögliche visuelle Dominanz bei der zeitlichen Verarbeitung, indem die ökologische Validität des Stimulus erhöht wurde. Statt künstliche Stimuli wie vorangehende Studien zu verwenden, nutze diese Studie menschliche Bewegungen, welche möglicherweise eine höhere Plausibilität bieten, mit der Wahrnehmungserfahrung der Teilnehmende übereinzustimmen. Studie 3 setzte den Weg der modalitätsrelevanten Effekte für das intrinsische Uhrenmodell fort, indem sie die wahrgenommenen Dauern und Emotionen zwischen visuellen (unimodalen) und audiovisuellen (bimodalen) Präsentationen verglich. In dieser Studie beurteilten die Teilnehmenden die Dauer, die emotionale Valenz und die Erregung von tempoverschobenen Bewegungen (dieselbe Basis wie in Studie 2). In Studie 3 wurden keine signifikanten Unterschiede in der Modalität festgestellt, was darauf hindeutet, dass der bimodale Vorteil bei der zeitlichen Verarbeitung, der in einigen früheren Studien festgestellt wurde, bei der Bewertung ökologisch valider Bewegungen möglicherweise nicht gegeben ist. Dies könnte auf die hohe Salienz der visuellen Reize zurückzuführen sein, was wiederum den in Studie 2 gefundenen Effekt der visuellen Dominanz unterstützt. Darüber hinaus zeigten die Ergebnisse, dass emotionale Erregung und Valenz von Unterschieden in der Bewegungskomplexität und -fluidität abhängig waren, wenn Stimuli mit unterschiedlichem Originaltempo in derselben Geschwindigkeit präsentiert wurden. Dies deutet darauf hin, dass das Tempo als wichtiger Faktor für die interne Taktrate nicht nur die bloße Frequenz von Ereignissen ist, sondern ein vielschichtiges Konzept, das noch weiter erforscht werden sollte. In Studie 4 wurde ein musikalischer Kontext mit hoher ökologischer Validität untersucht, in dem ein Schlagzeuger Rhythmen mit unterschiedlichem Tempo und unterschiedlicher Komplexität als Stimuli einspielte. Verglichen wurden die Zeitleistungen, als die Teilnehmer die Stimuli nur beobachteten und als sie frei und isochron zu den Stimuli klopften. Die Ergebnisse zeigten eine signifikant schnellere PoT und eine kürzere Dauer (bei langsamen und mittleren Tempi) beim Klopfen im Vergleich zu keinem Klopfen. Hier schien die motorische Beteiligung die Aufmerksamkeit von der Zeitbeurteilung abzulenken, was darauf hindeutet, dass die Aufmerksamkeit eine Schlüsselkomponente beim Supersekunden-Timing ist. Das Auftreten von Tempo-Effekten in Studie 4 bei der PoT als auch bei der Dauereinschätzung, im Vergleich zum fehlenden Effekt in Studie 3, könnte bedeuten, dass naturalistische Aufführungsszenen, die ökologisch valider waren als im Labor entworfene Bewegungen, möglicherweise auch mehr Aufmerksamkeit erhielten, was gemäß der Schrittmacher-Zähler-Theorie zu einem größeren Ausmaß an Veränderungen in der internen Uhrgeschwindigkeit führte. Es wird vermutet, dass ökologische Validität als wichtiger Umweltfaktor die Aufmerksamkeitszuweisung bei der zeitlichen Verarbeitung beeinflusst. Allerdings fehlt der existierenden intrinsischen Uhr die Erklärungskraft hinsichtlich der Rolle der Aufmerksamkeit bei der Supra-Sekunden-Taktung wie beim zentralen Uhrenmodell. Die Diskrepanz erfordert daher zukünftige Untersuchungen eines Timing-Mechanismus, der mit der Modalitätsspezifität und den kognitiven Prozessen, die für zeitliche Urteile im Sekundenbereich unerlässlich sind, kompatibel ist. Insgesamt haben die Ergebnisse der vorliegenden Dissertation zum weiteren Verständnis der internen Uhr beigetragen, die im Zentrum der Zeitwahrnehmung in einem audiovisuellen Kontext steht. In Studie 1 wurde eine Modalitätsspezifität identifiziert, die im Wesentlichen zwischen dem zentralen und dem intrinsischen Uhrenmodell unterscheidet. Modalitätseffekte, die in Studie 2 gefunden wurden, lieferten weitere Belege für eine intrinsische Uhr in der Supersekunden-Zeitskala. Unter Verwendung der gleichen Bewegungsreize zeigte Studie 3 das Fehlen eines bimodalen Vorteils bei der zeitlichen Verarbeitung im Vergleich zu unimodalen Reizen, was möglicherweise einem visuellen Dominanzeffekt mit ökologisch validen Stimuli entspricht. In Studie 4 wurden Belege für die Beteiligung der Aufmerksamkeit an der Beurteilung von PoT und Dauer im Sekundenbereich gefunden, zusätzlich zu einem möglichen Effekt der ökologischen Validität auf die Geschwindigkeit der internen Uhr. Die Beobachtungen haben Auswirkungen auf die Entwicklung von Modellen der inneren Uhr sowie auf passive und proaktive Strategien, die die subjektive Zeitwahrnehmung bei alltäglichen Hör- und Seherlebnissen beeinflussen könnten.