Computational mechanisms of how prior expectations influence face perception

Abstract

In this dissertation, we investigated expectation effects on face perception in the context of Predictive Coding. This framework suggests that the brain represents the world by predicting its contents using internal models based on experiences. Accurate predictions reduce the surprise, i.e., the deviation between expectation and sensory information (Prediction Error, PE). Humans are suggested to be active agents in their environment, meaning that they perform actions (e.g., eye movements) towards anticipated locations of expected sensory information to reduce PEs. In our first eye-tracking study, we found compelling evidence in favour of an active sampling of our environment, shown by a preferred and earlier fixation of expected compared to unexpected face information and expectations predictively guiding saccades. We also showed a reversal into an increased sampling of unexpected face information over time as well as a reduction of the initial fixation of the expected facial feature if sensory information differed strongly from expectations.

Secondly, the Predictive Coding framework suggests a hierarchical information processing, with higher cortical areas sending predictions to lower cortical areas, which compute PEs and send them back to higher areas for model updating. Previous literature suggested that the neural expectation suppression effect, i.e., the reduced activation for expected compared to unexpected faces, could be explained by a higher PE for unexpected faces. However, there was a lack in alternative model testing. We tested with multivariate analyses combined with Deep Convolutional Networks whether this effect could be better explained by Sharpening, an activation of neurons tuned to the expected face information. Sharpening would explain the expectation suppression effect as an overall reduced, but less noisy activation for expected compared to unexpected faces. We found evidence for PE processing along the whole ventral face-processing hierarchy as well as a co-occurrence of sharpened face representations in lower area occipital face area and frontal regions. Furthermore, we found PE processing in areas showing the univariate expectation suppression effect, supporting previous assumptions about it being the underlying computational mechanism for that effect.

Taken together, our findings support different aspects of the Predictive Coding framework, enhancing the importance of both expectation-confirming and -deviating information. They highlight the importance of expectations for our everyday life and suggest that perception on the behavioural and neural level is most likely based on a complex interplay of both information sources.

In dieser Dissertation untersuchten wir Erwartungseffekte in der Gesichterwahrnehmung im Kontext von Predictive Coding. Diese Theorie nimmt an, dass wir unsere Welt durch internale Modelle basierend auf Erfahrungen vorhersagen. Akkurate Vorhersagen reduzieren Überraschung, d.h. die Abweichung zwischen Erwartung und sensorischer Information (Prediction Error, PE). Es wird angenommen, dass Menschen aktive handelnde Personen in ihrer Umwelt sind. Das bedeutet, dass sie Handlungen (z.B. Augenbewegungen) ausführen, um erwartete sensorische Information zu untersuchen und den PE zu reduzieren. Unsere erste Eye-Tracking-Studie bekräftigte dies durch eine bevorzugte und frühe Fixation von erwarteter Gesichtsinformation und das Ausführen prädiktiver Sakkaden zu erwarteter Gesichtsinformation. Über die Zeit wurde vermehrt unerwartete Gesichtsinformation betrachtet. Außerdem wurde erwartete Gesichtsinformation weniger initial fixiert, wenn die sensorische Information stark von der Erwartung abwich.

Die Predictive Coding-Theorie nimmt zudem eine hierarchische Informationsverarbeitung an, so dass höhere kortikale Areale Vorhersagen an niedrigere kortikale Areale senden, die den PE berechnen und diese für Modellupdates an höhere Areale zurücksenden. Bisher wurde angenommen, dass der neuronale ‚expectation suppression effect‘, d.h. die reduzierte Aktivierung für erwartete im Vergleich zu unerwarteten Gesichtern, durch die Berechnung von höheren PEs für unerwartete Gesichter erklärt werden könnte. Es wurden jedoch wenige alternative Modelle getestet. In unserer zweiten fMRT-Studie testeten wir mit multivariaten Analysen und Deep Convolutional Neural Networks, ob der Effekt besser durch Sharpening erklärt werden könnte, einer Aktivierung von Neuronen spezialisiert auf die erwartete Gesichterinformation. Sharpening würde den expectation suppression effect durch eine insgesamt reduzierte, aber weniger ‚noisy‘ Aktivierung für erwartete im Vergleich zu unerwarteten Gesichtern begründen. Wir fanden Evidenz für PEs entlang der gesamten ventralen Gesichterverarbeitungshierarchie sowie gleichzeitig geschärfte Gesichter-Informationen im niedrigeren Areal ‚occipital face area‘ und frontalen Regionen. Zusätzlich fanden wir PEs in Arealen, die den univariaten expectation suppression effect zeigten, was vorherige Annahmen unterstützt, dass sie der zugrundliegende Prozess für den Effekt sein könnten.

Insgesamt unterstützen unsere Ergebnisse verschiedene Aspekte von Predictive Coding und betonen die Relevanz von sowohl erwartungskonformen als auch -abweichenden Informationen. Sie heben die Rolle von Erwartungen in unserem alltäglichen Leben hervor und lassen vermuten, dass Wahrnehmung sowohl auf Verhaltens- als auch auf neuronaler Ebene auf einem komplexen Zusammenspiel beider Informationsquellen beruht.