Artificial Neural Models for Feedback Pathways for Sensorimotor Integration

Abstract

The brain comprises hierarchical modules on various physiological levels. Neural feedback signals (including lateral and top-down connections) modulate the neural activities via inhibitory or excitatory connections within/between these levels. They have predictive and filtering functions influencing the neuronal population coding of the bottom-up sensory-driven signals in the perception-action system.

In this thesis, we propose that the predictive role of the feedback pathways at most levels of action and perception can be modelled by the recurrent connections in different artificial cognitive platforms (simulation and humanoid robots). This will be examined by three recurrent neural network models. Furthermore, the three models and experiments with them show that the recurrent neural networks are able to model feedback pathways and to exhibit the feedback-related sensorimotor predictive functions.

In the first model, inspired by the study of neurobiology, we emphasize that the feedback connections facilitate a predictive mechanism to compensate for the neural delay in the two streams (ventral and dorsal) of the visual system. We model this with a novel recurrent network with a horizontal product. In the simulation, the recurrent connections give rise to the fast- and slow-changing neural activations in the dorsal- and ventral-like hidden layer. Particularly the recurrent connections build a feedback channel to predict the upcoming neural activity in the dorsal-like hidden layer, while another feedback channel maintains stable neural encoding in the ventral-like hidden layer.

In the second part of the thesis, a sensorimotor integration model with visual prediction is implemented, whose visual perception part is considered to be the dorsal stream representation of the first model. This further augments the visual prediction with its role of guiding motor action. Together with the action module which adopts a continuous reinforcement learning algorithm, this model allows a smooth and faster docking behaviour for a humanoid robot.

In the third experiment, we propose that the source of the feedback pathway could be the high-level cognitive processes, such as pre-symbolic representations. Furthermore, the emergence of these cognitive processes and feedback-related sensorimotor functions are not independent processes but they integrate and assist each other in a hierarchical way. Therefore, we augment the first horizontal productmodel with additional units, called parametric bias (PB) units, as a pre-symbolic representation. In the robot experiments, we show that during the learning process of observing sensorimotor primitives, the pre-symbolic representation is self-organized in the parametric units; during prediction, these representational units act as a prior expectation which guides the robot to recognize and to expect various pre-learned sensorimotor primitives.

These three experiments demonstrate that implementation of the feedback pathways with recurrent connections can realize predictive sensorimotor functions. The emergence of these feedback pathways also accounts for the pre-symbolic representation in cognitive systems. Furthermore, we claim that the recurrent connections can be one of possible neural structures to build up the feedback pathways on the sensorimotor integration in artificial cognitive systems.

Das Gehirn besteht aus hierarchisch angeordneten Modulen auf verschiedenen physiologischen Ebenen. Neuronale Rückkopplungen (einschließlich lateraler und hierarchischer Verbindungen) modulieren die neuronalen Aktivitäten über hemmende oder anregende Verbindungen innerhalb sowie zwischen diesen Ebenen. Die Rückkopplungen haben Prädiktions- und Filterfunktionen bezogen auf die neuronale Codierung der sensorisch getriebenen Signale im Wahrnehmungs-Aktionssystem.

In dieser Arbeit stellen wir die Hypothese auf, dass die prädiktive Rolle der Rückkopplungen auf den meisten Ebenen von Wahrnehmung und Handlung durch die rekurrente Verbindungen in verschiedenen künstlichen kognitiven Plattformen (Simulation und humanoide Roboter) modelliert werden kann. Dies wird anhand von drei rekurrenten neuronalen Netzwerkmodellen untersucht. Darüber hinaus zeigen unsere Experimente mit den drei Modellen, dass die rekurrenten neuronalen Netze Rückkopplungen modellieren und rückkopplungsbezogene sensomotorisch prädiktive Funktionen aufweisen.

Im ersten Modell, inspiriert durch das Studium der Neurobiologie, betonen wir,dass die rekurrenten Verbindungen einen prädiktiven Mechanismus ermöglichen, der neuronale Verzögerung in den beiden Strömen (ventral und dorsal) des visuellen Systems kompensiert. Wir modellieren dies mit einem neuartigen rekurrenten neuronalen Netzwerk als horizontales Produkt. In der Simulation führen die rekurrenten Verbindungen zu sich schnell und langsam ändernden neuronalen Aktivierungen in der verborgenen ventralen und dorsalen Schicht. Dabei bilden die rekurrenten Verbindungen einen Rückkopplungskanal, um die kommende neuronale Aktivität in der dorsalen Schicht vorherzusagen, während ein anderer Rückkopplungskanal eine stabile neuronale Codierung in der ventralen Schicht aufrechterhält.

Im zweiten Teil der Arbeit wird ein sensomotorisches Integrationsmodell mit visueller Vorhersage implementiert, dessen visueller Teil als weitergehende Implementierung des dorsalen Pfads des ersten Modells verstanden werden kann. Diese erweitert die visuelle Vorhersage durch die Funktion, motorische Aktionen auszuführen. Zusammen mit dem Aktionsmodul, das einen Algorithmus zum kontinuierlichen Verstärkungslernen einsetzt, erlaubt dieses Modell ein reibungsloses und schnelleres Dockingverhalten für einen humanoiden Roboter.

Im dritten Versuch stellen wir die Hypothese auf, dass die Quelle der Rückkopplungen höhere kognitive Prozesse, wie zum Beispiel präsymbolische Repräsentationen sein können. Darüber hinaus sind die Entstehung dieser kognitiven Prozesse und rückkopplungs-bezogenen sensomotorische Funktionen nicht unabhängige Prozesse, sondern sie integrieren und unterstützen sich gegenseitig auf eine hierarchische Weise. Deshalb erweitern wir das erste horizontale Produktmodell um zusätzliche Einheiten, die so sogenannten parametrischen Bias (PB) Einheiten, als präsymbolische Repräsentation. In Roboterexperimenten zeigen wir, dass während des Lernprozesses, bei dem sensomotorische Primitive beobachten werden, sich die präsymbolische Repräsentation in den PB Einheiten selbstorganisiert. Während der Vorhersage wirken diese Darstellungseinheiten als Vorerwartung, die den Roboter dazu führt, verschiedene vorher gelernte sensomotorische Primitive zu erwarten und zu erkennen.

Diese drei Versuche zeigen, dass die Implementierung der Rückkopplungen mit rekurrenten Verbindungen eine prädiktive Sensomotorik verwirklichen kann. Die Entstehung dieser Rückkopplungen ist auch für die präsymbolische Repräsentationen in kognitiven Systemen verantwortlich. Außerdem behaupten wir, dass rekurrente Verbindungen mögliche neuronale künstliche Netzwerkstrukturen zum Aufbau der Rückkopplungen für die sensomotorische Integration in künstlichen kognitiven Systeme sein können.