One Computer Scientist's (Deep) Superior Colliculus : Modeling, understanding, and learning from a multisensory midbrain structure

Abstract

Every natural organism embodies solutions to a host of ecological problems, found through eons of evolution. The study of these solutions and their applications in technical settings is called biomimetics and it has been a driving force in many areas of research. Biomimetic approaches at various levels are attractive especially in robotics due to the similarity of the challenges in robotics to those faced by living organisms. Neurorobotics is the application of biomimetics to robotic applications at the level of neural information processing. It is a promising direction for improving the speed, flexibility, robustness, generality, and adaptivity of robotic systems, the lack of which often limits the practicability of such systems. But it is not only computer science and robotics which can profit from the study of natural organisms. Neurorobotics can also provide validation for neuroscientific theories by testing them in real, controlled, and highly observable sensorimotor settings. Another possible contribution is an algorithmic, information processing view on biological neural physiology and phenomenology. Such a view may provide interpretation, inspire research questions, and help form theories from biological observation. This thesis is dedicated to the study of the deep superior colliculus, a region of the vertebrate midbrain. The deep superior colliculus integrates visual, auditory, and other sensory input to localize stimuli and guide motor behavior. Its evolutionary preservation, its role in sensorimotor processing, and the amount of available biological data about it makes it an ideal candidate for neurorobotic and computational inquiry. At the same time, the study of the deep superior colliculus and the multisensory integration it performs has largely been descriptive: for the most part, models have either aimed to describe its neural biology or its system-level behavior mathematically. This is true especially of the development of multisensory integration in the young animal. An algorithmic view is required to describe the way system-level behavior is implemented in neural biology and in order to allow for an evaluation and for transfer of the solutions implemented in the deep superior colliculus to technical problems. Therefore, the strategy of this thesis is as follows: it first closes the gap between models of physiology and system-level behavior of multisensory processing in the deep superior colliculus, and especially of the development thereof. To this end, a new model of the deep superior colliculus based on self-organized statistical learning is proposed. As an indication of its adequacy, the model is shown to replicate a variety of important neurophysiological and behavioral phenomena, including experience-dependent learning, topographic mapping, the spatial principle and the principle of inverse effectiveness, as well as effects of spatial and feature attention. These effects are demonstrated in computer simulations and in a neurorobotic experiment. Next, the model is studied functionally, described in mathematical terms, and refined into a practical machine learning algorithm. Finally, that algorithm is applied to a practical problem in robotics: binaural sound-source localization. We show that, given input related to interaural time and level differences in binaural recordings, our algorithm can learn to perform sound-source localization. Our system competes with state-of-the- art sound-source localization systems in terms of localization accuracy. What is more, our system improves on the state of the art, being an unsupervised learning system, capable of online learning, and producing not only a best estimate but a probabilistic population code for different hypotheses. Thus, this thesis contributes to computational neuroscience a new model of the deep superior colliculus which explains a unique set of phenomena and provides a functional interpretation to its biology. It contributes to general machine learning an unsupervised learning algorithm which learns a topographic latent variable model of its input. And it contributes to robotics a system for unsupervised, online learning of binaural sound- source localization.

Jeder natürliche Organismus trägt in sich Lösungen zu einer Vielzahl von ökologischen Problemen, die die Evolution im Verlauf von Äonen entwickelt hat. Die Beschäftigung mit diesen Lösungen und mit deren Anwendung im technischen Bereich nennt man Biomimetik. In vielen Forschungdisziplinen hat sie sich im Laufe der Zeit als bedeu- tender Antrieb erwiesen. Besonders in den unterschiedlichen Teilbereichen der Robotik sind biomimetische Ansätze attraktiv, da die Herausforderungen, die sich Robotern und damit Robotikern stellen, häufig denen ähneln, mit denen auch lebende Organismen zu kämpfen haben. Die Neurorobotik ist die Anwendung der Biomimetik im Bereich der Informationsverarbeitung in Nervensystemen. Sie ist ein vielversprechender Ansatz, von dem sich Verbesserungen in der Geschwindigkeit, Flexibilität, Robustheit, Allgemein- heit, und Adaptivität robotischer Systeme erhoffen lassen. Es ist aber nicht so, dass nur die Informatik und die Robotik von der Erforschung natürlicher Organismen profitieren können. Andersherum kann auch die Neurorobotik helfen, Theorien der Neurowissenschaften unter realen, kontrollierten und genau beobacht- baren Bedingungen zu testen. Weiterhin kann die Informatik einen algorithmischen Blickwinkel auf biologische Neurophysiologie und Phänomenologie beisteuern, der die Informationsverarbeitung im Fokus hat. Ein solcher Blickwinkel bietet Interpretation, inspiriert Forschungsfragen und kann helfen, Theorien aus biologischen Beobachtungen zu formen. Die vorliegende Arbeit beschäftigt sich mit dem tiefen Colliculus Superior, einer Region des Mittelhirns der Wirbeltiere. Der tiefe Colliculus Superior integriert visuellen, auditorischen und anderen sensorischen Input, um Stimuli zu lokalisieren und Motorik zu steuern. Die Tatsache, dass er evolutionär hoch stabil ist, seine Rolle in der sensomotorischen Verarbeitung und die schiere Menge vorhandenen biologischen Wissens über ihn machen ihn ideal für die Betrachtung aus neurorobotischer und algorithmischer Sicht. Trotzdem ist seine bisherige Erforschung hautpsächlich deskriptiv geblieben: Bestehende Modelle bemühen sich weitgehend, entweder seine Neurobiologie oder sein Wirken auf Verhaltensebene detailliert abzubilden. Besonders für den Aspekt der Entwicklung multisensorischer Integration im jungen Tier ist das der Fall. Um die Lösungen sensomotorischer Probleme, die im tiefen Colliculus Superior implementiert sind, evaluieren und für technische Systeme nutzbar zu machen, ist es notwendig diese Lücke zwischen Neurobiologie und Verhaltensebene durch Modelle zu schließen, die sich des algorithmischen Blickwinkels bedienen.

Die vorliegende Arbeit verfolgt daher die folgende Strategie: zuerst wird die oben beschriebene Lücke zwischen Neurobiologie und Verhaltensebene der multisensorischen Integration und ihrer Entwicklung geschlossen. Dazu wird ein neues Modell vorgestellt, das auf Selbstorganisation und Lernen von Statistik beruht. Um die Angemessenheit dieses Modells zu demonstrieren, wird gezeigt, dass es wichtige Phänomene der Neurophysiologie und des Verhaltens multisensorischer Integration repliziert, darunter erfahrungsbasiertes Lernen, topographische Karten, das sogenannte spatial principle, und das principle of inverse effectiveness, sowie Effekte räumlicher und merkmalsbezogener Aufmerksamkeit. Diese Effekte werden sowohl in Computersimulationen als auch in einem neurorobotischen Experiment demonstriert. Im nächsten Schritt wird das entstandene Modell aus funktioneller Sicht betrachtet, mathematisch beschrieben und zu einem praktisch anwendbaren Maschinenlernalgorithmus weiterentwickelt. Schließlich wird der Algorithmus an einer praktischen Anwendung in der Robotik erprobt, der binauralen Lokalisierung von Tonquellen. In einem Roboterexperiment wird gezeigt, dass der Algorithmus lernen kann, Information über interaurale Zeitdifferenz und interaurale Lautstärkedifferenz zu integrieren und so Tonquellen zu lokalisieren. Die Genauigkeit des so entwickelten Systems konkurriert mit der führender Systeme. Dabei hat es diesen führenden Systemen voraus, dass es ein unüberwacht lernendes System ist, das fortlaufend lernen kann und das nicht nur eine Lokalisierung für einen Ton produziert, sondern einen probabilistischen Populationscode für eine Reihe von Hypothesen zur Herkunft des Tons.

Die vorliegende Arbeit trägt also zur computational neuroscience ein neuartiges Modell des tiefen Colliculus Superior bei, das eine einzigartige Kombination von biologischen Phänomenen reproduziert und eine funktionale Interpretation für die Biologie des tiefen Colliculus Superior liefert. Sie trägt außerdem zum Maschinenlernen einen unüberwachten Algorithmus bei, der ein topographisches latentes Variablenmodell seines Inputs lernt. Schließlich trägt sie zur Robotik ein System für das unüberwachte, fortlaufende Lernen binauraler Lokalisierung von Tonquellen bei.