Dynamical Reconstruction of Multi-Dimensional Image Sequences Using Optical Flows

Abstract

In dieser Arbeit untersuchen wir folgendes Rekonstruktionsproblem: Zu einer gegebenen Sequenz von Bildern zu diskreten Zeitpunkten suchen wir eine stetige Funktion in der Zeit, welche diese Bilder interpoliert. Wir lösen dieses Problem mit Hilfe von optischen Flüssen. Da das Rekonstruktionsproblem instabil ist, regularisieren wir dieses. Diese Regularisierung führt zu einem nichtlinearen Minimierungsproblem unter der Nebenbedingung einer optischen Fluss Restriktion, welche durch eine semilineare Transportgleichung charakterisiert wird. Um die Existenz und Stabilität einer Lösung für das regularisierte Rekonstruktionsproblem zu analysieren, diskutieren wir zunächst schwache Lösungen von Transportgleichungen. Hierbei modifizieren wir die Resultate in [10], um auch ohne Restriktionen an die Divergenz des Vektorfeldes zu zeigen, dass der nichtlineare Lösungsoperator der Transportgleichung schwach-* folgenabgeschlossen ist und eine eindeutige Lösung besitzt. Mit Hilfe dieser Theorie geben wir schließlich hinreichende Bedingungen an den Regularisierungterm und die involvierten Funktionenräume an, welche die Existenz und Stabilität einer optimalen Lösung zum regularisierten Rekonstruktionsproblem gewährleisten. Hierbei benötigen wir, im Gegensatz zu [15], nicht die Restriktion, dass der optische Fluss divergenzfrei ist. Wir verifizieren die Existenz-Bedingung sowohl für die $H^1$-Regularisierung im Ort (und in der Zeit) als auch für die $W^{1,1+tau}$-Regularisierung im Ort. Außerdem, verfizieren wir die Stabilitäts-Bedingung für beide $H^1$-Regularisierungen. Um das Rekonstruktionsproblem mit $H^1$-Regularisierung numerisch zu lösen, verwenden wir das Gradientenverfahren. Die Berechnung des Gradienten erfordert allerdings das Lösen einer konservativen, einer nicht konservativen Transportgleichung und einer elliptischen partiellen Differentialgleichung. Daher präsentieren wir numerisch effiziente finite Differenzen-Verfahren, um diese Differentialgleichungen zu lösen. Insbesondere erhalten wir in der numerischen Analyse der finiten Differenzenverfahren für die zwei semilinearen Transportgleichungen neue Resultate. Schließlich testen wir die Robustheit des entwickelten Rekonstruktionsverfahrens an künstlichen und realen Bildsequenzen. Insbesondere vergleichen wir unsere Rekonstruktionsergebnisse mit Rekonstruktionen, welche zu divergenzfreien optischen Flüssen korrespondieren.

In this thesis, we study a sequence interpolation problem: Given a sequence of image frames at discrete points in time, find a continuous function in time, which interpolates these image frames. We solve this problem by using optical flows. Since the reconstruction problem is unstable, we regularize it. This regularization leads to a non-linear minimization problem subject to the optical flow constraint, which is characterized by a semi-linear transport equation. To analyse existence and stability of a solution to the regularized reconstruction problem, we first discuss weak solutions of transport equations. Here, we adapt the work of [10] to show - without any restriction on the divergence of the vector field - that the non-linear solution operator of the transport equation is weak-* sequentially closed and admits a unique weak solution. Finally, with the help of this theory we state sufficient conditions on the regularization term and the involved function spaces, which guarantee existence and stability of an optimal solution to the regularized reconstruction problem. Here, we do not need to restrict the optical flow to be divergence-free, in contrast to [15]. We verify the existence condition for an $H^1$-regularization in space (and time), as well as for a $W^{1,1+tau}$-regularization in space. Moreover, we verify the stability condition for both $H^1$-regularizations. For solving the reconstruction problem with $H^1$-regularization numerically we apply the gradient method. However, the computation of the gradient involves the solution of a conservative, a non-conservative transport equation and an elliptic partial differential equation. Therefore, we present numerical efficient finite difference schemes for solving these differential equations. In particular, in the numerically analysis of the finite difference schemes for the two semi-linear transport equations we obtain new results. Finally, we test the robustness of the developed reconstruction method with sequences of synthetic and real image frames. In particular, we compare our reconstruction results with reconstructions correspondig to divergence-free optical flows.