Master Thesis MSTR-2022-111

BibliographyGarcia Bescos, Sandra: Variationelle Verfeinerung zur Schätzung von Szenenfluss.
University of Stuttgart, Faculty of Computer Science, Electrical Engineering, and Information Technology, Master Thesis No. 111 (2022).
106 pages, german.
Abstract

Die Schätzung der durch den Szenenfluss beschriebenen dreidimensionalen Bewegung aus Bildsequenzen ist eine der anspruchsvollsten Aufgaben im Bereich des Maschinensehens. Bei der Berechnung des Szenenflusses liefern Neuronale Netze aktuell die besten Ergebnisse. Eine weitere Verbesserung versprechen variationelle Ansätze zur Verfeinerung einer initialen Szenenflussschätzung. Dies motiviert das Ziel der vorliegenden Arbeit: Das Entwickeln variationeller Modelle zur Verfeinerung einer initialen Szenenflussschätzung. Dafür werden sich die enge Verwandtschaft von Szenenfluss und optischem Fluss sowie die Errungenschaften variationeller Verfahren zur Schätzung des optischen Flusses zu Nutze gemacht. Deshalb wird der Szenenfluss in dieser Arbeit als Kombination von optischer Fluss- und Stereo-Schätzung auf Basis eines Stereobildpaares in der Bildebene berechnet. Zur Formulierung des Verfeinerungsschrittes wird die von Brox et. al [4] eingeführte und auf den optischen Fluss bezogene differentielle Formulierung auf den Szenenfluss übertragen. Nach einer Einführung in das Thema und der Darstellung benötigter Konzepte wird ein verallgemeinertes, variationelles Modell zur Szenenflussverfeinerung entwickelt, diskretisiert und ein Iterationsschema zur Berechnung der Verfeinerung aufgestellt. Außerdem werden weiterführende Konstanz- und Glattheitsannahmen des optischen Flusses auf den Szenenfluss angewandt und differentiell formuliert. Daraus ergibt sich eine Vielzahl von Modellvarianten, von denen eine Vorauswahl, mit dem Ziel, die beste zu ermitteln, vergleichend evaluiert wird. Anhand einer aktuellen Benchmark wird überprüft, inwiefern der in dieser Arbeit entwickelte variationelle Verfeinerungsschritt eine Verbesserung der initialen Szenenflussschätzung erreicht. Dabei basiert die initiale Schätzung des Szenenflusses auf einem state-of-the-art Neuronalen Netzwerk. Die Experimente zeigen, dass sich mit keinem der evaluierten Modellvarianten eine Verbesserung der initialen Szenenflussschätzung erreichen lässt - wird der gesamte Datensatz der Evaluation betrachtet. Allerdings kann in einzelnen Bildsequenzen tatsächlich eine deutliche Verbesserung nachgewiesen werden, die das Potential der vorgestellten Methode erkennen lässt.

Full text and
other links
Volltext
Department(s)University of Stuttgart, Institute of Visualisation and Interactive Systems, Visualisation and Interactive Systems
Superviser(s)Bruhn, Prof. Andrés; Mehl, Lukas
Entry dateOctober 24, 2023
   Publ. Computer Science