Master Thesis MSTR-2022-63

BibliographySchäfer, Noel Philipp: Visual Analytics für Visual-Reasoning-Aufgaben.
University of Stuttgart, Faculty of Computer Science, Electrical Engineering, and Information Technology, Master Thesis No. 63 (2022).
97 pages, german.
Abstract

Das Ziel dieser Arbeit ist die Entwicklung einer explorativen Analysesoftware für Anwendungen im Bereich Visual Question Answering (VQA), einer Problemformulierung des Forschungsfeldes Deep Learning. Sie soll dabei helfen, fehlerhafte Ausgaben eines gegebenen VQA-Systems zu identifizieren, nachzuvollziehen und zu korrigieren. In vorangegangener Literatur finden sich viele vergleichbare Lösungen zu verwandten Anwendungsfällen, die die undurchsichtigen Entscheidungsprozesse neuronaler Netze und ähnlicher Systeme visuell und durch Einsatz interaktiver Elemente zugänglich machen. Die Anwendung soll daher insbesondere drei Anforderungen erfüllen. Zum einen soll es möglich sein, dem zugrundeliegenden System in Echtzeit beliebige Fragen zu verschiedenen Bildern zu stellen. Ferner sollen die Daten rund um eine solche Instanz visualisiert werden. Dazu zählen neben einer interaktiven Darstellung der Informationen, die das System über die Bildinhalte hat, auch solche Elemente, die Einblicke in die internen Entscheidungsprozesse des Systems beim Generieren einer Antwort gewähren. Schlussendlich soll es möglich sein, die Ground Truth auf Grundlage der gewonnenen Erkenntnisse zu bearbeiten, um die Performance des Systems nachträglich zu verbessern. Die entwickelte Anwendung wird in einer qualitativen Nutzerstudie evaluiert, bei der sich zeigt, dass Laien die Anwendung nach einer kurzen Einführung bereits einsetzen können, um typische fehlerhafte Instanzen gezielt zu korrigieren.

Full text and
other links
Volltext
Department(s)University of Stuttgart, Institute of Visualisation and Interactive Systems, Visualisation and Interactive Systems
Superviser(s)Weiskopf; Prof. Daniel; Munz, Tanja; Tilli, Pascal; Vidyapu, Dr. Sandeep
Entry dateMarch 17, 2023
   Publ. Computer Science