[Kara 2017] Natural text to abstract concept mapping for collaborative HRI

Abstract

Natural language understanding and communication is a vital aspect for intuitive collaboration between humans and robotic systems. The human operator can command such systems by communicating his intention in natural text or speech step-by-step. The purpose of this work is to make it possible to communicate abstract concepts to a robot by using natural texts.

A relational domain is described by the primitive concepts, which describe objects with their properties and relations. Abstract concepts are high-level structures derived by combining primitive concepts. In this work, they are defined to hold clear semantic meanings, e.g. subgoals in hierarchical tasks, that can be easily and intuitively communicated between humans and robots.

In this thesis, we design and implement a system for mapping natural language to abstract commands. The procedure of mapping the text input starts by syntactic parsing, followed by a meaning representation of the sentence using Spatial Description Clauses (SDCs). We extended the SDCs by adding components for representing abstract concepts. Each word in the meaning representation is then compared to entries in a hand crafted lexicon by using the methods of the semantic net Wordnet. After each word in a natural sentence is bundled with its similar entry, the abstract command corresponding to the input sentence is created by combining all entries in the meaning representation. The abstract command is created and executed by the planner using the corresponding abstract concepts as terminal state and an assigned set of reward functions. The Monte Carlo Tree Search (MCTS) planner proceeds towards a possible goal state by executing a sequence of optimal primitive actions.

The natural language to abstract concept mapping system in this work is tested for its accuracy in two concurrent cooperative robotic domains with different user scenarios by using sentences with varying length, complexity and similarity. The experiment results show that the system is able to map between natural texts to abstract commands with high accuracy.

Kurzfassung

Das Verstehen natürlicher Sprache und Kommunikation sind essentielle Elemente für eine intuitive Zusammenarbeit zwischen Mensch und Maschine. Der Nutzer kann einem solchen System schrittweise Befehle in natürlicher Sprache oder Text erteilen. Das Ziel dieser Arbeit ist es, einem Roboter abstrakte Konzepte mittels natürlichem Text zu vermitteln.

Eine relationale Domain wird durch primitive Konzepte definiert, die Objekte mit ihren Eigenschaften und deren Verhältnissen zu anderen Objekten beschreiben. Abstrakte Konzepte sind komplexe Strukturen, die aus Kombinationen primitiver Konzepten abgeleitet werden. In dieser Arbeit werden Konzepte definiert, die eine klare Semantik haben, damit sie einfach und intuitiv in der Kommunikation zwischen Mensch und Maschine genutzt werden können.

Es wird ein System entworfen und implementiert, das natürliche Sprache auf abstrakte Konzepte abbildet. Die Abbildung des Texts beginnt mit einer syntaktischen Analyse, gefolgt von einer Bedeutungszuordnung durch Spatial Description Clauses (SDCs). Die SDCs werden um die Komponenten zur Repräsentation von abstrakten Konzepten erweitert. Jedes Wort in der Bedeutungszuordnung wird danach mit Einträgen eines eigens erstellten Verzeichnisses verglichen, indem die Methoden des semantischen Netzes Wordnet genutzt werden. Nachdem jedes Word des ursprünglichen Satzes einem Eintrag zugeordnet wurde, wird der abstrakte Befehl entsprechend der Eingabe durch Kombination aller Einträge der Bedeutungszuordnung erstellt.

Der abstrakte Befehl wird erstellt und von dem Planner, der abstrakte Konzepte als Endzustand und eine Reihe von Belohnungsfunktionen nutzt, ausgeführt. Der MCTS Planner führt eine Reihe optimaler, primitiver Aktionen aus bis ein möglicher Endzustand erreicht ist.

Das System, das natürliche Sprache auf abstrakte Konzepten abbildet, wird in zwei unterschiedlichen Domains mit verschiedenen Nutzerszenarien, bei denen Sätze verschiedener Länge, Komplexität und Ähnlichkeit genutzt werden, auf Genauigkeit getestet. Die Resultate des Experiments zeigen, dass das System fähig ist mit einer hohen Genauigkeit natürlichen Text auf abstrakte Befehle abzubilden.