Probabilistic Parametric Curves for Sequence Modeling

Repräsentationen sequenzieller Daten basieren in der Regel auf der Annahme, dass beobachtete Sequenzen Realisierungen eines unbekannten zugrundeliegenden stochastischen Prozesses sind. Die Bestimmung einer solchen Repräsentation wird üblicherweise als Lernproblem ausgelegt und ergibt ein Sequenzmodell. Das Modell muss in diesem Zusammenhang in der Lage sein, die multimodale Natur der Daten zu erfassen, ohne einzelne Modi zu vermischen. Zur Modellierung eines zugrundeliegenden stochastischen Prozesses lernen häufig verwendete, auf neuronalen Netzen basierende Ansätze entweder eine Wahrscheinlichkeitsverteilung zu parametrisieren oder eine implizite Repräsentation unter Verwendung stochastischer Eingaben oder Neuronen. ... mehrDabei integrieren diese Modelle in der Regel Monte Carlo Verfahren oder andere Näherungslösungen, um die Parameterschätzung und probabilistische Inferenz zu ermöglichen. Dies gilt sogar für regressionsbasierte Ansätze basierend auf Mixture Density Netzwerken, welche ebenso Monte Carlo Simulationen zur multi-modalen Inferenz benötigen. Daraus ergibt sich eine Forschungslücke für vollständig regressionsbasierte Ansätze zur Parameterschätzung und probabilistischen Inferenz.

Infolgedessen stellt die vorliegende Arbeit eine probabilistische Erweiterung für Bézierkurven ($\mathcal{N}$-Kurven) als Basis für die Modellierung zeitkontinuierlicher stochastischer Prozesse mit beschränkter Indexmenge vor. Das vorgestellte Modell, bezeichnet als $\mathcal{N}$-Kurven - Modell, basiert auf Mixture Density Netzwerken (MDN) und Bézierkurven, welche Kurvenkontrollpunkte als normalverteilt annehmen. Die Verwendung eines MDN-basierten Ansatzes steht im Einklang mit aktuellen Versuchen, Unsicherheitsschätzung als Regressionsproblem auszulegen, und ergibt ein generisches Modell, welches allgemein als Basismodell für die probabilistische Sequenzmodellierung einsetzbar ist. Ein wesentlicher Vorteil des Modells ist unter anderem die Möglichkeit glatte, multi-modale Vorhersagen in einem einzigen Inferenzschritt zu generieren, ohne dabei Monte Carlo Simulationen zu benötigen. Durch die Verwendung von Bézierkurven als Basis, kann das Modell außerdem theoretisch für beliebig hohe Datendimensionen verwendet werden, indem die Kontrollpunkte in einen hochdimensionalen Raum eingebettet werden. Um die durch den Fokus auf beschränkte Indexmengen existierenden theoretischen Einschränkungen aufzuheben, wird zusätzlich eine konzeptionelle Erweiterung für das $\mathcal{N}$-Kurven - Modell vorgestellt, mit der unendliche stochastische Prozesse modelliert werden können. Wesentliche Eigenschaften des vorgestellten Modells und dessen Erweiterung werden auf verschiedenen Beispielen zur Sequenzsynthese gezeigt.

Aufgrund der hinreichenden Anwendbarkeit des $\mathcal{N}$-Kurven - Modells auf die meisten Anwendungsfälle, wird dessen Tauglichkeit umfangreich auf verschiedenen Mehrschrittprädiktionsaufgaben unter Verwendung realer Daten evaluiert. Zunächst wird das Modell gegen häufig verwendete probabilistische Sequenzmodelle im Kontext der Vorhersage von Fußgängertrajektorien evaluiert, wobei es sämtliche Vergleichsmodelle übertrifft. In einer qualitativen Auswertung wird das Verhalten des Modells in einem Vorhersagekontext untersucht. Außerdem werden Schwierigkeiten bei der Bewertung probabilistischer Sequenzmodelle in einem multimodalen Setting diskutiert. Darüber hinaus wird das Modell im Kontext der Vorhersage menschlicher Bewegungen angewendet, um die angestrebte Skalierbarkeit des Modells auf höherdimensionale Daten zu bewerten. Bei dieser Aufgabe übertrifft das Modell allgemein verwendete einfache und auf neuronalen Netzen basierende Grundmodelle und ist in verschiedenen Situationen auf Augenhöhe mit verschiedenen State-of-the-Art-Modellen, was die Einsetzbarkeit in diesem höherdimensionalen Beispiel zeigt. Des Weiteren werden Schwierigkeiten bei der Kovarianzschätzung und die Glättungseigenschaften des $\mathcal{N}$-Kurven - Modells diskutiert.

Representations of sequential data are commonly based on the assumption that observed sequences are realizations of an unknown underlying stochastic process. Usually, the determination of such a representation is construed as a learning problem and yields a sequence model. In this context, the model must be able to capture the multi-modal nature of the data, without blurring between single modes. For modeling the underlying stochastic process, commonly used neural network-based approaches either learn an implicit representation by using stochastic inputs or units, or learn to parameterize a probability distribution. ... mehrAs such, these models usually incorporate Monte Carlo or other approximation techniques in order to perform parameter estimation and probabilistic inference. This even holds true for regression-based approaches based on Mixture Density Networks, which still require Monte Carlo simulation for performing multi-modal inference. Thus, a research gap in fully regression-based approaches for parameter estimation and probabilistic inference emerges.

Towards this end, this thesis proposes a probabilistic extension to Bézier curves ($\mathcal{N}$-Curves), as a basis for effectively modeling continuous-time stochastic processes with a bounded index set. The proposed stochastic process model is denoted as the $\mathcal{N}$-Curve model and is based on Mixture Density Networks (MDN) and Bézier curves with Gaussian random variables as control points. Taking an MDN-based approach is in line with recent attempts to address the problem of quantifying uncertainty as a regression problem and yields a generic model, which is generally applicable as a basic model for probabilistic sequence modeling. Key advantages of the model include the ability of generating smooth multi-mode predictions in a single inference step, which avoids the need for Monte Carlo simulation. Further, being based on Bézier curves, the model can, in theory, be scaled up to high dimensional sequence data by embedding the control points in a high dimensional space. In order to approach theoretical limitations imposed by the restriction to a bounded index set, a conceptual extension to the $\mathcal{N}$-Curve model, capable of modeling infinite stochastic processes, is presented. Essential properties of the proposed approach and its extension are illustrated by several toy examples considering a sequence synthesis task.

With the original $\mathcal{N}$-Curve model being sufficient for most real-world applications, a thorough evaluation is conducted on different multi-step sequence prediction tasks for evaluating the capabilities of the model applied to real-world data.
First, the model is evaluated against commonly used generic probabilistic sequence models on a human trajectory prediction task, proving the capabilities of the $\mathcal{N}$-Curve model, as the model outperforms other the models in this comparison. A qualitative evaluation investigates the behavior of the model in a prediction context. Further, difficulties in assessing the performance of probabilistic sequence models in a multi-modal setting are discussed. In addition, the model is applied to a human motion prediction task, assessing the claimed scalability of the model to higher-dimensional data. In this task, the model outperforms commonly used simple and neural network-based baselines and performs on par with different state-of-the-art models on several occasions, proving its capabilities in this higher-dimensional example. Further, difficulties in covariance estimation and the smoothing property of the $\mathcal{N}$-Curve model are discussed.