Semantic Trajectories and Predicting Future Semantic Locations

Der Begriff $\textit{Standortwahrnehmung}$ (engl. $\textit{Location Awareness}$) bezieht sich in Zusammenhang mit sog. Ubiquitous Computing Systemen auf die Fähigkeit eines Systems seine Umgebung wahrzunehmen und seine Position im Raum zu erkennen. Solch eine Fähigkeit ist unerlässlich für das Erreichen von anpassungsfähigen, an den jeweiligen Kontext maßgeschneiderten Diensten und Applikationen. In den letzten Jahren, Dienstleister, um ihre Dienste an Nutzern rechtzeitig oder sogar vorausschauend anbieten zu können, gehen sie einen Schritt weiter und setzen vermehrt auf Standortvorhersage-Techniken. ... mehrDer Technologiesprung der letzten Jahre und die weite Verbreitung von intelligenten mobilen Geräten hat dieses Unterfangen unterstützt. Darüber hinaus, Standortvorhersagesysteme werden immer häufiger zwecks einer effizienteren Resourcenverwaltung oder der Optimierung von Entscheidungsprozessen eingesetzt, wie zum Beispiel in Telekommunikations- oder Verkehrsnetzen. Schließlich, das Wissen des nächsten Ortes eines Nutzers und seine Bewegungsmuster gewähren einen tiefen Einblick in die Person an sich und ihre aktuelle und künftige Handlungen. Diese Art von Informationen kann Systeme zu einem höheren Personalisierungsgrad führen und sind sehr wertvoll (siehe z.B. digitale persönliche Assistenten und Empfehlungssysteme, u.a.). Aus diesen Gründen haben Standortvorhersagemethoden in den vergangenen Jahren stark an Bedeutung gewonnen.
$\\$Die heutige Literatur umfasst eine reiche Vielfalt von Modellierungs- und Prädiktionstechniken für menschliche Bewegungsmuster. Die Mehrheit wird durch statistische oder Machine Learning basierte Verfahren repräsentiert, angewendet auf GPS oder Mobilfunkmast Signalen. Neuere Arbeiten gehen über die Nutzung von rein numerischen Daten hinaus und verwenden semantisches Wissen um die verfügbare Trajektorien anzureichern. Die resultierenden Trajektorien werden als $\textit{semantische Trajektorien}$ bezeichnet und reduzieren die abertausend aufgezeichnete GPS Punkte auf den wesentlichen Teil der menschlichen Bewegung, repräsentiert durch eine kleine Zahl signifikanter $\textit{semantischer Orte}$. Das verleiht den Prädiktionsmodellen eine gewisse Transparenz und hilft das Erreichen eines besseren Verständnisses der menschlichen Bewegung. Trotz der Vorteile, die Forschung um die Modellierung und Prädiktion semantischer Trajektorien befindet sich noch in einem sehr frühen Stadium.
$\\$Das Hauptziel dieser Doktorarbeit ist diese Lücke zu füllen, sich der wachsenden Zahl an Untersuchungen in diesem Gebiet anzuschließen und einen soliden Grundstein für zukünftige Untersuchungen zu legen. Zu diesem Zweck, die vorliegende Arbeit erkundet eine Reihe von Wegen zur Modellierung von semantischen Trajektorien und zur Prädiktion der nächstbesuchten Standorte der Nutzer. Diese beinhalten sowohl probabilistische Verfahren wie multidimensionale Markov Ketten, als auch Künstliche Neuronale Netze (KNN) wie Convolutional Networks (CNN) und Attention-basiertes Sequence to Sequence Learning (Seq2Seq). Jenseits dieser übergeordneten Zielsetzung, der Beitrag dieser Dissertation kann in den folgenden Punkten zusammengefasst werden:$\\$$\bullet$ Untersuchung hinsichtlich der Auswirkung der $\textit{semantischen Repräsentationsebene}$, welche für die Beschreibung von Standorten in den semantischen Trajektorien verwendet wird, auf die prädiktive Performanz der Standortvorhersagemodelle.$\\$ $\bullet$ Untersuchung hinsichtlich der Auswirkung des gewählten $\textit{Grades der semantischen Anreicherung}$ der verfügbaren Trajektorien auf die prädiktive Performanz der Standortvorhersagemodelle.$\\$ $\bullet$ Untersuchung hinsichtlich der Integration von semantischem Wissen in das Training von Neuronalen Netzen durch das Hinzufügen einer $\textit{zusätzlichen semantischen Ebene}$ in Bezug auf das Konvergenzverhalten der Standortvorhersagemodelle und deren Prädiktionsperformanz.
$\\$Die verschiedenen vorgeschlagenen und erkundeten Ansätze der vorliegenden Arbeit wurden mit Hilfe einer Gruppe realer Datensätze evaluiert. Ein Teil davon ist frei verfügbar für wissenschaftliche Zwecke und ein Teil entstand aus eigenen Experimenten und Nutzerstudien. Dies hat in Einzelfällen dazu geführt, dass ein kleiner Teil der in dieser Arbeit diskutierten Ergebnisse auf eine relativ begrenzte Datenmenge basiert, was teilweise auf eine entsprechend begrenzte Generalisierbarkeit hindeutet. Dennoch, sie liefern ein schwerwiegendes Indiz und legen zusammen mit den restlichen Aussagen der Arbeit ein solides Fundament für zukünftige Untersuchungen.
$\\$Die Untersuchungen der vorliegenden Arbeit haben gewisse Vorteile seitens der Nutzung von Künstlichen Neuronalen Netzen identifiziert, besonders in Hinsicht auf Präzision und Trefferquote. Dabei stachen insbesondere die Stärken von rekurrenten (RNN, LSTM) und faltenden (CNN) Architekturen hervor. Allerdings, in bestimmten Fällen konnten manche probabilistische Modelle ähnlich gut, oder sogar bessere Ergebnisse erzielen. Dies ist im Wesentlichen auf die Menge und die Eigenschaften der verfügbaren Trainings- und Evaluationsdatensätze zurückzuführen und die Tatsache, dass Neuronale Netze im Allgemeinen und im Vergleich zu statistischen Verfahren datenempfindlicher sind.
$\\$Es hat sich ebenfalls gezeigt, dass die semantische Repräsentationsebene in der Tat einen signifikanten Einfluss auf die Vorhersagekraft der Modelle hat. Semantische Trajektorien beschrieben in einer höheren semantischen Ebene bieten eine bessere Grundlage für genauere Vorhersagen als Trajektorien einer niedrigeren Ebene. Ein möglicher Grund dafür könnte die Tatsache sein, dass menschliche Bewegung einen höheren Regelmäßigkeitsgrad zeigt je höher die Ebene in der diese modelliert wird ist.
$\\$Des Weiteren haben Untersuchungen bestätigt, dass der Grad der semantischen Anreicherung der Trajektorien, indem zusätzliche Kontext-Information, wie die Aktivität der Nutzer, ihre Persönlichkeit und ihr emotionaler Zustand, in Betracht gezogen werden, zu besseren Ergebnissen führen kann. Allerdings, in manchen Fällen konnten auch bestimmte Einschränkungen festgestellt werden, die auf die größere Anzahl der betrachteten Trainingsmerkmale in Zusammenhang mit dem entsprechend kleinen verfügbaren Trainingsdatensatz zurückzuführen sind. Dieses Phänomen wurde von Bellman als Fluch der Dimensionalität bezeichnet. Konkret bedeutet dies, dass die Vorteile geboten von den zusätzlichen Merkmalen gleichzeitig teilweise durch sich selbst wieder eliminiert werden, angesichts des Fehlens eines größeren Datensatzes, welcher ein generalisierbareres Modell und somit eine höhere Genauigkeit unterstützen würde. Die Tatsache, dass die Prädiktionsmodelle mit der besten Performanz zu den Nutzern mit den meisten Annotationen zuzuweisen sind unterstützt diese Annahme.
$\\$Schließlich, in Hinsicht auf die Integration und Anwendung einer zusätzlichen semantischen Ebene in das Training von Neuronalen Netzen, die Untersuchungen dieser Arbeit untermauern die ursprüngliche Annahme und Grundidee und zeigen, dass das Einsetzen vom externen semantischen Wissen sowohl zu einer signifikanten Verbesserung des Training-Verhaltens der neuronalen Netze, als auch zu einer höheren Vorhersagegenauigkeit führen kann. Darüber hinaus, diese Ergebnisse geben starke Hinweise dafür, dass die Fusion von wissensbasierten und datengetriebenen Modellen über den speziellen Fall der Standortvorhersage hinaus sich ebenfalls als sehr nützlich erweisen könnte, da diese einen schnelleren und tieferen Blick in die verfügbaren Daten ermöglicht.

$\textit{Location awareness}$ refers in connection with ubiquitous computing to the ability of a system to determine its position and perceive its environment. It is indispensable for achieving adaptable, context-tailored services and applications. In recent years, in order to provide their services in a timely or even forward-looking manner to their users, system developers and service providers went one step further and employ increasingly location prediction techniques. The technological leap in the last few years and the wide spread of smart mobile devices made this possible. ... mehrLocation prediction is further used more and more often for supporting resource management and decision making processes, such as in telecommunication or transportation networks. Moreover, knowing where the user is going to be next as well as his overall movement behaviour provides deep insights into the actual person and her actions. This kind of information can help systems and applications reach a higher personalization level and thus are extremely valuable (e.g., see virtual (digital) assistants and recommendation systems, to name but a few). For all these reasons, localization and location prediction in particular have gained significantly in importance over the past few years.
$\\$A rich variety of modelling and prediction techniques for human movement patterns has been studied in the literature so far. The majority is represented by either probabilistic or machine learning models applied on GPS or cell tower radio signal recordings. Recent works utilize semantic knowledge to enrich the recorded trajectories. The resulting trajectories, referred to as $\textit{semantic trajectories}$, reduce the thousands upon thousand of GPS points to the essentials, represented by a number of few significant $\textit{semantic locations}$. This brings transparency into the models and helps in reaching a higher level of understanding of human movement. Despite the benefits, research in modelling semantic trajectories and predicting upon them is still in its early stages.
$\\$The primary objective of this thesis is to fill this gap, join the aforementioned growing body of research and lay a solid foundation for future investigations by exploring a variety of ways for modelling semantic trajectories and predicting future semantic locations. These include probabilistic methods, like multi-dimensional Markov Chains, as well as Artificial Neural Network based approaches such as Convolutional networks (CNN) and Attention-based Sequence to Sequence (Seq2Seq) learning. Above and beyond this high-level objective, this thesis' contribution can be summarized in the following points:
$\\$$\bullet$ Investigation regarding the influence of the $\textit{semantic representation level}$ that is used to describe the locations in the semantic trajectories on the predictive performance of the models.$\\$ $\bullet$ Investigation regarding the influence of the $\textit{degree of semantic enrichment}$ of the respective trajectories on the predictive performance of the models with respect to the amount and the type of the context- and user-specific features that are taken additionally into consideration.$\\$ $\bullet$ Investigation regarding the incorporation of semantic knowledge, represented by an $\textit{additional semantic layer}$, into the training of neural networks with respect to both the models' convergence properties and their prediction performance using the example of semantic location prediction.
$\\$The approaches in the presented work are evaluated using a number of real-world datasets. Some were collected through own user studies and some are open and can be freely used for scientific purposes. Therefore, a small part of the findings discussed in this thesis are based on a limited evaluation dataset and could in a way be denoted as not generalizable. Nevertheless, they provide a strong indication and together with the rest of the findings presented in this work lay a solid groundwork for future research.
$\\$The research in this thesis has identified certain advantages, especially in terms of precision and recall, favouring the neural networks, from which the recurrent (RNN, LSTM) as well as the convolutional architectures (CNN) could stand out. However, in some individual cases, some probabilistic models could achieve equal or even higher scores. This can be mainly attributed to the size and properties of the corresponding available training and evaluation datasets and the fact that neural networks are much more sensitive to the properties of the data than probabilistic models.
$\\$The investigation has also shown that the semantic representation level has indeed an impact on the predictive performance. Semantic trajectories represented at a higher level provide a better basis for accurate predictions than the ones represented at lower levels. A possible explanation for this might be the fact that human movement shows a greater regularity degree at higher levels than at lower ones.
$\\$Furthermore, investigations also confirmed that the degree of semantic enrichment through the use of additional context information, such as the users' activity, personality and emotional state, can lead to better results. However, at the same time we identified some limitations attributed most likely to the larger feature number in connection with the small training dataset and the associated curse of dimensionality phenomenon. In tangible terms, the benefits brought by the additional features are being partly eliminated by themselves at the same time due to the lack of a larger dataset that would support a more generalizable model and thus a higher prediction accuracy. The fact that the models showing the highest results belong to users who provided the largest and most consistently annotated datasets supports this assumption.
$\\$Finally, with regard to incorporating an additional semantic layer into the training process of neural networks, the results support our initial assumptions and show that the utilization of explicit semantic knowledge can significantly improve the training behaviour of neural networks as well as their predictive performance. Moreover, the findings of our investigation provide strong evidence that the fusion of knowledge-driven models with data-driven ones could prove very useful in exploiting faster a much wider range of information contained in the available data.