Abstract:
Bei der Verwendung von modernen und hochauflösenden Sensoren wie Lidar oder Radar, welche zunehmend auch in der Umfelderkennung der automatisierten bis autonomen Schifffahrt eingesetzt werden, wird eine Vielzahl von Messungen pro Zeitschritt und Objekt aufgezeichnet. Die Anzahl der Messdaten hängt dabei von der Auflösung des Sensors und dem Abstand des Sensors zum aufgezeichneten Objekt ab und kann bei modernsten Sensoren mehrere tausend Messungen pro Zeitschritt und Objekt betragen. Durch die Fusion dieser Messungen in zeitlicher Reihenfolge und die Annahme eines Bewegungsmodells, welches dem dynamischen zu verfolgenden Objekt unterstellt wird, kann die kinematische Zustandsverteilung des Objekts innerhalb eines Zustandsfilters geschätzt werden. ... mehr
Da die Fülle an Messdaten, welche die Sensoren generieren, im Normalfall über die Oberfläche des gesamten Objekts verteilt sind, beinhalten diese zusätzlich zu den Informationen über den kinematischen Zustand Informationen über die Ausdehnung und Form der zu verfolgenden Objekte. Die Schätzung dieser Ausdehnungs- und Forminformationen innerhalb des Messmodells eines Zustandsfilters zur Verfolgung von Objekten wird in der einschlägigen Literatur als Extended Object Tracking (EOT) bezeichnet. Diese Dissertation beschäftigt sich mit der Erstellung und Untersuchung von entsprechenden Messmodellen für Messdaten im dreidimensionalen Raum, welche speziell für Anwendungen im maritimen Bereich geeignet sind. Der Inhalt der Arbeit lässt sich dabei in drei Teile untergliedern.
Im ersten Teil der Arbeit werden die theoretischen Grundlagen erarbeitet, welche für die Erstellung eines EOT-Filters benötigt werden. Dazu gehören zunächst die Herleitung gängiger nichtlinearer Filterverfahren wie des Extended- und des Linear-Regression-Kalman-Filter anhand der allgemeinen Bayes-Filter-Gleichungen und die Verarbeitung mehrerer Messdaten pro Zeitschritt innerhalb dieser Verfahren. Innerhalb der Messmodelle dieser Verfahren können nun die Systemzustände, welche aus einem kinematischen und einem Ausdehnungs- bzw. Formanteil bestehen, auf die vorhergesagte Messung abgebildet werden, welche für die Berechnung eines Residuums im Korrekturschritt des Filters benötigt wird. Da die vorhergesagte Messung sich aus einem Messrauschen mit angenommener bekannter Verteilung und einem im Allgemeinen unbekannten Punkt auf der Oberfläche des Objekts, der sogenannten Messquelle, zusammensetzt, werden im Anschluss unterschiedliche Methoden aus der Literatur zur Messquellenzuordnung hergeleitet und diskutiert. Speziell werden, ausgehend von Spatial Distribution Modellen (SDM), das sogenannte Greedy Association Modell (GAM), welches eine greedy Zuordnung der Messquelle verwendet, und das Random Hypersurface Modell (RHM) und Extrusion RHM (ERHM) als Kombination eines SDM und GAM zur Lösung des Zuordnungsproblems vorgestellt.
Im Anschluss werden in zwei weiteren Abschnitten praktische Probleme beim Einsatz von EOT-Verfahren mit Realdaten behandelt. Zunächst wird ein effektiver und einfach zu implementierender Ansatz vorgestellt, um Intervallbeschränkungen anhand von beschränkten Transformationsfunktionen bei der Zustandsschätzung einzuhalten. Speziell im EOT können Intervallbeschränkungen, welche eingehalten werden sollten, auftreten, sodass beispielsweise keine negativen Längen, Breiten oder Höhen als Ausdehnungsparameter möglich sind. Ein weiteres praktisches Problem besteht darin, dass dreidimensionale reale Messdaten oftmals aufgrund der physischen Struktur der zu verfolgenden Objekte sowohl von der äußeren Hülle als auch vom Innenbereich aufgezeichnet werden. Wird in den Messmodellen allerdings davon ausgegangen, dass die Messdaten lediglich von der äußeren Hülle der Objekte generiert werden, so kann das Schätzergebnis verzerrt werden. Für die Lösung dieses Problems wird am Ende des ersten Teils ein künstliches rekursiv geschätztes Messrauschen für Messdaten aus dem Innenbereich eingeführt, welches diese Verzerrungen reduziert und dabei auf kein Vorwissen angewiesen ist, da die Korrekturgrößen anhand der aufgezeichneten Messdaten geschätzt werden. Diese beiden Verfahren werden im Laufe der Arbeit auf alle neu vorgestellten Messmodelle angewendet.
Aufbauend auf diesen theoretischen Grundlagen werden im zweiten Teil der Arbeit drei unterschiedliche Kategorien von Messmodellen für 3D-EOT von maritimen Objekten vorgestellt, diskutiert und zunächst in statischen simulierten Szenarien untersucht. Dabei wird bei der Definition dieser Messmodelle die charakteristische Eigenschaft von Messdaten im maritimen Bereich berücksichtigt, bei der davon auszugehen ist, dass in den meisten Szenarien hauptsächlich Messungen der Mantelfläche der Objekte aufgezeichnet werden. Messdaten der Ober- und Unterseite sind oftmals aufgrund von Verdeckungen durch das Wasser und die Montageposition der Sensoren spärlich. Formrepräsentationen in zylindrischen Koordinaten berücksichtigen diese charakteristische Eigenschaft durch die Definition der Form anhand der Mantelfläche.
Ausgehend von einer vorherigen Klassifizierung der Objekte werden daher in einem ersten Kapitel zwei Messmodelle in zylindrischen Koordinaten, welche parametrische Formrepräsentationen verwenden, vorgestellt. Dabei werden unterschiedliche Messmodelle, welche die Form eines Motorboots mit einem elliptischen Zylinder und die Form eines Segelboots mit einem elliptischen Kegel approximieren, vorgestellt und untereinander verglichen. Um die Objektverfolgung ohne vorgelagerte Klassifizierung verbessern zu können, werden in einem weiteren Kapitel unterschiedliche Varianten an Messmodellen vorgestellt und untersucht, welche eine flexible Reihenentwicklung, zusammengesetzt aus einer Fourier- und einer Chebyshevreihe, als Formrepräsentation in zylindrischen Koordinaten verwenden. Die Schätzung der Reihenkoeffizienten innerhalb eines EOT-Filters ermöglicht dann die Anpassung der Form an die vorliegenden Messdaten. Aufgrund der nur schwer vorhersagbaren Anzahl an Formkoeffizienten, die für diesen Ansatz benötigt werden, werden in einem letzten Kapitel unterschiedliche Varianten eines Messmodells, welches eine flexible parametrische Formrepräsentation basierend auf Superellipsen verwendet, vorgestellt und untereinander verglichen. Diese ermöglichen beispielsweise die Unterscheidung zwischen einer elliptischen und einer rechteckigen Grundform innerhalb eines einzelnen Modells, welches nur wenige Formparameter benötigt, was für viele Anwendungen bereits ausreichend sein kann.
Der dritte Teil der Arbeit beschäftigt sich mit einer vergleichenden Untersuchung der vorgestellten Messmodelle in unterschiedlichsten dynamischen Szenarien. Im maritimen Bereich werden die Modelle, welche für Motorboote geeignet sind, mithilfe der \textit{Solgenia}, eines Forschungsboots der HTWG Konstanz, als Referenzobjekt getestet. In dieser Untersuchung wird ein CAD Modell der \textit{Solgenia} innerhalb einer Simulation für die Messdatengenerierung und in der Simulation, sowie einem Realdatenexperiment als Formreferenz eingesetzt. Eine solche Untersuchung ist einzigartig in der bisherigen Literatur. Die Messmodelle, welche speziell für Segelboote erstellt wurden, werden in diesem Kapitel anhand von Realdaten eines Segelboots aus einer Regatta validiert. Um die Generalisierbarkeit der Messmodelle zu untersuchen, werden diese in einem letzten Schritt unter Verwendung des berühmten KITTI-Datensatzes untersucht. Dabei werden etwa 1200 Szenarien mit unterschiedlichen Objektklassen für die erarbeiteten Messmodelle sowie Vergleichsmodelle der Literatur ausgewertet und verglichen. Die Ergebnisse aller Untersuchungen untermauern die Effektivität und gleichzeitige Effizienz der in dieser Dissertation erarbeiteten Modelle. Offene Fragen, die in dieser Arbeit nicht beantwortet werden konnten, werden am Ende der Arbeit vorgestellt und diskutiert.
Abstract (englisch):
When using modern, high-resolution sensors such as Lidar or Radar, which are increasingly being used in environment perception for automated and autonomous shipping, a large number of measurements are recorded per time step and object. The number of measurements then depends on the resolution of the sensor and the distance between the sensor and the recorded object, and can amount to several thousand measurements per time step and object with state-of-the-art sensors. By fusing these measurements in chronological order and assuming a motion model that is applied to the dynamic object being tracked, the kinematic state distribution of the object can be estimated within a state filter. ... mehr
Since the wealth of measurement data generated by the sensors is typically distributed over the surface of the entire object, this data contains information about the kinematic state and the extent and shape of the objects to be tracked. Estimating this extent and shape information within the measurement model of a state filter for object tracking is referred to in the relevant literature as extended object tracking (EOT). This dissertation deals with the creation and investigation of corresponding measurement models for measurement data in three-dimensional space, which are particularly suitable for applications in the maritime sector. The content of the thesis can be divided into three parts.
The first part of the thesis develops the theoretical foundations required for the creation of an EOT filter. This includes the derivation of common nonlinear filtering methods, such as the extended and linear regression Kalman filters, based on the general Bayes filter equations, and the processing of multiple measurement data per time step within these methods. Within the measurement models of these methods, the system states, which consist of a kinematic and an extent or shape component, can now be mapped to the predicted measurement, which is required for calculating a residual in the correction step of the filter. Since the predicted measurement consists of measurement noise with an assumed known distribution and a generally unknown point on the surface of the object, known as the measurement source, various methods from the literature for the so-called measurement-to-source association problem are derived and discussed. Specifically, based on spatial distribution models (SDM), the so-called greedy association model (GAM), which uses a greedy assignment of the measurement source, and the random hypersurface model (RHM) and extrusion RHM (ERHM), as a combination of an SDM and a GAM, are presented as solutions to the association problem.
Two further sections then deal with practical problems when applying EOT methods to real-world data. First, an effective and easy-to-implement approach is presented for maintaining interval constraints using bounded transformation functions in state estimation. In EOT in particular, interval constraints that must be maintained can occur, so that, for example, negative lengths, widths, or heights are not possible as extent parameters. Another practical problem is that three-dimensional real-world measurements are often recorded both from the outer hull and the interior of the objects being tracked due to their physical structure. However, if the measurement models assume that the measurements are generated solely by the outer hull of the objects, the estimation result may be biased. To solve this problem, an artificial, recursively estimated measurement noise for measurements from the interior is introduced at the end of the first part, which reduces these distortions and does not require any prior knowledge, as the correction variables are estimated based on the recorded measurement data. These two methods are applied to all newly presented measurement models in the further course of the thesis.
Building on these theoretical foundations, the second part of the thesis presents and discusses three different categories of measurement models for 3D EOT of maritime objects, which are initially investigated in static simulated scenarios. The definition of these measurement models takes into account the characteristic property of measurements in the maritime sector, where it can be assumed that, in most scenarios, measurements of the lateral surface of the objects are mainly recorded. Measurements from the top and bottom surfaces are often sparse due to occlusions by water and the mounting position of the sensors. Shape representations in cylindrical coordinates consider this characteristic property by defining the shape based on the lateral surface.
Based on a previous classification of the objects, two measurement models in cylindrical coordinates that use parametric shape representations are then presented in the first chapter. Different measurement models that approximate the shape of a motor boat with an elliptical cylinder and the shape of a sailing boat with an elliptical cone are presented and compared. To improve object tracking without upstream classification, a further chapter presents and examines different variants of measurement models that use a flexible series expansion, composed of a Fourier series and a Chebyshev series, as shape representation in cylindrical coordinates. Estimating the series coefficients within an EOT filter then allows the shape to be adapted to the available measurement data. Due to the difficulty of predicting the number of shape coefficients required for this approach, a final chapter presents and compares different variants of a measurement model that uses a flexible parametric shape representation based on superellipses. These enable, for example, the distinction between an elliptical and a rectangular basic shape within a single model that requires only a few shape parameters, which may already be sufficient for many applications.
The third part of the thesis deals with a comparative investigation of the presented measurement models in a wide variety of dynamic scenarios. In the maritime sector, the models suitable for motor boats are tested using the \textit{Solgenia}, a research boat belonging to the HTWG Konstanz, as a reference object. In this study, a CAD model of the \textit{Solgenia} is used within a simulation for measurement data generation and in the simulation, as well as in a real-data experiment as a shape reference. Such an investigation is unique in the literature to date. The measurement models, which were created specifically for sailing boats, are validated in this chapter using real data from a sailing boat from a regatta. To investigate the generalizability of the measurement models, they are examined in a final step using the famous KITTI data set. Approximately 1200 scenarios with different object classes are evaluated and compared for the developed measurement models and comparison models from the literature. The results of all investigations confirm the effectiveness and efficiency of the models developed in this dissertation. Open questions that could not be answered in this work are presented and discussed at the end of the thesis.
