Visual Perception for Robotics Supporting Few-Shot Learning

Diese Dissertation befasst sich mit der Herausforderung, eine objektzentrierte visuelle Wahrnehmung für Roboteranwendungen mit begrenzten Ressourcen zu ermöglichen, dazu gehören beispielsweise begrenzte Trainingsdaten und begrenzte Vorbereitungszeit.
Zwar sind vollständig überwachte Deep-Learning-Ansätze qualitativ überlegen, doch können ihre daten- und rechenintensiven Vorbereitungsprozesse den Einsatz in realen Roboterszenarien stark einschränken, insbesondere bei zeitkritischen Aufgaben oder wenn die Bedienenden selbst nicht mit den Methoden des maschinellen Lernens vertraut sind.
... mehr
Um diese Einschränkungen zu überwinden, untersucht diese Arbeit, wie vortrainierte Bildverarbeitungsmodelle als Grundlage für visuelle Perzeptionssysteme dienen können, die nur minimales aufgabenspezifisches Training erfordern.

Der erste Teil dieser Arbeit konzentriert sich auf ressourceneffiziente Wahrnehmungsmethoden, die auf vortrainierten, sogenannten Backbones aufbauen.
Anstatt auf umfangreiche Trainingsverfahren zu setzen, nutzen die entwickelten Ansätze prototypische Darstellungen und nachgelagerte, leichtgewichtige modulare Erweiterungen, um sich anhand von nur wenigen Beispielen an die jeweiligen Erkennungs- oder Detektionsaufgaben anzupassen.
Zudem werden verschiedene Techniken für unterschiedliche Ebenen der Aufgabengranularität untersucht, z. B. durch Inferenzmethoden, welche zusätzliche charakteristische Detailmerkmale berücksichtigen.

Der zweite Teil erweitert die vorgestellten Ansätze um interaktives Lernen, bei dem menschliche Bedienende das Modell anleiten und so dessen Verhalten an die jeweilige Aufgabe anpassen können.
Durch die Anpassung der Merkmalsgewichtungen oder die Verschiebung des Fokus des Modells auf wichtige Details kann relevantes Kontextwissen an das Modell weitergegeben werden, ohne dafür zusätzliche Trainingsdaten zu benötigen.
Das kann besonders in unterspezifizierten Few-Shot-Szenarien vorteilhaft sein, in denen die Aufgabenstellung aufgrund mangelnder Daten mehrdeutig bleibt.

Abschließend werden die vorgeschlagenen Methoden anhand von robotikorientierten Datensätzen und Anwendungsszenarien evaluiert.
Die Ergebnisse zeigen, dass vortrainierte Modelle vielfältige Möglichkeiten für Einsatzszenarien bieten, in welchen mit beschränkten Ressourcen ausgekommen werden muss.
Darüber hinaus können mittels menschlicher Interaktion Mehrdeutigkeiten bei Datenknappheit beseitigt werden.

Insgesamt präsentiert diese Arbeit mehrere effektive und praktische robotische Wahrnehmungssysteme, die durch die Kombination von vortrainierten Modellen und leichtgewichtigen Zusatzmodulen aufgebaut wurden.
Interaktive Einlernverfahren zeigen ihre Stärken insbesondere in Szenarien mit sehr ähnlichen Kategorien.

This dissertation addresses the challenge of enabling object-centric visual perception for robotic applications with constrained resources, such as limited training data and limited preparation time.
Although fully supervised deep learning approaches achieve superior performance, their data- and compute-intensive preparation pipelines can limit their deployment in real-world robotic scenarios, particularly for tasks where time is critical or when operators are unfamiliar with machine learning methods.
To overcome these limitations, this work investigates how pretrained vision models can serve as the foundation for perception systems that require only minimal task-specific training, and how the human operator can be involved to improve task alignment of the models.
... mehr

The first part of this work focuses on resource-efficient perception models built on top of frozen pretrained backbones.
Instead of relying on extensive training procedures, these approaches leverage prototypical representations and lightweight modular extensions to adapt to recognition or detection tasks from only a few examples.
Different techniques for different levels of task granularity are explored, e.g., by incorporating part-based inference.

The second part extends the presented approaches to include interactive learning, where human operators can guide the model and adapt its behavior to the task at hand.
By adjusting feature relevance or by directing the model's focus to important details, contextual knowledge can be transferred directly to the model without requiring additional training data.
This can be particularly useful in underspecified few-shot scenarios, where data alone is insufficient to disambiguate the task.

Finally, the proposed methods are evaluated on robotics-oriented datasets and application scenarios.
The results show that pretrained models offer diverse capabilities for resource-constrained settings.
In addition, human interaction can help resolve arising ambiguities from data scarcity.

This work contributes several effective and practical robotic perception systems built by combining pretrained models with lightweight modules.
The developed interactive preparation procedures demonstrate their strengths in challenging scenarios, particularly for highly similar categories.