Abstract:
Die rasche Verbreitung autonomer Roboter im privaten Sektor wird durch ihr Potenzial vorangetrieben, das Dienstleistungs- und Gaststättengewerbe, das Gesundheitswesen und die häusliche Pflege zu reformieren, indem sie die Effizienz steigern und die Servicequalität verbessern. Im Dienstleistungs- und Gaststättengewerbe beispielsweise können Roboter repetitive Tätigkeiten automatisieren, Lagerbestände verwalten und den Kundenservice verbessern, wodurch die Arbeitskosten gesenkt und die Betriebseffizienz gesteigert werden. Im Gesundheits- und Pflegesektor können Roboterassistenten die Patientenpflege, die Verabreichung von Medikamenten und Routineuntersuchungen verbessern und damit das Pflegepersonal entlasten. ... mehrIhre Fähigkeit, bei Aktivitäten des täglichen Lebens zu helfen und die Rehabilitation zu unterstützen, kann für die Erhaltung der Unabhängigkeit von Menschen mit Behinderungen entscheidend sein. Im häuslichen Umfeld können persönliche Roboter alltägliche Aufgaben übernehmen und insbesondere allein lebenden Menschen praktische Hilfe und emotionale Unterstützung bieten.
Trotz ihres Potenzials wird der Einsatz von Assistenzrobotern durch Herausforderungen im Zusammenhang mit ihrer Vielseitigkeit, Zuverlässigkeit und Anpassungsfähigkeit in unstrukturierten Umgebungen behindert. Die Bewältigung dieser Herausforderungen ist von entscheidender Bedeutung, um die Generalisierbarkeit der Anwendungen zu verbessern und die Abhängigkeit von aufgabenspezifischem Wissen zu verringern. Vielseitigkeit ist für Roboterassistenten von entscheidender Bedeutung, um die große Vielfalt von Aufgaben im persönlichen Bereich zu bewältigen und den Bedarf an vordefinierten Aufgabeninformationen zu verringern. Zuverlässigkeit ist angesichts der Unvorhersagbarkeit unstrukturierter Umgebungen von grundlegender Bedeutung für den sicheren und effizienten Betrieb von Robotern, insbesondere in Anwendungen, bei denen der Mensch im Mittelpunkt steht. Die Verbesserung der Anpassungsfähigkeit wird Roboter in die Lage versetzen, sich an die wechselnden Umstände und Anforderungen ihres Einsatzes anzupassen, und damit ihre Fähigkeit verbessern, mit der Variabilität realer Anwendungen umzugehen.
Die Berücksichtigung dieser Kernfähigkeiten wird es Robotern ermöglichen, ihr volles Potenzial in Anwendungen im gesamten persönlichen Bereich auszuschöpfen. In dieser Arbeit werden daher Möglichkeiten untersucht, die Vielseitigkeit der Handlungsfindung zu erhöhen, die Zuverlässigkeit durch Auswahl der besten Handlung trotz Unsicherheit zu verbessern und die Anpassungsfähigkeit der Aufgabenausführung zu steigern.
Vielseitige Erkennung von Interaktionsmöglichkeiten
Es werden flexible Ansätze zur Griffsynthese vorgeschlagen, um Interaktionen in unstrukturierten Umgebungen mit minimaler aufgabenspezifischer Information zu ermöglichen. Für Objekte mit gemeinsamen Eigenschaften, die als ähnliche Objekte bezeichnet werden, wird ein neuartiges Modell eingeführt, das mehrere räumliche Merkmale in einem impliziten neuronalen Feld kodiert, was die Konsistenz und die Rekonstruktion aus Teilbeobachtungen verbessert. Durch die Schaffung eines detaillierten Deskriptorraums für präzise Korrespondenzen und genaue Greiftransfers werden Pick-and-Place-Aufgaben in unstrukturierten Umgebungen verbessert. Ein Griffbewertungsnetzwerk verfeinert die Griffkandidaten weiter, wobei Evaluationen in simulierten und realen Umgebungen die Effektivität des Ansatzes belegen. Das Modell und das dazugehörige Framework gehen effektiv mit Variabilität und teilweisen Beobachtungen um, was die Vielseitigkeit in unterschiedlichen und dynamischen Szenarien erhöht. Darüber hinaus wird ein neuartiger Ansatz zur Manipulation unbekannter Objekte vorgestellt, der auf der lokalen Oberflächengeometrie, der Punktwolkenanalyse und Heuristiken zur Identifizierung potenzieller Aktionen ohne genaue Szeneninformationen basiert. Diese Methode, die für unstrukturierte Umgebungen entwickelt wurde, arbeitet effizient, indem sie die lokale Oberflächengeometrie approximiert und Affordanzen wie Greifbarkeit mit Hilfe von Oberflächenmetriken definiert. Die Aktionen werden in einem lokalen, abstrakten Koordinatensystem generiert, das eine zuverlässige Basis für die Ausführung bietet, was in mehreren realen Greifexperimenten demonstriert wird.
Auswahl robuster Handlungskandidaten
Zur Verbesserung der Zuverlässigkeit mobiler Manipulationen, insbesondere beim Greifen unbekannter Objekte in unstrukturierten Umgebungen, werden mehrere probabilistische Methoden vorgeschlagen, um der hohen Unsicherheit dieser Aufgaben zu begegnen. Zunächst wird eine Bayes’sche Zustandsschätzungsmethode vorgestellt, die einen Unscented Kalman Filter mit einem Hidden Markov Modell kombiniert, um sowohl die Pose als auch die Existenzwahrscheinlichkeit von Aktionshypothesen über mehrere Beobachtungen zu schätzen und zu aktualisieren, und so das Greifen unbekannter Objekte trotz verrauschter Sensordaten zu verbessern. Experimentelle Ergebnisse zeigen, dass dieser Ansatz die Erfolgsrate beim Greifen in realen Experimenten erhöhen kann. Basierend darauf wird eine probabilistische Methode zur Optimierung der Greifauswahl vorgeschlagen, die Greifkandidaten mithilfe von Gauß-verteilten Metriken bewertet und daraus eine Wertung zur Maximierung der Greiferfolgsrate ableitet. In Experimenten mit mehr als 1100 Griffen an unbekannten Objekten konnte mit dieser optimierten Auswahlmethode eine signifikante Steigerung der Greiferfolgsrate nachgewiesen werden, was die Wirksamkeit probabilistischer Ansätze zur Verbesserung der Zuverlässigkeit mobiler Manipulationen unterstreicht.
Adaptive Ausführung von Aufgaben
Die Anpassungsfähigkeit mobiler Manipulationsfähigkeiten an fehlende Informationen oder sich ändernde Umstände wird verbessert, indem Methoden und Darstellungen vorgeschlagen werden, die den Wissenstransfer zwischen sensorischen und motorischen Informationen auf niedriger Ebene und symbolischen Darstellungen auf hoher Ebene verbessern. Ein Verfahren für die Aufgabenbeschreibung und -ausführung wird mit einen Planungssystem kombiniert. Das Framework für die Aufgabenausführung ermöglicht die flexible und autonome Generierung und Ausführung von Manipulationsaktionen und erleichtert die Übertragung von Fähigkeiten auf verschiedene Aufgaben, Umgebungen und Roboter. Die affordanzbasierte Repräsentation des Frameworks unterstützt kollaboratives Lernen und ermöglicht das Sammeln und Teilen von Manipulationserfahrungen, wodurch die Anpassungsfähigkeit verbessert wird. Reale Experimente, einschließlich ein- und zweihändigem Greifen, Platzieren und dem Transfer von erlernten Fähigkeiten über ein kognitives Roboter-Gedächtnis, bestätigen die Effektivität dieser Methoden. Auf der Planungsseite verwendet das entwickelte Verfahren Large Language Models, um natürlichsprachliche Befehle zu interpretieren und adaptive Pläne zu generieren, die auf affordanzbasierten Szenenrepräsentationen aufbauen. Die realen Experimente zeigen die Fähigkeit des Systems, trotz fehlender Informationen und komplexer Aufgaben in unstrukturierten Umgebungen erfolgreiche Pläne zu generieren.
Abstract (englisch):
The rapid advance of autonomous robots in the personal sector is driven by their potential to transform the service and hospitality, healthcare and nursing, and domestic sectors, offering improvements in efficiency and quality of life. For example, in the service and hospitality industry, robots can automate repetitive tasks, manage inventories, and enhance customer service, reducing labor costs and increasing operational efficiency. In the healthcare and nursing domains, robotic assistants can improve patient care, medication management, and routine checkups, alleviating the burden on healthcare workers. ... mehrTheir ability to assist with daily living activities and support rehabilitation can become crucial for maintaining the autonomy of individuals with impairments. In domestic settings, personal robots can manage everyday chores, providing practical assistance and emotional support, particularly for those living alone.
Despite their potential, the deployment of robotic assistants is hindered by challenges related to their versatility, reliability, and adaptability in unstructured environments. Overcoming these challenges is essential to enhance task generality and reduce the dependency on task-specific knowledge. Versatility is crucial for robotic assistants in order to deal with the large variety of tasks in the personal sector, reducing the need for pre-specified task information. Reliability is fundamental for ensuring the safe and efficient operation of robots in the presence of uncertainties inherent to unstructured environments, especially in human-centric applications. Enhancing adaptability will allow robots to adjust to the changing circumstances and requirements for their operation, improving their ability to handle the variability of real-world applications.
Addressing these core capabilities will enable robots to realize their full potential in applications across the personal sector. Therefore, this thesis will investigate ways to increase the versatility of action discovery, improve the reliability of selected actions despite uncertainty, and enhance the adaptability of task execution.
Versatile Discovery of Interaction Possibilities
Flexible grasp synthesis approaches are proposed to enable interaction in unstructured environments with minimal task-specific information. A novel model encoding multiple spatial features in an implicit neural field is introduced for objects with shared properties, termed similar objects, which improves geometric consistency and reconstruction from partial observations. By creating a detailed descriptor space for precise correspondences and accurate grasp transfer, it enhances pick-and-place tasks in unstructured settings. A grasp evaluation network further refines grasp poses, with evaluations in both simulated and real-world environments demonstrating the approach’s efficacy. The model and the associated framework effectively handle variability and partial observations, increasing versatility in diverse and dynamic scenarios. Additionally, a novel approach for manipulating unknown objects based on local surface geometry is introduced, using point cloud analysis and heuristics to identify potential actions without accurate scene information. This method, designed for unstructured environments, operates efficiently by approximating local surface geometry and defining affordances like graspability using surface metrics. Actions are generated within a local coordinate system, providing a reliable basis for execution, which is demonstrated in multiple real-world grasping experiments.
Selection of Robust Action Candidates
Several probabilistic methods to enhance the reliability of mobile manipulation tasks are proposed, particularly for grasping unknown objects in unstructured environments, addressing the high uncertainty inherent in these tasks. First, a method using Bayesian state estimation is presented, combining an Unscented Kalman Filter with a Hidden Markov Model to estimate and update both pose and existence certainty of action hypotheses over multiple observations, thereby improving the grasping of unknown objects despite noisy sensor data. Experimental results show that this approach can enhance the grasp success rate in real-world grasping experiments. Secondly, a probabilistic method to optimize the grasp selection is proposed that evaluates grasp candidates based on Gaussian-distributed metrics and derives a ranking score to maximize the grasp success rate. Experiments involving over 1100 grasps on unknown objects demonstrate a significant increase in grasp success rates using this optimized selection method, highlighting the effectiveness of probabilistic approaches in improving the reliability in mobile manipulation tasks.
Adaptable Task Execution
The adaptability of mobile manipulation tasks to handle missing information or changing conditions is enhanced by proposing methods and representations that facilitate knowledge transfer between low-level sensory and motor information and high-level symbolic representations. A task description and execution framework is integrated with a high-level planning framework. The task execution framework allows the flexible and autonomous generation and execution of manipulation actions, thus facilitating the transfer of skills across different tasks, environments, and robots. The framework’s affordance-based representation supports collaborative learning and allows for accumulating and sharing mobile manipulation experiences, thereby improving adaptability. Real-world experiments, including uni- and bimanual grasping, placing, and memory-enabled skill transfer, validate the effectiveness of these methods. On the other hand, the planning system employs Large Language Models to interpret natural language commands and generate adaptable plans based on affordance-based scene representations, demonstrating the system’s ability to handle diverse tasks in service and assistance scenarios. The real-world experiments demonstrate the framework’s ability to generate successful plans despite missing information and execute complex tasks in unstructured environments.
