KIT | KIT-Bibliothek | Impressum | Datenschutz

Beschreibung großer Bilddatensätze in natürlicher Sprache mit Vision-Language Models für das automatisierte Fahren = Natural-language description of large image datasets using Vision-Language Models for automated driving

Truetsch, Julian ORCID iD icon 1; Bieder, Frank ORCID iD icon 1; Stiller, Christoph 1
1 Institut für Mess- und Regelungstechnik (MRT), Karlsruher Institut für Technologie (KIT)

Abstract:

Moderne Bildverarbeitungssysteme, insbesondere im automatisierten Fahren, werden zunehmend datengetrieben entwickelt. Das Verständnis der zugrundeliegenden, oft Millionen Bilder umfassenden Datensätze entzieht sich jedoch der manuellen Inspektion und ist über Metadaten und Labelstatistiken nur eingeschränkt zugänglich. Wir stellen einen praxisorientierten Ansatz vor, mit dem sich Bilddatensätze mit Hilfe von open-weight VLMs automatisiert in natürlicher Sprache zusammenfassen lassen. Neben der konzeptionellen Beschreibung des zweistufigen, auch für sehr große Datensätze geeigneten Proposer Filter-Ansatzes adressiert der Beitrag auch praxisrelevante Aspekte wie Prompt-Design, GPUSpeicherbedarf, Quantisierung und strukturierte Modellausgabe
... mehr

Abstract (englisch):

Modern computer vision systems, particularly in automated driving, are increasingly developed in a data-driven manner. However, understanding the underlying datasets, which often comprise millions of images, is beyond the reach of manual inspection and only partially accessible through metadata and label statistics. We present a practice-oriented approach for automatically summarizing image datasets in natural language using open-weight VLMs. In addition to a conceptual description of the two-stage proposer-filter approach, which is also suitable for very large datasets, this paper addresses practical aspects such as prompt design, GPU memory requirements, quantization, and structured model output via guided decoding.


Verlagsausgabe §
DOI: 10.5445/IR/1000199240
Veröffentlicht am 17.11.2026
Cover der Publikation
Zugehörige Institution(en) am KIT Institut für Mess- und Regelungstechnik (MRT)
Publikationstyp Proceedingsbeitrag
Publikationsjahr 2026
Sprache Deutsch
Identifikator ISBN: 978-3-7315-1502-9
KITopen-ID: 1000199240
Erschienen in Forum Bildverarbeitung 2026 = Image Processing Forum 2026. Hrsg.: Längle, T.
Veranstaltung Forum Bildverarbeitung (2026), Karlsruhe, Deutschland, 05.11.2026 – 06.11.2026
Verlag KIT Scientific Publishing
Seiten 127-138
Schlagwörter Fahrzeuge, Vision-Language Models, Vehicles, Vision-Language Models
Relationen in KITopen
KIT – Die Universität in der Helmholtz-Gemeinschaft
KITopen Landing Page