Validierungs-Navigator – ein Referenzprozess für Validierungsstudien zur Wirkung von Konstruktionsmethoden = Validation Navigator –a referenceprocess for validation studieson effects of design methods

Konstruktionsmethoden sind ein Kernergebnis der Konstruktionsforschung und sollten vor ihrer Einführung und Verbreitung in Unternehmen validiert werden. In der Kon-struktionsforschung fehlt bisher ein Standard für Forschungsmethoden als Orientie-rung für den Aufbau von Validierungsstudien sowie für die Datenerhebung und -aus-wertung. Für die Etablierung eines solchen Standards ist eine Referenz notwendig, um vergleichbare Studien zu ermöglichen. Auf die vergleichbare Umsetzung einzelner Validierungsstudien im Detail und die Operationalisierung von Erfolgskriterien gehen bestehende Ansätze nicht ein, weshalb sie nicht als Referenz für den Aufbau einzelner Studien geeignet sind. ... mehrWie Validierungsstudien in der aktuellen Forschungspraxis durchgeführt werden und wie eine Vergleichbarkeit zwischen diesen Studien herge-stellt werden kann, ist zudem nicht explizit bekannt.
Zur Untersuchung der aktuellen Forschungspraxis wurde eine systematische Litera-turstudie durchgeführt. Durch eine Kategorisierung aktueller Validierungsstudien in Bezug auf Schritte in der Validierung und die Art des verwendeten Studiendesigns wurde sichtbar, dass Studien in verschiedenen Validierungsschritten bisher nur wenig vergleichbar sind. Eine Analyse der kategorisierten Studien zeigte Herausforderungen in der Vergleichbarkeit der Konstruktionsmethoden selbst sowie der Umsetzung der Validierungsstudien. Strategien für eine höhere Vergleichbarkeit in aktuellen Validie-rungsstudien umfassen die Anknüpfung an bestehende Theorie, eine einheitliche Ziel-setzung mit zugehörigen Variablen für Klassen von Konstruktionsmethoden sowie die Nutzung etablierter Modelle und Werkzeuge für den Aufbau von Validierungsstudien.
Die Erkenntnisse aus der Literaturstudie wurden genutzt, um den Referenzprozess Validierungs-Navigator zu entwickeln, der eine Unterstützung für Forschende für den Aufbau vergleichbarer Validierungsstudien zur Wirkung von Konstruktionsmethoden bereitstellt. Im Referenzprozess werden Elemente aus bestehenden Ansätzen mit den in der Literaturstudie identifizierten Strategien kombiniert, um die Qualität und Ver-gleichbarkeit entstehender Validierungsstudien positiv zu beeinflussen. Der Validie-rungs-Navigator beschreibt zwei Studien, um zunächst ein qualitatives Verständnis aufzubauen, bevor eine quantitative Untersuchung stattfindet, und berücksichtigt die aufeinander aufbauenden Erfolgskriterien Anwendbarkeit und Wirksamkeit.
Der Validierungs-Navigator wurde durch eine exemplarische Anwendung für den Auf-bau von Validierungsstudien zur Wirkung einer Konstruktionsmethode evaluiert. Es konnten Beiträge zur Studienqualität geleistet werden, indem das Studiendesign so-wie beinhaltete Erhebungsmethoden und Stimuli kontinuierlich weiterentwickelt wur-den. Auf die Vergleichbarkeit der zur Validierung eingesetzten Variablen, der Zielset-zung und Vorgehensweise der untersuchten Konstruktionsmethode sowie der Operationalisierung der Erfolgskriterien konnte ein positiver Einfluss erzielt werden.

Design methods are a central result of design research and should be validated before they are introduced and disseminated in the industry. In design research, a standard for research methods as orientation for the design of validation studies as well as for data collection and analysis is missing so far. For the establishment of such a standard, a reference is necessary to enable comparable studies. Existing approaches do not address the comparable implementation of individual validation studies in detail and the operationalisation of success criteria, which is why they are not suitable as a ref-erence for the design of individual studies. ... mehrFurthermore, it is not known explicitly how validation studies are conducted in current research practice and how comparability between these studies can be established.
A systematic literature review was conducted to investigate current research practice. By categorising current validation studies in terms of steps in validation and the type of study design used, it became visible that studies in different validation steps are so far only rarely comparable. An analysis of the categorised studies revealed challenges regarding the comparability of the design methods themselves as well as the imple-mentation of the validation studies. Strategies for increasing comparability in current validation studies include connection to existing theory, common objectives with asso-ciated variables for classes of design methods, and the use of established models and tools for the setup of validation studies.
The findings from the literature study were used to develop the reference process Val-idation Navigator, which provides support for researchers in setting up comparable validation studies on the effects of design methods. The process combines elements from existing approaches with the strategies identified in the literature study to posi-tively influence the quality and comparability of the resulting validation studies. The Validation Navigator describes two studies to first build up a qualitative understanding before a quantitative investigation takes place and considers the success criteria ap-plicability and efficacy which build on each other.
The Validation Navigator was evaluated through an exemplary application for the setup of validation studies on the effects of a design method. Contributions to the qual-ity of the study could be made by continuously developing the study design as well as the data collection methods and stimuli included. A positive influence could be achieved on the comparability of the variables used for validation, the objective and procedure of the investigated design method as well as the operationalisation of the success criteria.