Entwicklung und Evaluation der ACAP-Untersuchungsmethode zur prozessbasierten Validierung von text- und grafikbasierten Konstruktionsmethoden = Development and evaluation of the ACAP-analysis method for the process-based validation of textual and graphical design methods

Die zielgerichtete Verbesserung von Konstruktionsmethoden erfordert Validierungsstudien, die es ermöglichen, Schwierigkeiten bei der Anwendung der untersuchten Methoden zu erfassen und zu bewerten. Die bisherigen Validierungen von Konstruktionsmethoden legen ihren Schwerpunkt auf die Bewertung des Ergebnisses. Die Feststellung, dass die Ergebnisse einer Konstruktionsmethode nicht dem gewünschten Nutzen entsprechen, reicht jedoch für sich genommen als Grundlage für die Weiterentwicklung und Verbesserung nicht aus. Die Ursachen für den Nutzen oder Misserfolg einer Konstruktionsmethode liegen in der Anwendung durch die Konstruierenden. ... mehrEntscheidend für die Anwendbarkeit ist, dass die Methodeninhalte gelesen, verstanden und korrekt angewendet werden.
Aktuelle Untersuchungsmethoden zur Validierung von Konstruktionsmethoden beschränken sich auf die Erhebung und Bewertung des Konstruktionsergebnisses und berücksichtigen die Anwendbarkeit der Konstruktionsmethode nicht. Dies hat zur Folge, dass keine Aussagen zu möglichen Schwierigkeiten in der Anwendbarkeit der untersuchten Konstruktionsmethode getroffen werden können, so dass Weiterentwicklungspotenzial nicht erkannt wird.
Das Ziel dieser Forschungsarbeit ist die Entwicklung und Evaluation einer Untersuchungsmethode, die zusätzlich zum Nutzen einer Konstruktionsmethode auch Schwierigkeiten in deren Anwendbarkeit erfasst. Mit der Untersuchungsmethode soll eine aussagekräftige Validierung aufgrund von operationalisierten Metriken und statistisch auswertbaren Ergebnissen ermöglicht und Erkenntnisse bezüglich der Weiterentwicklung der jeweiligen Konstruktionsmethode gewonnen werden.
Die zu diesem Zweck neu entwickelte ACAP-Untersuchungsmethode untersucht die Anwendbarkeit und erfasst die Messgrößen Aufmerksamkeit, Verständnis und Korrektheit der Anwendung sowie den Nutzen der Konstruktionsmethode. Zur Evaluation der ACAP-Untersuchungsmethode wurde eine Konstruktionsmethode für die Blechkonstruktion in einer Laborstudie untersucht. Die Ergebnisse der Evaluation ergaben, dass die ACAP-Untersuchungsmethode: 1) Schwierigkeiten in der Anwendbarkeit der untersuchten Konstruktionsmethode identifiziert; 2) den Nutzen der Konstruktionsmethode ermittelt; 3) die Auswirkungen der erkannten Schwierigkeiten auf den Nutzen erfasst. Mit der ACAP-Untersuchungsmethode können so anhand von objektiven Metriken Ursachen für bestehende Schwierigkeiten identifiziert und für die Weiterentwicklung der untersuchten Konstruktionsmethode verwendet werden.

The targeted improvement of design methods requires validation studies that make it possible to detect and evaluate difficulties in the application of the methods under study. Validations of design methods to date focus on evaluating the outcome. However, the finding that the outcome of a design method does not meet the desired benefit is not sufficient in itself as a basis for further development and improvement. The reasons for the benefit or failure of a design method lie in its application by the design engineers. It is crucial for the applicability that the method contents are read, understood and correctly applied.
... mehr
Current analysis methods for the validation of design methods are limited to the survey and evaluation of the design outcome and do not consider the applicability of the design method. As a result, no conclusions can be drawn about possible difficulties in the applicability of the investigated design method, so that further development potential is not recognized.
The aim of this work is the evaluation of an analysis method which, in addition to the benefit of a design method, also detects difficulties in its applicability. The research method is intended to enable meaningful validation based on operationalized metrics and statistically evaluable results, and to gain insights regarding the further development of the respective design method.
The ACAP analysis method, which was newly developed for this purpose, examines applicability and measures attention, comprehension and correctness of application, as well as the usefulness of the construction method. To evaluate the ACAP analysis method, a design method for sheet metal construction was examined in a laboratory study. The results of the evaluation showed that the ACAP analysis method: 1) identifies difficulties in the applicability of the design method; 2) determines the benefit of the design method; 3) captures the impact of the identified difficulties on the benefit. Thus, using objective metrics, the ACAP analysis method can identify causes of existing difficulties and can be used for further development of the design method.