Incorporation of Text Content Similarity into Token-Based Source Code Plagiarism Detection

Im akademischen Kontext ist Plagiarismus eine ernstzunehmende Gefahr für die Integrität von Aufgaben für Studierende, insbesondere in einführenden Programmierkursen. Aus verschiedensten Gründen können Studenten versuchen, absichtlich oder unabsichtlich, Plagiate für die Lösungen von Aufgaben anzufertigen. Da Einsteigerkurse häufig von vielen Studierenden besucht werden und die Abgaben eine gewisse Komplexität enthalten, nutzen Kursbetreuer häufig Plagiatserkennungssysteme, um mögliche Plagiate zu erkennen.
Moderne Plagiatserkennungssysteme ignorieren aktuell meistens Textinhalte des Quelltexts während der Plagiatserkennung. ... mehrAllerdings hat sich gezeigt, dass mögliche Plagiate oft ähnliche oder identische Textinhalte beinhalten, häufig in Form von Zeilen- oder Dokumentationskommentaren. Diese Kommentare könnten genutzt werden, um mögliche Plagiatsfälle einfacher zu finden oder um Kursbetreuer während der manuellen Inspektion von auffälligen Abgaben zu unterstützen. Daher präsentiert diese Thesis eine Erweiterung für Plagiatserkennungssysteme, um den Vergleich von Textinhalten in Form von Quelltextkommentaren in die Plagiatserkennung einzubinden.
Um Kommentare während der Plagiatserkennung zu berücksichtigen, wird eine dreistufige Kommentarverarbeitungs-Pipeline eingeführt, welche Kommentare aus den Quelltextdateien extrahiert, diese untereinander vergleicht, und die Ergebnisse in die Ergebnisse der Plagiatserkennung einfügt. Darüber hinaus werden drei verschiedene Vergleichsalgorithmen für Kommentare verglichen und der Einfluss von Vorverarbeitung der Kommentare durch natürliche Sprachverarbeitung untersucht.
Die Pipeline mit allen Vergleichsalgorithmen wurde sowohl auf Datensätzen bestehend aus studentischen Abgaben als auch auf Datensätzen bestehend aus Abgaben, welche von künstlicher Intelligenz generiert wurden, evaluiert und verglichen. Die Ergebnisse demonstrieren die Effektivität der Kommentarverarbeitungs-Pipeline in realen Applikationen.

In an academic context, plagiarism is a serious threat to the integrity of exercises given to students, especially in introductory programming courses. For various reasons, students may, intentionally or unintentionally, attempt to plagiarize solutions for given exercises. Since introductory programming courses often have a large number of students and the complexity of solutions is not negligible, instructors often employ plagiarism detection
systems to be able to spot possible cases of plagiarism.
Current state-of-the-art systems often disregard textual content in the source code during the detection of plagiarism. ... mehrHowever, recent developments have shown that possible cases of plagiarism often do contain similar or identical textual constructs, such as inline or documentation comments. These comments could be used to find cases of plagiarism more easily, or further aid instructors during the manual review of suspicious submissions. Therefore, in this thesis, we enhance plagiarism detection engines by introducing the matching of textual components in the form of source code comments into the plagiarism detection.
To process comments during the plagiarism detection, we introduce a three-step comment processing pipeline, which extracts comments from the source-code, compares them among the submissions, and merges the results into the result of the plagiarism detection. Furthermore, we compare three different matching algorithms for matching comments and explore the impact of natural language preprocessing of the comments inside this pipeline.
The pipeline with all matching algorithms was evaluated and compared on both datasets containing real student submissions from a first-year programming course and datasets containing submissions fully generated by artificial intelligence. These results demonstrate the effectiveness of the comment processing pipeline in real applications.