Multi-Language and Cross-Language Software Plagiarism Detection

Dank aktueller Fortschritte im Bereich Künstlicher Intelligenz ist es einfach geworden, Code in andere Programmiersprachen zu übersetzen. Dadurch ist es für Schüler und Studierende einfach möglich, bei Programmieraufgaben Plagiate in einer anderen Sprache abzugeben als das Original. Daher werden Werkzeuge benötigt, die es ermöglichen, solche Plagiate zu finden. Die derzeit üblichen Plagiatserkennungswerkzeuge sind lediglich in der Lage, für einen Satz von Abgaben eine Programmiersprache zu prüfen. Diese Arbeit beschäftigt sich mit zwei Teilproblemen. Als Erstes behandeln wir das Parsen mehrerer Sprachen in einem Datensatz, wobei zwar mehrere Sprachen erlaubt sind, aber immer nur der Code der selben Sprache verglichen wird (multi-language plagiarism detection). ... mehrDas zweite Teilproblem umfasst Code von verschiedenen Sprachen zu vergleichen (cross-language plagiarism detection).
In dieser Arbeit wird ein Ansatz für multi-language plagiarism detection eingeführt, bei dem die Tokens der einzelnen Sprachen konkateniert werden. Um cross-language plagiarism detection zu unterstützen, werden sprach-unabhängige Token-Typen und -Regeln für Token-Sequenzen definiert. Diese Regeln müssen für jede Sprache implementiert werden. Zusätzlich wird noch ein Ansatz evaluiert, der ein dynamisches Vergleichen von Tokens ermöglicht.
Durch unsere Evaluation konnte gezeigt werden, dass das Parsen mehrerer Sprachen mit dem vorgeschlagenen Ansatz die Ergebnisse nicht ändert und die Pipeline unverändert verwendet werden kann. Für das Vergleichen mehrerer Sprachen könnte eine Mean-Average-Precision von 90% erreicht werden. Allerdings werden auch offene Probleme, die in beiden
Ansätzen bestehen, deutlich. In der Evaluation konnte der erste Ansatz leicht bessere Ergebnisse erzielen, allerdings können beide Ansätze wertvolle Erkenntnisse liefern.

Recent advances in AI make it possible to automatically translate source code into a different programming language easily. This makes it possible for students to plagiarize submissions in programming tasks across programming languages. Therefore, tools that are capable of helping teachers find such instances of plagiarism are needed. Currently, the commonly used plagiarism detection tools can only handle code from one language for a single run. This thesis deals with two different sub-problems. Firstly, parsing and comparing the code of each occurring language in a single submission set separately (multi-language plagiarism detection) and, secondly, comparing submissions as a whole, despite containing code from multiple languages (cross-language plagiarism detection).
... mehr
In this thesis, we propose supporting multi-language plagiarism detection by concatenating the token lists. For cross-language plagiarism detection, we propose a set of language-agnostic tokens and rules for the order they should be extracted in, which have to be implemented for each supported language. In addition, a dynamic approach that allows more flexible matching of tokens is considered.
The evaluation shows that parsing multiple languages in a single run has, as expected, no impact on the token-based plagiarism detection pipeline. In regards to comparing code from different languages, it shows the language-agnostic token types approach works in general with a precision of around 90%. However, the evaluation also revealed issues that need to be addressed to apply the approach to real-world data. The second approach produced lower results, indicating the simpler one should be preferred. Despite that, it still provides valuable insights.