Training Quantum Kernels for Clustering Algorithms

Clustering ist eine außerordentlich wichtige Sparte des Maschinellen Lernens von der besonders Anwendungen, die sich mit großen Datenmengen beschäftigen, profitieren können. In diesen Anwendungen wird Clustering verwendet um Strukturen in Daten zu finden und ähnliche Datenpunkte zu gruppieren. Allerdings ist Ähnlichkeit in diesem Kontext kein wohldefiniertes Maß und hängt stark von der jeweiligen Situation und dem Datensatz ab. Diese Situationsabhängigkeit ist auch der Grund weshalb es nicht nur einen Clustering Algorithmus gibt. Vielmehr gibt es unterschiedliche Modelle dafür wie ein Cluster definiert sein kann und entsprechend unterschiedliche Algorithmen, die Cluster basierend auf diesen Modellen finden können. ... mehrAußerdem verwenden viele dieser Algorithmen austauschbare Kernel-Funktionen, welche die Ähnlichkeit zwischen zwei Datenpunkten definiert.

Diese Kernel-Funktionen können allerdings nicht ausschließlich auf klassischen Computern berechnet werden, denn jüngste Forschung im Bereich des Quanten Maschinellen Lernens zeigt, dass auch Quantencomputer verwendet werden können um Kernel-Funktionen zu berechnen. Quantencomputer sind hauptsächlich dafür bekannt bestimmte Probleme, die im Klassischen unlösbar oder nur schwer lösbar sind, effizient berechnen zu können. Die Hoffnung ist, dass es bestimmte Quanten Kernel-Funktionen gibt die klassisch nicht berechnet werden können, aber einen Vorteil gegenüber klassischen Kernel-Funktionen darstellen.

Quanten Kernel-Funktionen können des weiteren mit variierbaren Quanten Schaltkreisen kombiniert werden. Diese Quanten Schaltkreise sind sehr ähnlich zu klassischen Neuronalen Netzen, denn beide besitzen variierbare Parameter die optimiert werden können, um eine bestimmte Zielfunktion zu realisieren. Die Kombination einer Quanten Kernel-Funktion und einem variierbaren Quanten Schaltkreis, auch variierbarer Quanten Kernel genannt, sorgt dafür, dass die Kernel-Funktion durch Training an den vorhandenen Datensatz angepasst werden kann. Diese Idee wurde zuerst von den Autoren von [Hub+21] eingeführt, die die Kernel-Funktion mit einer Support Vector Machine kombiniert haben.

Im Vergleich dazu schlägt diese Arbeit eine Kombination von variierbaren Quanten Kernels mit klassischen Clustering Algorithmen vor. Da Clustering generell im Bereich des unüberwachten Maschinellen Lernens angesiedelt ist, wird die Optimierung der Parameter ohne klassifizierte Trainingsdaten schwierig. Deshalb betrachtet diese Arbeit zwei unterschiedliche Wege die Parameter zu trainieren. Einerseits vollständig unüberwacht, wodurch keine klassifizierten Trainingsdaten vorhanden sind, andererseits semi-überwacht, bei dem kleine Mengen von klassifizierten Daten für das Training verwendet werden können. Die trainierten Quanten Kernels werden anschließend mit unterschiedlichen klassischen Clustering Algorithmen, die Kernel-Funktionen nutzen können, kombiniert.

Um diesen Ansatz zu evaluieren wurde eine Trainings- und Testpipeline implementiert, die simulierte Quantencomputer auf klassischer Hardware verwendet.

Umfangreiche Experimente zeigen, dass variierbare Quanten Kernels mit unterschiedlichen semi-überwachten Kostenfunktionen trainiert werden können. Desweiteren können diese trainierten Quanten Kernels in klassischen Clustering Verfahren gute Ergebnisse erzielen. In den meisten Fällen sind die Clustering Ergebnisse mit trainierten Quanten Kernels besser als mit dem häufig benutzten, klassischen radial basis (rbf) Kernel. Allerdings konnten für die vorgestellten unüberwachten Kostenfunktionen keine guten Ergebnisse erreicht werden, weshalb diese momentan nicht geeignet sind, um einen variierbaren Quanten Kernel zu trainieren.

Clustering is an important machine learning (ML) task, especially for applications dealing with large amounts of data. In these cases, clustering is used to detect structure in the data by grouping together similar datapoints. In this context, similarity is no strictly defined measure. Similarity is rather defined for each individual situation and dataset. This is the reason why there is no single clustering algorithm that is applicable to all situations, as each algorithm assumes a different cluster model. Furthermore, many clustering algorithms use interchangeable kernel functions that define the similarity between two samples.
... mehr

These kernel functions can not only be calculated on classical computers, but recent research has shown that quantum computers are capable of computing them as well. Quantum computers are generally known to be able to solve specific problems, which are intractable on classical computers. The hope is that there are quantum kernel functions, which are classically intractable, and pose an advantage over classical kernel functions.

Furthermore, these quantum kernel functions can be defined in combination with variational quantum circuits (VQCs). VQCs are similar to classical neural networks (NNs) in that they have free parameters that can be optimized to represent a target function. Combining quantum kernels with VQCs makes the kernel function adjustable to reflect the actual structure of the provided data. This idea was first proposed in [Hub+21] and combined with a support vector machine (SVM).

This thesis instead proposes a combination of variational quantum kernels (VQKs) with classical clustering algorithms. While clustering is generally defined as a task of unsupervised learning, optimizing the parameters of a VQK is difficult without any labeled training data. Therefore this thesis considers two ways of training the VQK, completely unsupervised, where no labeled training data is available, and semi-supervised, where a small amount of labeled training data is available. The trained VQKs are then combined with various clustering algorithms that can utilize kernel functions.

In order to evaluate the proposed approach, a training and testing pipeline was implemented using a simulated quantum computer on classical hardware.

Extensive experiments show that the VQKs can be optimized using different semisupervised cost functions. Additionally, the trained quantum kernel can be used with many different classical clustering algorithms and perform well. In most cases the quantum kernel performs as well as or even better than the popular classical radial basis function (RBF) kernel. However, the unsupervised learning approaches proposed in this thesis were shown to not be able to optimize the kernel function.