Bayesian Meta-Learning for Probabilistic Modeling and Optimization

Trotz ihres erwiesenen Potenzials sind moderne Methoden des maschinellen Lernens in der Praxis oft nicht ohne Weiteres anwendbar, z.B. für viele Modellierungs- oder Optimierungsprobleme, die in Technik und Wissenschaft auftreten. Dies liegt daran, dass es sich in der Regel als unmöglich oder zu teuer erweist, eine ausreichende Menge an Daten zu sammeln, um aussagekräftige Modellierungsverfahren anzuwenden oder hinreichend genaue Optimierungslösungen zu finden. Häufig ist jedoch eine große Menge an historischen Daten verfügbar, die im Laufe der Zeit durch die Lösung ähnlicher Problemstellungen ("Aufgaben") gesammelt wurden. ... mehrDas Meta-Lernen ist ein vielversprechender Ansatz für die Konditionierung von Algorithmen des maschinellen Lernens auf solche Daten, um neue Aufgaben dateneffizienter zu lösen.
Angesichts der Knappheit der Daten für neue Aufgaben hängt der Erfolg des Meta-Lernens von einer genauen Quantifizierung der resultierenden Vorhersageunsicherheit ab. Um dieses Problem zu lösen, verwenden moderne Algorithmen das Paradigma der Bayes'schen Inferenz. Die daraus resultierenden Berechnungen erfordern in der Regel ausgefeilte numerische Approximationstechniken, um für praktische Anwendungen effizient genug zu sein. In dieser Arbeit zeigen wir, dass moderne Ansätze des Bayes'schen Meta-Lernens in Bezug auf die Genauigkeit dieser approximativen Bayes'schen Inferenzen oft suboptimal sind. Dies hat zur Folge, dass die Vorhersagegenauigkeit und die Unsicherheitsschätzungen nicht den Anforderungen für praktische Anwendungen des Meta-Lernens entsprechen.
Um diese Lücke zu schließen, entwickeln wir neuartige Algorithmen, die die Leistungsfähigkeit von Bayes'schen Meta-Modellen und Meta-Optimierern verbessern, ohne deren Recheneffizienz zu stark zu beeinträchtigen. Wir konzentrieren uns zunächst auf den Aspekt der Bayes'schen Modellierung und schlagen die Bayes'sche Kontextaggregation (BA) und Gaussian Mixture Neural Processes (GMM-NP) vor, um qualitativ hochwertigere approximative Bayes'sche Inferenzen zu erzielen. Wir zeigen, dass diese Techniken nicht nur die Vorhersagequalität erheblich verbessern, sondern auch effizientere und genauere Lösungen für teure Optimierungsprobleme im Vergleich zum Stand der Technik ermöglichen. Im zweiten Teil dieser Arbeit konzentrieren wir uns ausschließlich auf solche Optimierungsprobleme und entwickeln MetaBO, einen neuartigen Algorithmus, der die Bayes'sche Optimierung durch direktes Meta-Lernen der Optimierungsstrategie beschleunigt.

Despite their proven potential, modern machine learning methods are often not readily applicable to practical settings, such as many modeling or optimization problems that arise in engineering and science. The reason is that it is usually impossible or too expensive to collect a sufficient amount of data to apply expressive modeling techniques or to find sufficiently accurate optimization solutions. Frequently, however, a large amount of historical data collected over time by solving similar problem instances ("tasks") is available. Meta-learning is a promising framework for conditioning machine learning algorithms on such data to solve novel tasks in a more data efficient manner.
... mehr
Given the scarcity of data for novel tasks, the success of a meta-learning approach depends on an accurate quantification of the resulting predictive uncertainty, for which modern algorithms employ the paradigm of Bayesian inference. The resulting computations typically require sophisticated numerical approximation techniques to become efficient enough for practical applications. In this work, we show that state-of-the-art approaches for Bayesian meta-learning are often suboptimal in terms of the accuracy of these approximate Bayesian inferences. As a result, the predictive accuracy and uncertainty estimates do not meet the requirements for practical applications of meta-learning.
To bridge this gap, we develop novel algorithms that improve the performance of Bayesian meta-models and meta-optimizers without sacrificing computational efficiency. We first focus on the Bayesian modeling aspect and propose Bayesian Context Aggregation (BA) and Gaussian Mixture Neural Processes (GMM-NP) to achieve higher quality approximate Bayesian inferences. We show that these techniques not only significantly improve predictive performance, but also enable more efficient and accurate solutions to expensive optimization problems compared to the state of the art. In the second part of this work, we focus exclusively on such optimization problems and develop MetaBO, a novel algorithm that accelerates Bayesian optimization by directly meta-learning its optimization strategy.