Der Mathematiker Florian Graf von der neuen Fakultät für Digitale und Analytische Wissenschaften der Paris Lodron Universität (PLUS) wurde für seine Top-Publikation im Forschungsgebiet des Maschinellen Lernens mit dem „Young Investigators Award“ der Universität Salzburg ausgezeichnet. Die Arbeit des Nachwuchswissenschaftlers zur Grundlagenforschung ist auch von praktischer Relevanz. Sie eröffnet einen Blick in die gern als „Black Box Lernverfahren“ bezeichneten Künstlichen Neuronalen Netze, was zum Beispiel bei KI-gestützten medizinischen Diagnosen oder Therapie-Entscheidungen sehr wichtig ist. 

Die Künstliche Intelligenz (KI) ist im Alltag angekommen. Wir nutzen Chatbots, reden mit Sprachassistenten, KI digitalisiert die Dokumentenverarbeitung, die Muster-, Bild- oder Objekt-Erkennung. Sie ermöglicht neue, intelligentere Lösungen in vielen Bereichen, vom autonomen Fahren bis zur Medizin.

Eine der wichtigsten Spielarten der KI ist das Maschinelle Lernen (ML), es wird oft als Synonym für KI verwendet. „Beim Maschinellen Lernen generiert der Computer – analog wie ein Mensch – selbständig Wissen aus Erfahrungen (Daten) und kann eigenständig Lösungen für Probleme finden. Anders als bei der Entwicklung klassischer Software, die nach von Menschen explizit festgelegten Regeln arbeitet, können ML-Algorithmen die Regeln für das Lösen bestimmter Aufgaben selbst lernen und sind dadurch in der Lage, in großen hochdimensionierten Datensätzen Zusammenhänge und Muster zu finden, die kein Mensch je entdecken würde“, erklärt der Informatiker Roland Kwitt, Professor für Maschinelles Lernern an der Universität Salzburg und Dissertationsbetreuer von Florian Graf.

Voraussetzung für das Maschinelle Lernen ist ein riesiger Pool an Beispieldaten. Diese Daten können dann dafür genutzt werden, um beispielsweise ein Künstliches Neuronales Netz zu entwickeln. Während der sogenannten Trainingsphase mit den Beispieldaten lernt das Künstliche Neuronale Netz (oft verkürzt „Neuronales Netz“ genannt) selbständig Regeln. Tatsächlich sind Neuronale Netze aktuell das „Arbeitspferd“ des Maschinellen Lernens bzw. der Künstlichen Intelligenz. „Wir haken bei der Frage ein, wie Neuronale Netze intern funktionieren. Visuell gesprochen öffnen wir die „Black Box“ an bestimmen Stellen um dann mathematisch zu beschreiben, was genau an diesen Stellen passiert. So gut sich Neuronale Netze in der Praxis bewähren, so schlecht versteht man sie aus Sicht der klassischen Lerntheorie. Die gelernten Zusammenhänge und Datenrepräsentationen sind so komplex, dass selbst Experten sie nur unzureichend nachvollziehen können,“ so Kwitt.

Florian Graf hat in seiner Arbeit nun einen Teil in dem Black Box Puzzle mathematisch analysiert und so eine Facette des Rätsels aufgeklärt. Im Fokus seiner Arbeit steht die sogenannte Fehlerfunktion. „Ein Neuronales Netz trainiert man – salopp gesprochen -, indem man ihm sagt, ob das was es macht, richtig oder falsch ist, zum Beispiel wenn es zwischen Hunden und Katzen unterscheiden soll. Das Training für die Aufgabe, – etwa eine Bildklassifikation -, geschieht unter Zuhilfenahme einer sogenannten Fehlerfunktion. Ziel des Lernens ist es, diese Fehlerfunktion auf Basis von einer großen Menge an Trainingsdaten zu minimieren. Man könnte auch sagen, das Neuronale Netz so anzupassen, dass es zumindest auf genau diesen Trainingsdaten keine, oder nur mehr sehr geringe Fehler macht. Das heißt: die Qualität des Neuronalen Netzes wird besser,“ erklärt Graf.

Konkret hat Graf zwei Fehlerfunktionen untersucht, eine sehr populäre und eine neuartige, und deren Minima exakt charakterisiert. Sein – auch für die Praxis relevantes – Fazit: „Obwohl sich beide Fehlerfunktionen, obgleich ihrer total unterschiedlichen Formulierungen, formal gesehen ähnlich verhalten, ist es dennoch günstiger mit der neuartigen Fehlerfunktion zu trainieren. Die so gewonnenen Neuronalen Netze zeigen in der Praxis schlichtweg besseres Verhalten“, so Graf.

Das „digitale Gehirn“ (wie Künstliche Neuronale Netze auch genannt werden) ist zwar vom menschlichen Gehirn inspiriert, insofern als sich künstliche Neuronen Signale hin- und herschicken, es hat aber nicht wirklich etwas mit dem menschlichen Gehirn zu tun. Es ist einfach eine Sorte von Algorithmen, mit der man zum Beispiel Klassifikationsprobleme lösen kann.

Aber: Müssen wir wissen, wie ein Neuronales Netz entscheidet oder genügt es, den Black Box Charakter zu akzeptieren, solange Neuronale Netze möglichst hohe Vorhersagegenauigkeit haben? Oft wird hier der Vergleich zur menschlichen Intuition gezogen, zu Entscheidungen „aus dem Bauch heraus“. „Bei medizinischen Anwendungen zum Beispiel leuchtet es ein, dass man wissen möchte, nach welchen Kriterien ein Neuronales Netz zu seiner spezifischen Entscheidung kommt und was genau während des Trainings passiert,“ erläutern die Computerwissenschaftler.

Der Preisträger

Florian Graf hat an der LMU in München ein Mathematik-Masterstudium absolviert, Spezialgebiet Topologie. Dass er im Jahr 2019 für das Doktoratsstudium an die Paris Lodron Universität Salzburg zu Professor Roland Kwitt gewechselt hat, liegt an der großen Schnittmenge zwischen dem Maschinellen Lernen, dem Forschungsschwerpunkt von Roland Kwitt, und der algebraischen Topologie, in der Graf profunde Kenntnisse hat.

„Herr Graf hat in 3 Jahren 4 Publikationen auf Top-Tagungen präsentiert, eine 5. Publikation ist eingereicht. Das ist absolut außergewöhnlich. Zwei Publikationen auf diesem Niveau würden für eine Dissertation völlig reichen“, so Kwitt, der hofft, dass sich für seinen Dissertanten eine Finanzierungsmöglichkeit für eine Postdoc-Stelle in Salzburg ergibt. „Es ginge schlichtweg sehr viel verloren, wenn Herr Graf an eine andere Universität abwandern würde. Forscher in seiner Qualität sind an Top-Universitäten immer willkommen.“

Und was ist das Geheimnis der erfolgreichen Arbeit des in Ulm, dem Geburtstort Albert Einsteins, aufgewachsenen Preisträgers?  „In meiner Arbeit habe ich viel zum Nachrechnen. Was andere Leute eher abschreckt, macht mir Spaß. Vor mich hinrechnen und schauen, ob etwas Vernünftiges dabei herauskommt und das dann interpretieren, da beiß ich mich gern durch,“ sagt der 30Jährige. Was seine Zukunftspläne betrifft, sei er noch für alles offen. „Wenn es klappt, bin ich gern noch für eine Weile hier an der neuen Fakultät für Digitale und Analytische Wissenschaften der Universität Salzburg,“ sagt Graf.

Titel der Dissertation: Geometrical and Topological Aspects of Learning with Neural Networks

Betreuer: Univ.-Prof. Dipl.-Ing. Dr. Roland Kwitt | Fachbereich Artificial Intelligence and Human Interfaces |