Im Gespräch mit den diesjährigen Gewinner*innen
Ohne Leidenschaft, Geduld und Ausdauer geht es nicht.
Rezaul Karim
Seit 2015 verleiht der Fraunhofer-Verbund IUK-Technologie jährlich den ICT-Dissertation Award. Prämiert werden die herausragendsten Dissertationen aus den Fraunhofer-Instituten, die sich mit innovativen Entwicklungen und Technologien in den Bereichen Informatik, Mathematik oder Naturwissenschaften auseinandersetzen. Die Preisträger*innen des Jahres 2023 sind ehemalige Mitarbeitende des Fraunhofer FIT, des Fraunhofer AISEC und des Fraunhofer IDMT. Alle drei Arbeiten beschäftigen sich mit einem der zukunftsträchtigsten Themenfelder: Künstlicher Intelligenz.
Dr. Rezaul Karim, 1. Platz des Fraunhofer ICT Dissertation Award 2023
Herr Dr. Karim, erst einmal herzlichen Glückwunsch zum ersten Platz des Fraunhofer ICT Dissertation Award 2023! In Ihrer Dissertation haben Sie sich mit dem Entscheidungsfindungsprozess komplexer Machine-Learning-Modelle auseinandergesetzt. Wie kamen Sie zu diesem Thema?
Vielen Dank, ich freue mich sehr über diese Auszeichnung! Explainable Artifical Intelligence war ursprünglich nicht mein primärer Forschungsbereich. Ich habe einen Master in Knowledge Discovery und Data Mining an der Kyung Hee University gemacht und kam erst später dazu, mich tiefergehend mit Machine Learning zu beschäftigen. Das war im Jahr 2015, als ich am Fraunhofer Institut für Angewandte Informationstechnik FIT als Data Scientist angefangen habe und zeitgleich meine Promotion an der RWTH Aachen unter der Leitung von Professor Dr. Stefan Decker begonnen habe. Ich war fasziniert davon, wie Machine Learning und Neuronale Netze dazu beitragen können, komplexe Probleme zu lösen. Mit wachsender Neugier wollte ich den Prozess verstehen, wie Machine-Learning-Modelle während des Trainings lernen und wie Entscheidungsprozesse entstehen.
Je mehr ich in das Thema Deep Learning eintauchte, desto mehr wurde ich mir der Verantwortung bewusst, die mit der Verwendung intransparenter Modelle einhergeht. Es ist bekannt, dass Entscheidungsfindungsprozesse bei Machine-Learning-Modellen nicht nachvollziehbar sind und das Ganze in einer Black-Box endet. Das kann in vielen Fällen problematisch sein. Datenverzerrungen oder fehlerhafte Trainingsdaten können bei KI-Systemen unerwünschtes oder auch diskriminierendes Verhalten produzieren. Gerade in Bereichen wie der Medizin, wo Künstliche Intelligenz erhebliche Auswirkungen auf das Leben von Menschen hat, kann das problematisch sein. Daher ist es umso wichtiger, gerade im Hinblick auf den wachsenden Einsatz von KI in allen Gesellschaftsbereichen, Vorhersagen und Entscheidungen nachvollziehbar zu machen.
Inwiefern ermöglicht Ihr Forschungsergebnis die Nachvollziehbarkeit dieser Entscheidungsprozesse?
Häufig muss ein Kompromiss zwischen der Genauigkeit und der Interpretierbarkeit eines Modells des Maschinellen Lernens eingegangen werden. In meiner Dissertation habe ich untersucht, wie die Erklärbarkeit von Machine-Learning-Modellen verbessert werden kann, ohne die Genauigkeit wesentlich zu beeinträchtigen. Ich habe einen neuartigen Ansatz namens neurosymbolische KI vorgeschlagen und entwickelt, der zwei wichtige Paradigmen der KI kombiniert, nämlich symbolische, zum Beispiel wissensbasierte Systeme, und konnektionistische KI, zum Beispiel moderne Deep-Learning-Architekturen. Bei diesem Ansatz lernt ein Deep-Learning-Modell die Zuordnung zwischen Eingaben und Ausgaben, um Vorhersagen für neue Daten zu treffen. Vom Menschen interpretierbare Erklärungen, die sowohl lokale als auch globale Erklärungen umfassen, werden dann auf der Grundlage eines von mir entwickelten neuartigen interpretierbaren Ersatzmodells erstellt. Um die weitere Leistungsfähigkeit und Effektivität meines Ansatzes zu zeigen, wird eine systematische Studie durchgeführt, die genaue und zuverlässige Krebsdiagnosen liefern soll. Die Idee besteht darin, die Vorhersagen eines Machine-Learning-Modells zu validieren, das auf einem Wissensgraphen der Domäne, kurz KG, basiert. Zu diesem Zweck werden eine Domänen-Ontologie und ein KG durch die Integration von Wissen und Fakten aus wissenschaftlicher Literatur und Wissensdatenbanken erstellt. Um die Zuverlässigkeit diagnostischer Entscheidungen zu verbessern, werden evidenzbasierte Erklärungen durch die Kombination von Modellvorhersagen und KG-basierten Schlussfolgerungen erstellt. Darüber hinaus wird eine benutzerfreundliche Anwendung entwickelt, die nicht nur dabei hilft, diese Erklärungen in einer für den Menschen verständlichen Weise zu nutzen, sondern auch bei der interaktiven Beantwortung von Fragen durch einen Fachmann, zum Beispiel einen Arzt*eine Ärztin.
Welche Perspektiven sehen Sie für Ihre Forschung?
Die Erklärbarkeit von KI ist in jedem Bereich, in dem KI-basierte Systeme eingesetzt werden, von hoher Relevanz. Zudem wurde 2021 ein neuer Gesetzentwurf zur Regulierung der Künstlichen Intelligenz verabschiedet, mit welcher algorithmische Transparenz und Fairness nicht nur zu wünschenswerten Eigenschaften der Künstlichen Intelligenz, sondern auch zur gesetzlichen Anforderung wurde. Ich denke, die Relevanz des Themas steht auch in Verbindung mit der Anzahl der Zitationen meines wissenschaftlichen Artikels in Google Scholar, die bereits die 2000er Marke überschritten hat. Dies zeigt bereits ein gewisses Potenzial.
Wenn Sie auf Ihre Promotionszeit zurückblicken, was war für Sie die größte Herausforderung?
Während meines Promotionsstudiums an der RWTH Aachen war ich am Fraunhofer FIT als Data Scientist angestellt, wo ich an mehreren Projekten mitarbeitete und auch teilweise an der Erstellung mehrerer Förderanträge beteiligt war. Darüber hinaus habe ich ehrenamtlich in der Lehre an der Universität mitgewirkt, unter anderem bei der Betreuung von Seminarthemen sowie Bachelor- und Masterarbeiten. Der Spagat zwischen meiner Forschung und all diesen anderen Aufgaben war eine große Herausforderung für mich. Zweitens war es bei meiner Arbeit am Fraunhofer-Institut – wo der Schwerpunkt häufig auf der angewandten Forschung liegt – herausfordernd, theoretische und angewandte Forschungsaspekte miteinander zu verbinden.
Was würden Sie jungen Forschenden mit auf den Weg geben, die eine Promotion anstreben?
Seien Sie neugierig, denn ein neugieriger Forscher stellt nicht nur Fragen, sondern versucht auch proaktiv, Antworten zu finden. Seien Sie leidenschaftlich und denken Sie daran, dass eine Promotion eine Reise ist und kein schneller Crashkurs. Ohne Leidenschaft, Geduld und Ausdauer geht es nicht. Kennen Sie den state-of-the-art. Gerade im Bereich Data Sience und KI entwickelt sich das Forschungsfeld ständig rasant weiter. Ethik, gute Forschungspraxis und Reproduzierbarkeit sind drei wichtige Aspekte, die ich persönlich wichtig finde. Nehmen Sie an wissenschaftlichen Veranstaltungen teil, knüpfen Sie Kontakte und trauen Sie sich, Ihre wissenschaftlichen Ergebnisse auf Veranstaltungen zu präsentieren. Nicht zuletzt, ist Selbstständigkeit ein wichtiges Thema. Denn während einer Promotion lernt man auch, die eigene Forschung mit minimaler Betreuung durchzuführen.
Ich möchte an dieser Stelle gerne meinen Kollegen vom Fraunhofer FIT und Informatik an der RWTH Aachen für ihre Unterstützung danken – insbesondere meinem Doktorvater Professor Dr. Stefan Decker und meinen Gruppenleitern Professor Dr. Oya Beyan und Dr. Christoph Lange, die mich durch ein flexibles und stressfreies Arbeitsumfeld stets betreut, gefördert und motiviert haben. Ich hatte großes Glück, am Fraunhofer FIT beschäftigt zu sein.
(vmi)
Warum ist die Erklärbarkeit von KI so wichtig?
Dr. Franziska Boenisch, 2. Platz des Fraunhofer ICT Dissertation Award 2023
Noch einmal herzlichen Glückwunsch zum 2. Platz des ICT Dissertation Awards! Vielen Dank, dass Sie sich die Zeit genommen haben, meine Fragen zu beantworten. Erst einmal würde ich Sie bitten, kurz zusammenzufassen, worum es in Ihrer Dissertation geht.
In den letzten Jahren haben die Fortschritte im Bereich des Maschinellen Lernens (ML) dazu geführt, dass ML zunehmend in kritischen Anwendungen und auf hochsensible Daten eingesetzt wird. Das rückt die Aspekte der Sicherheit und Privatheit innerhalb des ML‘s in den Fokus: ML-Modelle sollen korrekt funktionieren und nicht zu viele Informationen über ihre sensiblen Trainingsdaten preisgeben. In meiner Arbeit stellen wir fest, dass ML-Entwickler ein besonders geringes Bewusstsein für Privatheit in ML haben und bei deren Implementierung auf Dienste von Drittanbietern vertrauen. Dies führt häufig zu Privatsphärerisiken. Wir untersuchen diese Risiken genauer am Beispiel von Federated Learning (FL), also dezentralem Lernen, da es sich bei FL um ein weit verbreitetes Protokoll handelt, das in Szenarien mit hunderttausenden Nutzern und von großen Firmen angewendet wird. Unsere Forschung zeigt, dass FL große Risiken für die privaten Daten der Nutzer darstellt, da diese Daten direkt an die Firmen leaken können.
Des Weiteren habe ich verschiedene Verteidigungsmechanismen angeguckt und festgestellt, dass trotz ihres Einsatzes in FL große Firmen jederzeit unsere Daten im Klartext mitlesen können. Dies liegt daran, dass einzelne Nutzer zu wenig Kontrolle darüber haben, was innerhalb der Anwendung passiert, und praktisch alles von diesem Server koordiniert wird. Das war das Hauptfinding der Arbeit.
Darüber hinaus habe ich in meiner Arbeit analysiert, wie sich der Einsatz von Privatsphäremechanismen auf andere Aspekte der Trustworthiness, in meinem Fall die Robustheit, von ML-Modellen auswirkt. Die Analysen zeigen, dass wenn wir Schutzmechanismen für Privatsphäre einbauen, das Modell häufiger falsche Voraussagen macht und einfacher angegriffen werden kann. Es gibt also noch viele offene Fragen mit diesen Machine-Learning Anwendungen mit denen wir im täglichen Leben Interagieren.
Okay, Privatsphäre und sichere Voraussagen sind gleichermaßen von Bedeutung, schließen sich aber teilweise aus. Gibt es da schon Lösungsansätze, um beides zu gewährleisten?
Wir müssen neue und bessere Verteidigungsmechanismen entwickeln, die nicht auf einzelne Aspekte spezialisiert sind, sondern von Anfang an mehrere Aspekte der Trustworthiness mit einbeziehen und daran arbeite ich jetzt weiter. Ich habe mittlerweile eine feste Position und meine eigene Forschungsgruppe und baue darauf weiter auf, um bessere Mechanismen zu entwickeln. Ich arbeite aktiv daran, wie wir die Mechanismen so designen können, dass wir immer noch ein möglichst hohes Maß an Privatsphäre gewährleisten können, aber trotzdem bessere Voraussagen bekommen, das sind sogenannte Privacy Utility Traders.
Interessant! Was war denn das Spannendste oder das Überraschendste, was Sie herausgefunden haben bei Ihrer Forschung?
Das Überraschendste war, dass selbst in einem System wie dem FL die Möglichkeit besteht, dass aus den Modell-Aktualisierungen der einzelnen Nutzer deren Daten extrahiert werden können, selbst wenn die zentrale Firma, die das System bereitstellt, keinerlei böswillige Absichten hat und lediglich das Protokoll laufen lässt. Das hat mich wirklich überrascht und war eine Erkenntnis von enormer Tragweite.
Ich war auch eingeladen bei ganz vielen Firmen – bei Apple, bei Google, bei Microsoft – und habe davon erzählt, denn die interessiert das natürlich sehr. Dort habe ich dieses Problem vorgestellt. Die Firmen müssen sich nicht einmal schlecht verhalten, es reicht, wenn sich das ein oder zwei Mitarbeitende in der Firma zu Nutze machen und die Daten auslesen. Dementsprechend ist das für diese Firmen auch ein riesiges Problem. Da müssen Lösungen gefunden werden.
Es ist beeindruckend, wie Sie dieses Problem aufgedeckt und auf die Agenda großer Unternehmen gesetzt haben. Es zeigt deutlich, dass selbst bei besten Absichten eine interne Schwachstelle genutzt werden könnte, um auf sensible Daten zuzugreifen. In Anbetracht dessen ist die Dringlichkeit, Lösungen für diese Sicherheitslücke zu finden, unbestreitbar. Sie suchen gerade auch nach Leuten für ihr Team, richtig?
Ja genau. Ich suche gerade nach Doktoranden und Postdocs.
Dann bedanke ich mich herzlichst für diese spannenden Einblicke und viel Erfolg noch weiterhin.
Danke!
(lna)
Dr. Stylianos Ioannis Mimilakis, 3. Platz des Fraunhofer ICT Dissertation Award 2023
Noch einmal herzlichen Glückwunsch zum 3. Platz des ICT Dissertation Awards! Vielen Dank, dass Sie sich die Zeit für das Interview genommen haben. Können sie mir kurz Beschreiben, worum es in Ihrer Dissertation geht?
In der Dissertation geht es grundsätzlich um datengesteuerte Methoden zur Trennung von Musikinstrumenten und insbesondere von Gruppen von Musikinstrumenten wie z.B. einem Vokalensemble oder einer Auswahl von Schlagzeugen aus einer gegebenen digitalen Musikaufnahme. Der Schwerpunkt der Physik liegt dann darin, wie neuronale Netze Teile des Ökosystems der Audiosignalverarbeitung sein können, um die Aufgabe der Trennung von Musikquellen zu erfüllen. Und wie wir all diese Signalverarbeitungen nutzen können, um zu verstehen, was neuronale Netze tatsächlich aus den gegebenen Daten lernen.
Wie kam es zu der Entscheidung, sich für Ihre Dissertation speziell mit dem Problem der Musikquellentrennung mithilfe von Deep Learning-Methoden zu beschäftigen?
Das Konzept wurde bereits von einem Trainingsnetzwerk definiert, dem so genannten »Machine Sensing Training Network«. Mein Beitrag zu dem gesamten Thema war die Antwort auf die Frage »Wie können wir das Gleichgewicht oder die Ausgewogenheit von neuronalen Netzen, maschinellen Lernalgorithmen in der Audio- und Musikbranche, der Signalverarbeitung, -analyse und -verarbeitung finden?« Ich war fasziniert von dieser Frage.
Könnten Sie uns einen tieferen Einblick in die angewendeten Forschungsmethoden geben, insbesondere in die drei Aspekte der Signalverarbeitung, der neuronalen Architektur und der Signalrepräsentation? Welche Algorithmen und Netztwerkarchitekturen sind nötig, dass Deep Natural Networks (DNNs) datengespeiste Filter für die Trennung von Musikquellen erlernen können?
Ja! Erst einmal sind die Erkenntnisse meiner Arbeit hauptsächlich für Unterhaltungsanwendungen und Musikreparaturen relevant. Was bedeutet das? Man kann sich etwa ein Karaoke-Entertainment-System so vorstellen, dass man Musikmischungen durch das System vorverarbeitet. Es trennt den Gesang und liefert dann die Hintergrundmusik, damit die Leute sich amüsieren können. Andere Anwendungen könnten die Wiederbelebung historischer Aufnahmen sein, die eine besondere Trennung der Musikquellen erfordern. Dann entrauscht/entstört man die Musikquellen mit anderen Methoden und kombiniert sie einfach miteinander. Diese mischt man dann in einer moderneren Musikproduktion zusammen.
Ich bin mir ziemlich sicher, dass jedes Netzwerk lernt, die Daten zu filtern, was meines Erachtens eine natürliche Erweiterung dessen ist, was die Leute vor ein paar Jahren manuell gemacht haben, also denke ich, dass das ein schönes Ergebnis war, um zu zeigen, dass auch wir Filtern gelernt haben, indem wir sehr tiefe und komplizierte Operationen verwendet haben, die aus den Daten gelernt wurden.
Gab es spezielle Schwierigkeiten oder Hindernisse, die Sie bei Ihrer Arbeit überwinden mussten, und was hat Sie dabei besonders angespornt, diese Herausforderungen anzugehen?
Ich denke, der erste Grund war, dass es keine zuverlässigen Musikdaten gab. Das bedeutet, dass einige frühere Wissenschaftler*innen wirklich wahllos einige Audiospuren gemischt haben und sie als Bewertungskampagnen verwendet haben. Und auch die Forschung ist nach wie vor sehr leistungsorientiert. Jeder versucht, einige spezifische Ziele zu optimieren. Wissen Sie, am Ende führt dies zu nichts. Aber die Motivation war im Grunde, einen Beitrag zu leisten und der Gemeinschaft einige alternative Optionen aufzuzeigen, die in der Zukunft realisierbar sein könnten.
Welche Zukunftsperspektiven sehen Sie in Ihrer Forschung?
Das fällt mir schwer zu sagen, da sich die Dinge sehr schnell entwickeln. Mein Ansatz basiert auf wiederkehrenden neuronalen Netzen und es hat sich gezeigt, dass diese in industriellen Anwendungen, etwa beim Remixen von Musik, nützlicher und realistischer sind. In diesem Sinne hat meine Arbeit also vielleicht einen kleinen Teil dazu beigetragen.
(lge)