Aktuelle Herausforderungen, Forschungsfragen und Lösungsmöglichkeiten hinsichtlich der IT-Sicherheit von verteiltem Lernen (Federated Learning) für Künstliche Intelligenz (KI) sollen auf dem Online-Symposium "Federated Learning & ML Security" am 27. März 2024 behandelt werden. Das Symposium richtet sich an Data Scientists, KI- und Sicherheits-Experten, Forscherinnen und Forscher sowie an Verantwortliche für die Optimierung von Produktivumgebungen durch den Einsatz von Machine Learning (ML). Veranstalter ist das Projekt MANTRA, eine der von der Cyberagentur beauftragten Forschungsgemeinschaften, das von der asvin GmbH geleitet wird.

Dr. Daniel Gille, Leiter Sicherheit durch KI und Sicherheit für KI in der Abteilung Schlüsseltechnologien der Cyberagentur, wird sich mit seiner Expertise im Bereich Künstliche Intelligenz und Machine Learning als Referent zum Thema "Machine Learning & IT-Security – Forschungsbedarfe für die Innere und Äußere Sicherheit" und als Teilnehmer an der abschließenden Podiumsdiskussion einbringen. "Wir müssen uns dem Wechselspiel aus Chancen und Risiken bewusstwerden", so der Forscher der Cyberagentur, "die sich aus der Anwendung von KI-Modellen in sicherheitskritischen Infrastrukturen und Einsatzfeldern ergeben. Da stehen wir vor großen Herausforderungen."

In seinem Vortrag wird er auf Schwerpunkte eingehen, welche die gegenwärtige Forschung zur IT-Sicherheit durch Einsatz von KI-Modellen und -Anwendungen, aber auch zur Sicherheit und Verwundbarkeit der KI-Systeme selbst, adressieren muss. Ein Aspekt ist, dass sich im Federated Learning Modelle prinzipiell über manipulierte Trainingsdaten kompromittieren oder mit Hintertüren, sogenannten Backdoors, versehen lassen. Ein vertrauenswürdiges KI-Modell auf Basis von Federated Learning sollte daher in der gesamten Lieferkette auf Risiken überprüfbar sein, idealerweise mit Methoden für Risikoanalyse und zur Risikominimierung im operativen Machine Learning-Prozess.

Das Training von KI-Modellen in verteilten Netzwerken und über verteilte Instanzen ist aktuell ein Thema mit hohem Innovationsgehalt und Gegenstand zahlreicher Forschungsarbeiten. Doch die Ergebnisse derart verteilter Lernprozesse sind nur so gut wie Qualität der verwendeten Daten und hängen wesentlich vom Vertrauen in die Integrität der Teilnehmer am Trainingsprozess ab. Als Konsequenz entstehen neue Einfallstore für Angreifer auf KI-basierte Systeme.

Dabei ist Federated Learning einer der vielversprechendsten Ansätze, um KI-Modelle insbesondere in sensitiven Bereichen mit hohen Anforderungen an den Datenschutz zu trainieren. Hierbei wird aus einer Vielzahl einzelner Datenquellen und Modellinstanzen mehrerer Teilnehmer ein zentrales Modell gebildet. Dieses Modell repräsentiert das kollektive Wissen aller Teilnehmer, ohne dass diese sensitive Trainingsdaten teilen müssen.