Grundsätzlich ordnet das Gesetz die Anwendungen von KI drei Risikokategorien zu: Demnach werden erstens Anwendungen und Systeme verboten, die ein inakzeptables Risiko darstellen - etwa ein staatlich betriebenes Social Scoring, wie es in China eingesetzt wird. Zum Zweiten sehen die neuen Vorgaben besondere rechtliche Anforderungen für Anwendungen mit hohem Risiko vor, wie z. B. ein Tool zum Scannen von Lebensläufen, das eine Rangfolge von Bewerbern erstellt. Und schließlich bleiben Anwendungen, die nicht ausdrücklich verboten oder als risikoreich eingestuft werden, weitgehend unreguliert.

Die KI-Regulierung soll voraussichtlich erst ab 2026 in der Praxis zur Anwendung kommen. Allerdings gibt der Artificial Intelligence Act vor, dass nationale Gesetzgeber innerhalb von zwölf Monaten nach Inkrafttreten eine Aufsicht für KI etablieren müssen. Das bedeutet konkret für Deutschland: Bis Frühjahr 2025 ist zu klären, welche Einrichtung die zentrale Aufsichtsbehörde für die Überwachung des AI-Act werden und künftig Beschwerden von Verbraucher:innen behandeln soll. Somit drängt die Zeit für die Bundesregierung, stellt der Verbraucherzentrale Bundesverband (vzbv) fest. 

Die Verbraucherschützer fordern den Gesetzgeber auf, einen unabhängigen nationalen KI-Beirat einzurichten, damit zivilgesellschaftliche Interessen bei der KI-Aufsicht berücksichtigt werden. Dieser KI-Beirat sollte die Aufsichtsbehörden beraten und Stellungnahmen und Empfehlungen veröffentlichen können. Als Vorbild kann aus Sicht des vzbv der Beirat des Digital Service Coordinators nach dem Digitale-Dienste-Gesetz (DDG) dienen.
Schließlich soll die Bundesregierung den Einsatz biometrischer Fernidentifizierungssysteme an öffentlich zugänglichen Orten wie Tankstellen und Einkaufszentren auch für private Akteure verbieten.

"Bundesregierung und Bundestag müssen die wenigen Spielräume bei der nationalen Umsetzung des AI Acts nutzen und zumindest die KI-gesteuerte Gesichtserkennung im öffentlichen Raum auch für private Akteure untersagen. Der deutsche Gesetzgeber muss sicherstellen, dass es effiziente Aufsichtsstrukturen gibt und Aufsichtsbehörden ausreichend mit Personal und Know-how ausgestattet sind. Bei der Kontrolle von KI-Systemen und dem Durchsetzen der Regeln müssen Verbraucherinteressen höchste Priorität bekommen", verlangt Ramona Pop, Vorständin der Verbraucherzentrale Bundesverband (vzbv).

KI-Experte Prof. Marco Barenkamp, Gründer, langjähriger Vorstandsvorsitzender und seit 2023 im Aufsichtsrat der auf KI-Entwicklungen spezialisierten Osnabrücker LMIS AG, kann den Forderungen der Verbraucherzentralen für eine nationale KI-Aufsicht nur zustimmen. Auch wenn deren Sichtweise naheliegenderweise auf die Interessen der Konsumenten und ihr Melderecht eingeengt sei, wie er hinzufügt.
"Doch wir haben mit der Datenschutz-Grundverordnung (DSGVO) gesehen, welches Maß an Unsicherheit wir bekommen, wenn es mehrere Instanzen gibt, die letztlich in Eigenregie auslegen können", argumentiert er. So habe etwa ein Unternehmen, das mit DSGVO-geschützten Daten arbeitet, grundsätzlich die Herausforderung, dass es sich mit diversen Landesdatenschutzbehörden abstimmen muss, um deutschlandweit zu agieren. "Das muss bei KI absolut vermieden werden", postuliert Prof. Barenkamp.

Insofern begrüßt der Experte, dass es hoffentlich tatsächlich Bestrebungen für eine zentrale nationale Aufsichtsbehörde gebe. Allerdings berge auch dies zumindest im europäischen Umfeld durchaus Probleme, warnt er. Denn ein international agierender Anbieter von KI-Lösungen könne so durchaus wieder mit mehreren Instanzen in den einzelnen EU-Mitgliedstaaten zu tun bekommen, mit denen er sich abstimmen müsse, um ganz sicher zu sein, dass seine KI-Systeme auch korrekt klassifiziert und umgesetzt werden, bevor sie in Umlauf kommen.

"Somit hoffe ich, dass die verschiedenen Länder es schaffen werden, trotz nationaler Behörden eine dennoch gemeinsame Operationalisierung und Sichtweise der Umsetzung zu schaffen", erklärt der KI-Fachmann. Denn nur so werde es wohl zu schaffen sein, aus den Regularien des AI Acts ein Alleinstellungsmerkmal zu kreieren, um vertrauenswürdige "AI made in EU" bzw. "AI made in Germany" erfolgreich exportieren zu können.