Geschrieben am 03.09.2026 von:
Team MORGENSTERN
MORGENSTERN kann Rechtsberatung rund um alle Themen der Digitalisierung und IT.
Kontaktiere mich:
+49 (0) 6232 – 100119 0
E-Mail senden
Die Gründung des AISI Deutschland markiert einen Perspektivwechsel in der öffentlichen Diskussion über Künstliche Intelligenz. Im Mittelpunkt steht nicht nur die Frage, welche Ergebnisse ein Modell erzeugt. Bewertet werden sollen auch die Fähigkeiten und Risiken leistungsfähiger KI-Systeme, insbesondere mit Blick auf Cybersicherheit, Safety und mögliche Kontrollverluste.
BSI und Bundesnetzagentur bauen hierfür zunächst einen gemeinsamen virtuellen Nukleus auf. Das AISI soll technische Evaluierungen ermöglichen, die Bundesregierung beraten und sicherheitsrelevante Erkenntnisse in Verwaltung, Wirtschaft und Gesellschaft transferieren.
Für Unternehmen folgt daraus keine unmittelbar neue Einzelpflicht. Die Entwicklung ist aber für die Governance von KI-Systemen relevant. Sobald ein System eigenständig auf Anwendungen, Dateien, Datenbanken oder Kommunikationskanäle zugreifen kann, verändert sich die Risikoverteilung. Fehlerhafte Ausgaben sind dann nicht mehr nur ein Qualitätsproblem. Sie können zu einer Handlung mit rechtlichen, wirtschaftlichen oder sicherheitsrelevanten Folgen werden. Die Organisation muss daher nachweisen können, welche Aufgaben das System übernehmen darf, welche Kontrollen vorgesehen sind und wie ein Eingriff durch Menschen erfolgt.
Die erste Governance-Frage betrifft die Rollen. Für jeden agentischen Anwendungsfall sollte feststehen, wer fachlich verantwortlich ist, wer den Einsatz freigibt und wer bei einem Vorfall entscheidet. Die Verantwortung darf nicht unklar bleiben, weil ein System von einem externen Anbieter stammt oder seine Schritte nicht vollständig vorhersehbar sind. Auch bei einem eingekauften KI-Dienst bleibt eine Organisation für die Auswahl, Konfiguration und Einbindung in den eigenen Prozess verantwortlich. Das erfordert eine dokumentierte Prüfung der vorgesehenen Nutzung, der Datenflüsse, der Berechtigungen und der Abhängigkeit von einzelnen Anbietern.
Die zweite Frage betrifft die vertragliche Absicherung. Anbieter sollten Informationen über Modellversionen, wesentliche Änderungen, Sicherheitsmaßnahmen, Protokollierung, Unterauftragnehmer und den Umgang mit Sicherheitsvorfällen liefern. Bei agentischen Funktionen ist außerdem zu klären, welche Werkzeuge genutzt werden, in welchen Umgebungen Aktionen ausgeführt werden und ob der Anbieter Zugriffe oder Aktionen nachvollziehbar dokumentiert. Verträge sollten Änderungsanzeigen, Prüf- und Informationsrechte sowie Regeln für die Suspendierung oder Abschaltung des Dienstes vorsehen. Eine pauschale Zusicherung, der Dienst sei sicher, reicht für eine risikobasierte Steuerung nicht aus.
Die dritte Frage betrifft den Nachweis. Unternehmen sollten vor dem produktiven Einsatz Tests durchführen und die Ergebnisse archivieren. Dazu gehören Tests mit manipulierten Eingaben, Versuche zur Umgehung von Systemvorgaben, Prüfungen der Rechtebegrenzung und Szenarien mit fehlerhaften oder widersprüchlichen Daten. Nach dem Start müssen relevante Aktionen, Freigaben und Fehlermeldungen protokolliert werden. Für kritische Prozesse ist ein manueller Notbetrieb vorzusehen. Wenn ein Agent eine falsche Aktion ausführt, muss die Organisation nicht nur reagieren, sondern auch rekonstruieren können, warum es dazu gekommen ist.
Das AISI wird diese Fragen nicht für jedes Unternehmen beantworten. Seine Einrichtung macht aber deutlich, dass die technische Evaluierung leistungsfähiger KI zu einem eigenständigen Sicherheitsbereich wird. Unternehmen sollten die Einführung autonomer Funktionen deshalb nicht allein als Produktivitätsprojekt behandeln. Erforderlich ist eine Governance, die technische Begrenzungen, Verantwortlichkeiten, Vertragsgestaltung, Tests und Incident Response zusammenführt. Wer diese Grundlagen schafft, kann neue KI-Funktionen nutzen, ohne die Kontrolle über Daten, Systeme und Entscheidungen unnötig aus der Hand zu geben.
Was Unternehmen jetzt tun sollten
- Für agentische KI-Anwendungsfälle Rollen, Freigaben und Verantwortlichkeiten schriftlich festlegen.
- Modell, Werkzeuge, Datenflüsse, Berechtigungen und Unterauftragnehmer in der Beschaffungsprüfung erfassen.
- Verträge um Änderungsanzeigen, Sicherheitsinformationen, Protokollierung, Vorfallmeldungen und Abschaltrechte ergänzen.
- Vor dem produktiven Einsatz adversariale Tests durchführen und die Ergebnisse fortlaufend aktualisieren.
Quelle: BSI, AISI Deutschland; BMDS, AISI Deutschland gegründet, 31. August 2026. (https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/AISI/aisi_node.html)