Die europäische KI-Verordnung (AI Act) Teil 2 – Risikomanagement für Hochrisiko-KI-Systeme (Borges, CR 2024, 565)

Der zentrale Regelungsgegenstand der KI-Verordnung¹ sind die im Kapitel III (Art. 6–49 KI-VO), dem mit Abstand umfangreichsten Kapitel der KI-Verordnung, enthaltenen Regeln zu sog. Hochrisiko-KI-Systemen.² Wesentlicher Gegenstand der Regelung, die stark an die Regeln der Maschinen-VO³ angelehnt ist, ist ein umfassendes Risikomanagement, das von der sog. Data-Governance über Dokumentationspflichten, Pflichten zum Testen und ggf. Zertifizieren sowie zur Registrierung der KI-Systeme bis zur Marktbeobachtung der Systeme nach Inverkehrbringen reicht. Ergänzt werden die Regeln über das Risikomanagement durch eine behördliche Aufsicht, ein europäisches Register und eine Infrastruktur für den Erlass von technischen Normen für das Testen von KI-Systemen.⁴

Adressat der Pflichten ist vor allem der Anbieter, der Sache nach der Hersteller des KI-Systems (dazu unten V.1.). Auch dem Betreiber eines KI-Systems werden Pflichten auferlegt (dazu unten V.2.).⁵ Zudem muss er darauf achten, nicht selbst den Pflichten des Anbieters unterworfen zu werden. Die KI-Verordnung sieht bei Veränderungen des Systems durch den Betreiber einen Rollenwechsel vom Betreiber zum Anbieter vor, der auch unbewusst und unter recht geringen Voraussetzungen erfolgen kann (dazu unten VI.1.a).

Die Regeln zum Risikomanagement gelten nur für einen kleinen Kreis von KI-Systemen, sog. „Hochrisiko-KI-Systeme“, von deren Betrieb erhebliche Risiken ausgehen.⁶ Mit diesem Schlüsselbegriff werden in Art. 6 KI-VO zwei Arten von KI-Systemen bezeichnet, die jeweils völlig unterschiedliche Ansätze zur Bestimmung des Hochrisiko-Charakters eines KI-Systems verfolgen: Nach Art. 6 Abs. 1 KI-VO wird ein KI-System zum Hochrisiko-KI-System, wenn es in ein gefährliches Produkt eingebaut wird oder selbst ein solches ist (sogleich II.), während es nach Art. 6 Abs. 2 KI-VO auf die Verwendung des KI-Systems für bestimmte Zwecke ankommt (unten III.).

Nach Art. 6 Abs. 1 KI-VO ist ein KI-System ein Hochrisiko-KI-System, wenn es ein Produkt ist, das unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fällt oder ein Sicherheitsbauteil eines solchen Produkts ist, und wenn es oder das Produkt nach Maßgabe der anzuwendenden Harmonisierungsrechtsvorschriften einer Konformitätsbewertung durch Dritte zu unterziehen ist.⁷

Mit diesen beiden kumulativen Bedingungen verweist die KI-Verordnung auf die Regeln des europäischen Produktsicherheitsrechts. Anhang I zählt insgesamt 20 Rechtsakte auf, die allesamt zum europäischen Produktsicherheitsrecht gehören. Erfasst werden Verkehrsmittel jeglicher Art und Maschinen, aber auch Aufzüge, Spielzeug, Funkanlagen und Druckgeräte sowie Medizinprodukte.