Am 1. August 2024 trat die KI-Verordnung in Kraft, nachdem sie zuvor am 13. März 2024 vom Europäischen Parlament verabschiedet worden ist. Die Verordnung stellt die weltweit erste Regulierung künstlicher Intelligenz dar. Sie entfaltet unmittelbare Wirkung in allen europäischen Mitgliedstaaten. Die in aller Munde befindliche generative KI (Stichwort ChatGPT) wurde in der Verordnung als KI-System mit allgemeinem Verwendungszweck umfangreichen Regulierungen unterworfen. Diese treffen zwar größtenteils die Anbieter entsprechender Systeme. Andere Pflichten, wie Schulungen oder die Information über KI-erstellte und publizierte Inhalte, treffen jedoch auch die Betreiber (sprich Nutzer) der Systeme.

1. Definition von KI-Systemen

Ein KI-System wird nunmehr definiert als ein maschinengestütztes System, das für einen autonomen Betrieb ausgelegt ist, das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen ableitet, die physische oder virtuelle Umgebungen beeinflussen können.

Hinter dieser Definition, die im Gegensatz zum Kommissionsentwurf ohne weitere Verweisungen auf Anlagen auskommt, verbirgt sich ein weiter Anwendungsbereich der Verordnung, der gegenüber neuen, technischen Entwicklungen möglichst offen sein soll. Entscheidend für die Einordnung als KI-System ist die autonome Arbeitsweise, ein fortwährender Lernprozess sowie die Anpassungsfähigkeit des Systems.

Aus der Definition folgt, dass das System aus der Eingabe explizite oder implizite Ziele ableiten können muss. Damit sind nicht reine Verarbeitungsprozesse gemeint, wie es bei sonstigen Algorithmen der Fall wäre. Vielmehr bedarf das System eines Lern-, Schlussfolgerungs- und Modellierungsprozesses. Die Verordnung unterscheidet dabei Konzepte des maschinellen Lernens sowie logik- und wissensgestützte Konzepte.

2. Ausnahmen vom Anwendungsbereich

Die KI-Verordnung klammert aber auch bestimmte Bereiche aus ihrem Anwendungsbereich aus:

• Zunächst ist die KI-Verordnung aus Betreiber- und damit Nutzersicht nur dort relevant, wo KI-Systeme im Rahmen beruflicher Tätigkeiten verwendet werden; eine ausschließlich private („persönliche“) Nutzung fällt dagegen nicht in den Anwendungsbereich der KI-Verordnung.
• Ebenfalls ausgeklammert werden Systeme, die eigens und ausschließlich für die wissenschaftliche Forschung und Entwicklung entwickelt und in Betrieb genommen werden. Gleiches gilt für Forschungs-, Test- und Entwicklungstätigkeiten zu KI-Systemen oder KI-Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden.

In der Vorgängerfassung der Europäischen Kommission existierte diese wichtige Bereichsausnahme noch nicht. Insoweit ist zu begrüßen, dass die KI-Verordnung den wichtigen Bereich von Forschung und Entwicklung nicht einschränkt, um Innovationen und ungehinderte Forschung zu fördern, wie es in Erwägungsgrund 25 ausdrücklich heißt.

• Ebenfalls ausgenommen sind KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden. Dies gilt nur dann nicht, wenn das KI-System ein Hochrisiko-KI-System oder ein KI-System im Bereich verbotener Praktiken ist.

3. Der risikobasierte Ansatz der KI-Verordnung

Die KI-Verordnung verfolgt weiterhin einen risikobasierten Ansatz. Die regulatorischen Anforderungen an das KI-System unterscheiden sich je nach Risiko, welches mit dem KI-System einhergeht. Unterschieden werden:

• KI-Systeme mit inakzeptablem Risiko (sog. verbotene Praktiken im KI-Bereich)
• KI-Systeme mit hohem Risiko (sog. Hochrisiko-KI-Systeme)
• KI-Systeme mit spezifischem Risiko (etwa KI-Systeme mit allgemeinem Verwendungszweck) sowie
• KI-Systeme mit geringem oder keinem Risiko.

a) KI mit inakzeptablem Risiko

Weiter verboten bleiben KI-Systeme mit inakzeptablem Risiko.

• Hierzu zählen Systeme mit unterschwellig beeinflussenden, manipulativen oder täuschenden Techniken, die das Ziel verfolgen, Verhaltensweisen einer Person oder Gruppe wesentlich zu verändern und so die Autonomie und Entscheidungsfindung des Verwenders zu untergraben.
• Außerdem sind Systeme verboten, die soziales Verhalten von natürlichen oder juristischen Personen zum Zwecke der Verhaltensprognose oder -steuerung bewerten (sog. Social Scoring).
• Verboten sind schließlich Systeme zur Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen.

b) Hochrisiko-KI-Systeme

Weitestgehend unverändert belässt die Verordnung die Einstufung von Hochrisiko-KI-Systemen. Hierunter fallen insbesondere:

• KI-Systeme, die im Bereich der kritischen (digitalen) Infrastruktur, der allgemeinen und beruflichen Bildung, des Personalmanagements oder des Zugangs zu öffentlichen Diensten und Leistungen eingesetzt werden.
• KI-Systeme, die als Sicherheitsbauteil eines bestimmten regulierten Produkts eingesetzt werden oder selbst ein solches Produkt darstellen.
• KI-Systeme, die Medizinprodukte im Sinne der Medizinprodukteverordnung darstellen.

Neben den aktuell bereits geregelten Anwendungsbeispielen ist die Europäische Kommission ermächtigt, Anwendungsfälle für Hochrisiko-KI-Systeme zu ergänzen sowie Ausnahmefälle zu erweitern oder zu beschränken.

Anbieterpflichten von Hochrisiko-KI-Systemen

Die KI-Verordnung erlegt den Anbietern von Hochrisiko-KI-Systemen unter anderem folgende Pflichten auf:

• Einrichtung eines Risikomanagementsystems und Durchführung von Vorabtests
• Systemüberwachung und Genauigkeit, Robustheit und Cybersicherheit während des Lebenszyklus des KI-Systems
• Daten-Governance zur Gewährleistung hoher Qualitätsstandards, um Bias zu verhindern und repräsentative Ergebnisse zu gewährleisten
• Dokumentation und Protokollierung während des Systembetriebs, um Ergebnisse des Systems nachzuvollziehen
• Einrichten menschlicher Aufsicht und jederzeitiger Stopp-Möglichkeit
• Durchführung von Konformitätsbewertungsverfahren und Konformitätserklärungen
• Registrierung bestimmter Hochrisiko-KI-Systeme in einer EU-Datenbank

Betreiberpflichten von Hochrisiko-KI-Systemen

Auch gewerbliche Betreiber von Hochrisiko-KI-Systemen treffen eine Reihe von Pflichten:

• Einsatz und Überwachung des Hochrisiko-KI-Systems nach Maßgabe der Betriebsanleitung
• Einrichtung menschlicher Aufsicht über das System
• Eingabedaten müssen der Zweckbestimmung des Hochrisiko-KI-Systems entsprechen
• Automatisch erzeugte Protokolle beim Einsatz des Hochrisiko-KI-Systems sind aufzubewahren
• Grundrechte-Folgenabschätzung (Beschreibung des Zeitraums, der Häufigkeit und des bestimmungsgemäßen Einsatzes, Kategorien der vom Einsatz betroffenen Personen oder Personengruppen, spezifische Schadensrisiken) – eine etwaige Datenschutz-Folgenabschätzung nach DSGVO soll durch die Grundrechte-Folgenabschätzung ergänzt werden

c) KI-Modelle mit allgemeinem Verwendungszweck

Eine der wesentlichsten und zugleich umstrittensten Änderungen in der neuen Fassung der KI-Verordnung ist die spezifische Regulierung von „KI-Systemen mit allgemeinem Verwendungszweck“ (auch general purpose AI oder GPAI genannt). Dabei handelt es sich um Systeme, die in der Lage sind, unabhängig von der Art und Weise ihres Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben zu erfüllen und in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden zu können. Solche Systeme weisen eine erhebliche allgemeine Verwendbarkeit auf. Hierunter fallen etwa die großen generativen KI-Systeme, wie etwa ChatGPT.

Innerhalb der KI-Systeme mit allgemeinem Verwendungszweck nennt die KI-Verordnung in Anlehnung an den risikobasierten Ansatz KI-Systeme mit allgemeinem Verwendungszweck, denen ein systemisches Risiko innewohnt.

Ein solches systemisches Risiko soll vorliegen, wenn das KI-Modell mit allgemeinem Verwendungszweck über Fähigkeiten mit hohem Wirkungsgrad verfügt, die mithilfe geeigneter technischer Instrumente und Methoden, einschließlich Indikatoren und Benchmarks, bewertet werden.

Zu diesen Indikatoren und Benchmarks gehört etwa:

• die Anzahl der Parameter des Modells
• die Qualität und Größe des Datensatzes
• die Menge der für das Trainieren des Modells verwendeten Berechnungen
• die Auswirkung auf den europäischen Binnenmarkt (ab 10.000 in der EU niedergelassenen, registrierten, gewerblichen Nutzern wird diese erhebliche Auswirkung auf den Binnenmarkt indiziert)

Anbieterpflichten bei KI-Modellen mit allgemeinem Verwendungszweck sind insbesondere:

• Technische Dokumentation des Modells
• Durchführung von Trainings- und Testverfahren sowie Übermittlung der Ergebnisse der Bewertung an das neu eingerichtete Büro für Künstliche Intelligenz sowie die zuständigen nationalen Behörden
• Erstellen und Veröffentlichen einer detaillierten Zusammenfassung der für das Training des Modells verwendeten Inhalte
• Entwicklung einer Strategie zur Einhaltung des europäischen Urheberrechts
• Angemessenes Maß an Cybersicherheit für das KI-Modell und seine physische Infrastruktur
• Unverzügliche Unterrichtung der Europäische Kommission (spätestens innerhalb von zwei Wochen ab Kenntniserlangung), falls die Bedingungen für ein systemisches Risiko vorliegen

d) KI-Systeme mit spezifischem Risiko

Im Vergleich zum Entwurf der Kommission hat der europäische Gesetzgeber Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme vorgesehen, die spezifische Risiken begründen können. Diese Pflichten gelten unabhängig davon, ob das KI-System darüber hinaus auch ein Hochrisiko-KI-System ist.

(Spezifische) Anbieterpflichten

• KI-Systeme, die bestimmungsgemäß direkt mit Menschen interagieren (z. B. Chatbots, persönliche Assistenten), müssen die betreffenden Nutzer darüber informieren, dass diese mit einer KI kommunizieren
• Anbieter von KI-Systemen, die synthetische Audio-, Bild-, Video- und Textinhalte erzeugen, müssen sicherstellen, dass die KI-Erzeugnisse in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind

(Spezifische) Betreiberpflichten

• Betreiber von KI-Systemen, die sog. Deepfakes erzeugen (Audio-, Bild- oder Videoinhalte, die wirklichen Personen, Gegenständen, Orten ähneln und als echt erscheinen), müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden (z. B. durch Wasserzeichen)
• Betreiber von KI-Systemen, die veröffentlichte Texte erzeugen oder manipulieren, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, müssen offenlegen, dass der Text künstlich erzeugt oder manipuliert wurde

Die zuletzt genannte Betreiberpflicht gilt allerdings dann nicht, wenn das Erzeugnis menschlich überprüft oder einer redaktionellen Kontrolle unterliegt und eine Person für den Inhalt Verantwortung trägt. Unter die Regelung fallen somit etwa KI-generierte Nachrichten, die ohne weitere Kontrolle im Internet verbreitet werden.

4. Nächste Schritte: Stufenweise Geltung

Wie von anderen europäischen Rechtsakten (etwa der DSGVO) bekannt, sieht die KI-Verordnung ein stufenweises Inkrafttreten der verschiedenen Regelungen vor:

Wir danken Herrn Joshua Espe für die Unterstützung bei der Erstellung dieses Beitrags.

Die Autoren Dr. Markus Spitz und Dr. Anno Haberer sind Mitglieder der Praxisgruppe Praxisgruppe IT & Datenschutzrecht. Für weitere Fragen zum Thema KI, KI-Verordnung oder zum IT & Datenschutzrecht im Allgemeinen steht Ihnen unsere Praxisgruppe IT & Datenschutzrecht bei RITTERSHAUS gerne zur Verfügung.