Künstliche Intelligenz

Künstliche Intelligenz (KI) findet immer mehr Anwendungen im Alltag und in verschiedenen Branchen. Diesem Trend haben sich auch die Parlamentarier gewidmet und regulatorische Anforderungen festgelegt, darunter das EU-Parlament mit der Verabschiedung eines EU-KI-Gesetzes und die FDA-Behörde mit regulatorischen Leitfäden für KI. Insbesondere für Medizinprodukte mit künstlicher Intelligenz, die bereits stark reguliert werden, kommt nun eine weitere Säule für eine konforme Inverkehrbringung hinzu. Der folgende Beitrag soll die wesentlichen Aspekte des neuen EU-KI-Gesetzes erläutern.

Aktueller Status des EU-KI-Gesetzes

Das Gesetz wurde im Mai 2024 von einer Mehrheit im EU-Parlament verabschiedet. Nach dem Berichtigungsverfahren und der förmlichen Annahme durch den EU-Rat wird die finale Version im EU-Amtsblatt veröffentlicht. Das Inkraftreten der Verordnung erfolgt 20 Tage nach der Veröffentlichung mit den folgenden Übergangsbestimmungen:

·         Nach 6 Monaten: Einhaltung der Verbote bestimmter Praktiken

·         Nach 9 Monaten: Einhaltung von Verhaltenskodizes

·         Nach 12 Monaten: Einhaltung der Verpflichtungen für Allzweck-KI-Modelle

·         Nach 24 Monaten: Uneingeschränkte Anwendbarkeit (Ausnahme Hochrisiko-KI-Systeme nach Anhang I)

·         Nach 36 Monaten: Verpflichtungen für Hochrisiko-KI-Systeme nach Anhang I

Risikobasierter Ansatz

Das KI-Gesetz basiert auf einem risikobasierten Ansatz und definiert unannehmbare Risiken und hohe Risiken (Hochrisiko-KI-Systeme). Gemäß Artikel 5 sind bestimmte Anwendungsfelder verboten, darunter die Manipulation von Personen, das Scoring von sozialem Verhalten und die Kategorisierung von Personengruppen. Diese Praktiken gelten als unanehmbare Risiken. Ausnahmen gelten für bestimmte Institutionen. Unabhängig von den Ausnahmen gelten diese Praktiken innerhalb der EU als verboten!

Die Hochrisiko-KI-Systeme bilden die wichtigste Gruppe unter dem KI-Gesetz und wird folgend untergliedert:

a) KI-Systeme als Sicherheitsbauteil oder eigenständiges Produkt, das den EU-Harmonisierungsvorschriften nach Anhang I unterliegt und deren Konformitätsbewertungsverfahren die Beteiligung eines Dritten (z. B. Benannte Stelle) erfordert.

Viele gängige EU-Richtlinien aus Industrie (Maschinenrichtlinie bzw. Verordnung, ATEX-Richtlinie, Funkrichtlinie) und Medizintechnik (MDR, IVDR) sind im Anhang I aufgelistet, sodass für betroffene Produkte das angewendete Konformitätsbewertungsverfahren herangezogen werden muss. Gerade medizinische Software mit KI-Algorithmen, welche gemäß MDR-Klassifizierungsregel 11 größer Risikoklasse IIa eingestuft wird, müsste als Hochrisiko-KI-System behandelt werden.

b) KI-Systeme in bestimmten Anwendungsfeldern nach Anhang III, u. a.für biometrische Datenverarbeitung, kritische Infrastrukturen, berufliche Bildung und Strafverfolgung. Ausnahmen gelten, wenn keine erheblichen Risiken für die Gesundheit oder Sicherheit bestehen.

KI-Systeme, die weder unanhembare Risiken noch hohe Risiken birgen, werden nach dem risikobasierten Ansatz keine weiteren Verpflichtungen aufgelegt.

Transparenzverpflichtungen und Allzweck-KI-Modelle

Zusätzlich zum risikobasierten Ansatz gibt es spezifische Transparenzverpflichtungen für bestimmte KI-Systeme und Allzweck-KI-Modelle. Die Verpflichtungen gelten unabhängig vom risikobasierten Ansatz d. h. für geringe, mittlere und hohe Risiken.

a) Transparenzverpflichtungen nach Artikel 50: KI-Systeme müssen erzeugte Daten (Audio-, Video-, Bild- oder Textinhalte) als künstlich erzeugt bzw. manipuliert kennzeichnen, sowohl in maschinenlesbarem als auch human erkennbaren Format. Diese Maßnahme soll sicherstellen, dass Anwender und vorgesehene Nachbarsysteme von KI erkennen, dass bestimmte Inhalte durch eine KI verändert wurden. Die Transparenzverpflichtung erfordert ebenfalls die Offenlegung von Informationspflichten über die Verarbeitung zu personenbezogenen Daten. Das EU-KI-Gesetz wiederholt ergänzend diese Verpflichtung, die sowieso von der DSGVO gefordert wird.

b) Allzweck-KI-Modelle nach Artikel 51-56: Bei solchen KI-Modellen wird davon ausgegangen, dass Sie vielfältig für verschiedene Anwendungen teilweise sogar integrativ in Produkten eingesetzt werden. Das Konzept ist vergleichbar mit einem gängigen Betriebssystem oder einer allgemeinverfügbaren Library. Anbieter müssen eine technische Dokumentation nach Anhang XI und Informationen für Anwender nach Anhang XII bereitstellen.

Weiterhin definiert das KI-Gesetz Allweck KI-Modelle mit systemischen Risiken. Bei solchen KI-Modellen wird davon ausgegangen, dass diese besonders leistungsfähig und weitverbreitet sind. Diese KI-Modelle können Risiken in anderen KI-Systemen verursachen (vernünftigerweise vorhersehbare negative Auswirkungen). Im Anhang XIII des KI-Gesetzes werden allgemeine Kriterien aufgeführt, die für die Bestimmung eines Allzweck KI-Modells mit systemischen Risiken herangezogen werden sollen. Das KI-Gesetz definiert u. a. KI-Modelle als solche, die mit mehr als 10^25 FLOPs Rechenleistung trainiert wurden sind. Anbieter von KI-Modellen mit systemischen Risiken müssen erweiterte Anforderungen an die Technische Dokumentation erfüllen (z. B. Bereitstellung von Informationen und Maßnahmen, die den systemischen Risiken entgegenwirken). Systemische Risiken müssen aktiv überwacht werden und der Behörde (Europäisches Amt für künstliche Intelligenz) gemeldet werden. Ebenfalls müssen Verhaltenskodizes dieser Behörde eingehalten werden.

Anwendbarkeit des EU-KI-Gesetzes

Jeder Anbieter von KI-Systemen ist angehalten eine sachliche Bewertung seiner KI-Systeme zu dokumentieren, um die Anwendbarkeit des KI-Gesetzes zu analysieren. Einige allgemeine Ausnahmen gilt es zu berücksichtigen, u. a. sind kostenlose und quelloffene Allzweck KI-Modelle ausgenommen (Ausnahme solche die systematische Risiken bürgen). Weiterhin gelten die Verpflichtungen nicht für Bereiche der Forschung, Entwicklung, Militär, Verteidigung und nationalen Sicherheit. Zusammenfassend müssen folgende Aspekte betrachtet werden:

·         Werden verbotene Praktiken gemäß Artikel 5 vermieden?

·         Liegt ein Hochrisiko-KI-System gemäß Artikel 6 vor?

·         Unterliegt das KI-System gemäß Artikel 50 Transparenzverpflichtungen?

·         Liegt ein Allzweck KI-Modell gemäß Artikel 53 vor?

·         Liegt ein Allzweck KI-Modell mit systemischen Risiken gemäß Artikel 51 vor?

Pflichten der Akteure

Genauso wie die Medical Device Regulation (MDR) definiert das KI-Gesetz verschiedene Akteure mit Verpflichtungen im Umgang mit Künstlicher Intelligenz. Gemäß Artikel 3 des KI-Gesetzes wird ein Akteur als Anbieter, Produkthersteller, Betreiber, Bevollmächtigter, Einführer oder Händler definiert. In diesen Definitionen sind zwei wichtige Aspekte zu beachten.

Der Anbieter gilt als Inverkehrbringer oder Betreiber unter eigenen Namen oder Handelsmarke. Diese Definition ähnelt der Formulierung „Hersteller“ d.h. auch hier gelten wie unter der MDR keine PLM (Private Label Manufacturer) und OEM (Original Equipment Manufacturer) Konstrukte mehr. Wer plant eine KI im europäischen Markt inverkehr zubringen, sollte also durch vertragliche Regelungen sicherstellen, wer im Sinne des Gesetzes als Anbieter definiert ist – die meisten Anforderungen gelten nämlich für Anbieter.

Der zweite Aspekt ist die Definition des Betreibers als Akteur. Im Vergleich zur MDR gelten einige gesetzlichen Verordnungen auch für Betreiber von KI-Systemen wie z. B. Gesundheitseinrichtungen oder Kliniken. Betreiber müssen insbesondere sicherstellen, dass Sie KI-Kompetenz nachweisen können, technische und organisatorische Maßnahmen für Hochrisiko-KI-Systeme sicherstellen, Implementierung eines Vigilanz-Konzeptes, sowie Archivierung aller Protokolle, die durch Hochrisiko-KI-Systeme generiert werden.  

Die Pflichten der Bevollmächtigten, Einführer und Importeure ist ähnlich den Anforderungen der MDR mit Überprüfungspflichten zur Technischen Dokumentation und Beteiligung an einem Vigilanz-Konzept. Ein Wesentlicher Unterschied ist allerdings der Bezug zum risikobasierten Ansatz des Gesetzes, denn die Verpflichtungen gelten nur für Hochrisiko-KI-Systeme.

Für Akteure ist es von Bedeutung zu qualifizieren, ob Sie Hochrisiko-KI-Systeme inverkehrbringen, betreiben oder anwenden. Im Übrigen führt das Anbringen einer eigenen Marke, eine wesentliche Änderung oder eine Veränderung der Zweckbestimmung zu einer risikoreichen nicht vorgesehenen Anwendung durch Importeure, Händler oder Betreiber dazu, dass diese zum Anbieter des Hochrisiko-KI-Systems werden und somit die Verpflichtungen eines Anbieters wahrnehmen müssen. Diese Akteure sind also gut beraten, wenn Sie sich über die Zweckbestimmungen solcher KI-Systeme informieren und ggf. schriftliche Vereinbarungen treffen.

Pflichten der Anbieter

Die meisten Verpflichtungen des KI-Gesetzes gelten für Anbieter von Hochrisiko-KI-Systemen. Zu den elementaren Verpflichtungen von Anbietern mit Hochrisiko-KI-Systemen gehören folgende Punkte:

·         Erfüllung der grundlegenden Anforderungen gemäß Artikel 8 - 15

·         Etablieren eines Qualitätsmanagementsystems gemäß Artikel 17

·         Erstellung und Pflege einer Technischen Dokumentation gemäß Artikel 11 und Anhang IV

·         Archivierung und Überwachung der erzeugten KI-Protokolle gemäß Artikel 19

·         Durchlauf eines Konformitätsbewertungsverfahrens gemäß Artikel 43

·         Ausstellung einer Konformitätserklärung gemäß Artikel 47 und Anhang V

·         Anbringen einer CE-Kennzeichnung gemäß Artikel 48

·         Registrierung in einer EU-Datenbank gemäß Artikel 49

·         Unterhaltung eines Vigilanz-Konzeptes gemäß Artikel 20 und 73

·         Überwachung nach dem Inverkehrbringen gemäß Artikel 72

Konformitätsbewertungsverfahren und Normen

Das anzuwendende Konformitätsbewertungsverfahren kann entweder durch eine interne Kontrolle (siehe Anhang VI) oder auf Grundlage der Bewertung des Qualitätsmanagementsystems und der technischen Dokumentation (siehe Anhang VII) durch eine Benannte Stelle erfolgen. Das anzuwendende Konformitätsbewertungsverfahren wird gemäß Artikel 43 festgelegt. Je nach Art des Hochrisiko-KI-Systems werden verschiedene Fälle unterschieden. Bei Produkten nach MDR/IVDR sollen diese nach deren anzuwendenden Verfahren bewertet werden. D. h. die nach MDR/IVDR akkreditierte Stellen sind dafür zuständig im gewählten Konformitätsbewertungsverfahren die Produkte gemäß den Anforderungen des KI-Gesetzes zusätzlich zu prüfen.

Eine Liste der harmonisierten Normen und Gemeinsame Spezifikationen sollen unter dem KI-Gesetz veröffentlicht werden. Im europäischen Raum werden bereits einige Normen zum Thema Künstlicher Intelligenz veröffentlicht (teilweise liegen die Versionen nur als Entwurf vor). Welche Normen sich als Goldstandards etablieren, gilt es allerdings noch festzulegen.

Ausblick KI-Gesetz  

Die betroffenen Akteure (Anbieter, Betreiber, Bevollmächtigter, Importeur und Händler) müssen mit Ausblick auf die zukünftigen Verpflichtungen Ihre internen Prozesse an die regulatorischen Anforderungen des KI-Gesetzes anpassen. Zu den Anforderungen gehört auch die Qualifizierung und Einordnung der KI-Systeme in die verschiedenen KI-Kategorien (siehe Abschnitt Anwendbarkeit des EU-KI-Gesetzes). Technische Dokumentationen müssen erstellt werden und teilweise über die Wertschöpfungskette (z. B. Informationspflichten für den sicheren Umgang mit der KI, notwendige Maßnahmen für eine sichere Einbindung in IT-Systeme, Verarbeitungsprinzip personenbezogener Daten) verteilt werden. Außerdem sollten zwischen einzelnen Akteuren klare schriftliche Vereinbarungen festgelegt werden, um die festgelegten Rollen und damit verbunden Verpflichtungen untereinander festzuhalten (z. B. Meldeketten von Vorkommnissen bzw. Nichtkonformitäten). 

Wenn Sie planen, ein KI-System in Ihr Portfolio aufzunehmen, bieten wir Ihnen unsere Expertise an, um Ihre Verpflichtungen und Rollen zu identifizieren. Möchten Sie zukünftig eine KI entwicklen oder betreiben?

Wir helfen Ihnen gerne bei der Kategorisierung der Anwendbarkeit des KI-Gesetzes und unterstützen Sie der Erfüllung von grundlegenden Anforderungen sowie bei der Erstellung der Technischen Dokumentation.