Die KI-Verordnung („AI-Act“, „KI-VO“) wurde am 21. Mai 2024 von den 27 EU-Mitgliedsstaaten zwecks Regulierung der künstlichen Intelligenz (KI) verabschiedet und ist am 1. August 2024 offiziell in Kraft getreten mit Übergangsfristen von 6 bis 36 Monaten. Überwiegend gelten ihre Regelungen ab dem 2. August 2026. Sie ist die weltweit erste ausführliche Verordnung zur Regelung von KI und soll den Einsatz von KI-Technologien sicherer und transparenter gestalten gemäß Art. 1 Abs. 1 KI-VO:
„Zweck dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern und die Einführung einer auf den Menschen ausgerichteten und vertrauenswürdigen künstlichen Intelligenz (KI) zu fördern und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta der Grundrechte verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, vor schädlichen Auswirkungen von Systemen der künstlichen Intelligenz (KI-Systeme) in der Union zu gewährleisten und die Innovation zu unterstützen.“
Um eine KI im Sinne dieser Verordnung (Art. 3 Nr. KI-VO) handelt es sich, wenn ein Computerprogramm vorliegt, das folgende Merkmale erfüllt:
- Es kann eigenständig Aufgaben lösen und ist
- lern- und anpassungsfähig.
Dabei nutzt das System seine Eingabedaten, um verschiedene Ziele zu erreichen, z. B.:
- Vorhersagen zu treffen
- Inhalte zu erstellen
- Empfehlungen auszusprechen und
- Entscheidungen zu treffen.
Nicht von der KI-VO betroffen sind laut Art. 2 KI-VO sind KI-Systeme für:
- Nationale Sicherheit und Militär,
- Polizei, Justiz und Zoll,
- Forschung und Entwicklung und
- den rein privaten Gebrauch
Für Open Source Systeme gelten eigene Regeln.
1 Inhalt der KI-Verordnung
KI-Technologien werden in vier unterschiedliche Risikokategorien eingeteilt, an die verschiedene Verbote bzw. Compliance-, Berichts-, Dokumentations-, Sorgfalts- und Informationspflichten gekoppelt werden.
1.1 KI-Systeme mit inakzeptablem Risiko
Diese Systeme verstoßen gegen EU-Grundrechte oder stellen eine deutliche Bedrohung für die Sicherheit und Gesundheit von Menschen dar. Sie sind in der EU verboten. Beispiele hierfür sind:
- KI-Systeme, die das Verhalten von Personen analysieren, um soziale oder politische Bewertungen vorzunehmen (Social Scoring)
- KI-Systeme zur Gesichtserkennung in öffentlichen Räumen zur Strafverfolgung ohne gerechtfertigten Anlass (Echtzeit-Überwachung)
- KI-Systeme, die gezielt menschliches Verhalten negativ beeinflussen oder manipulieren, etwa bei Wahlen oder in der Werbung (Manipulative Systeme)
Unternehmen, die gegen diese Regelungen verstoßen, können mit Strafen in Höhe bis zu 7 Prozent des weltweiten Vorjahresumsatzes oder bis zu 35 Millionen Euro belegt werden.
1.2 KI-Systeme mit hohem Risiko
Hierunter fallen KI-Systeme, die die Gefahr bergen, durch Fehlfunktionen oder bei Missbrauch erheblichen Schaden zu verursachen. Beispiele sind:
- KI-Systeme, die in europäisch regulierten Produkten eingesetzt werden und für die eine Konformitätsbewertung durch Dritte notwendig ist, wie etwa:
- Medizinprodukte
- Spielzeug
- Funkanlagen
- KI in sensiblen Anwendungsbereichen, wie etwa:
- KI-Systeme, die Entscheidungen über die Zugänglichkeit von Leistungen (z.B. Kreditvergabe) oder die Bewertung von Straftaten treffen
Anbieter solcher Systeme müssen
- ein Risikomanagementsystem einrichten
- Anforderungen an die Datenqualität erfüllen
- Menschliche Aufsicht über die KI sicherstellen. Dies gilt insbesondere für KI im medizinischen Bereich. Ärzte und Kliniken bleiben trotzt automatisierter Entscheidungen weiterhin verantwortlich („Arzt als ultima ratio“). Unzulässig ist aber auch, wenn KI-Tools autonom über Bewerbungen entscheiden. Einzusetzen sind diese nur bezüglich Vorentscheidungen bei Bewerbungen.
1.3 KI-Systeme mit begrenztem Risiko
Oft werden die hier behandelten KI-Systeme als „KI-Systeme mit begrenztem oder niedrigem Risiko“ o.ä. bezeichnet. In der KI-VO heißt es hierzu aber nur „Entwicklung anderer KI-Systeme als Hochrisiko-Systeme“.
Bei KI-Systemen, die direkt mit natürlichen Personen interagieren, muss sichergestellt werden, dass die User wissen, dass sie gerade eine KI nutzen („Transparenzpflicht“). Generative KI-Systeme müssen Ergebnisse als künstliche generiert oder manipuliert zu erkennen geben.
Beispiele sind:
- KI-Systeme zur direkten Interaktion mit Menschen (z. B. „Chatbots“)
- Empfehlungsalgorithmen
- KI-Systeme zur Erstellung von Text-, Bild- oder Audiomaterial
1.4 KI-Systeme mit keinem bzw. niedrigem Risiko
Diese KI-Systeme werden von der KI-VO nicht besonders erfasst, unterliegen aber auch der allgemeinen Forderung nach einer Förderung der KI-Kompetenz. Ein Beispiel hierfür sind Spam-Filter.
2 Folgen für Unternehmen
Grundsätzlich betrifft die KI-Verordnung alle Unternehmen, die KI-Systeme entwickeln, bereitstellen oder nutzen, sofern diese Systeme in der EU eingesetzt werden oder deren Ergebnisse Personen in der EU beeinflussen. Ausnahmen für kleine und mittlere Unternehmen existieren nicht. Die KI-VO ist auch nicht auf bestimmte Sektoren oder Branchen von Unternehmen beschränkt.
Jedes Unternehmen sollte daher prüfen, ob sie eine KI nutzen und wenn ja, in welche der obigen Kategorien diese KI fällt. Sollte es sich um eine KI der Kategorie „mit hohem Risiko“ handeln, fallen umfangreiche Pflichten an, selbst wenn das Unternehmen eine solche KI nur nutzt. Wird eine solche KI am Arbeitsplatz eingesetzt, sind hierüber Belegschaft und Betriebsrat zu informieren, auch wenn der Einsatz selbst nicht zustimmungspflichtig ist.
Setzt ein Unternehmen KI-Systeme mit begrenztem Risiko ein oder nutzen sie solche, unterliegen sie folgenden Pflichten:
- Schulung der Mitarbeiter
- Klärung der Verantwortlichkeit für den Einsatz des KI-Systems
- Feststellung der Dokumentationspflicht (z.B. Risikoanalyse, Datenquelle, Modelltransparenz)
- An welche verantwortliche Stelle ist zu melden, sollte eine Fehlfunktion des KI-Systems vorliegen?
- Ist sichergestellt, dass dem Kunden des Unternehmens offengelegt worden ist, dass dieser mit einem KI-System (Chatbot, Bildgenerator,…) interagiert?
- Werden die Ergebnisse des KI-Systems dem Kunden gegenüber korrekt kommuniziert?
Softwarehersteller, deren Anwendungen eine KI-Komponente beinhalten, müssen die Konformität ihrer Software mit den Anforderungen der KI-VO sicherstellen. Hierzu gehören die Durchführung von Risikobewertungen und Konformitätsprüfungen. Transparenzanforderungen und eine technische Dokumentation sind sicherzustellen. Hierzu sind auch Tochtergesellschaften von Nicht-EU-Unternehmen zu zählen, die ein KI-System von außerhalb auf den EU-Markt bringen. Auch in diesem Fall muss die Konformität der Software mit der KI-VO überprüft und sichergestellt werden.
