EU-Kommission veröffentlicht Regulierungspaket für Künstliche Intelligenz

EU-Kommission nimmt sich den Risiken künstlicher Intelligenz an

Der potenzielle Nutzen Künstlicher Intelligenz (KI) für unsere Gesellschaft ist vielfältig und reicht von einer besseren medizinischen Versorgung über effizientere Verwaltungen bis hin zu besserer Bildung. Dabei geht von den meisten KI-Systemen nur ein geringes oder gar kein Risiko aus. Es gibt jedoch auch KI-Systeme, die risikobehaftet sind. Gefahren für die Grundrechte bergen insbesondere biometrische Identifizierungssysteme oder KI-gestützte Entscheidungen, die wichtige persönliche Interessen berühren. Heikel ist der Einsatz solcher KI-Systeme beispielsweise in den Bereichen Personaladministration, Bildung, Gesundheitsversorgung oder Strafverfolgung. Aber auch die Intransparenz über die bei KI-Anwendungen zum Einsatz kommenden Algorithmen führt immer wieder zu Unbehagen.

Nach der Auffassung der Europäischen Kommission sind zur Bewältigung der Herausforderungen von KI gesetzgeberische Massnahmen nötig. Sie hat deshalb im April ein Regulierungspaket vorgeschlagen (vgl. die Pressemitteilung der Europäischen Kommission vom 21. April 2021). Die neue Regulierung soll einen gut funktionierenden Binnenmarkt für KI-Systeme schaffen, der die Vorteile und Risiken in einen angemessenen Ausgleich zueinander bringt. Der Verordnungs-Vorschlag zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über die künstliche Intelligenz) verfolgt dabei das Ziel, den Schutz der Grundrechte und die Sicherheit der Nutzer zu gewährleisten und das Vertrauen in die Entwicklung und Verbreitung von KI zu stärken.

Anwendungsbereich des Verordnungs-Vorschlags

Der Verordnungs-Vorschlag regelt Techniken und Konzepte der künstlichen Intelligenz. Die keineswegs triviale Frage, was hierunter zu subsumieren ist, beantwortet die EU-Kommission in Anhang 1. Als künstliche Intelligenz qualifizieren:

• Konzepte des maschinellen Lernens, mit beaufsichtigtem, unbeaufsichtigtem und bestärkendem Lernen unter Verwendung einer breiten Palette von Methoden, einschliesslich des tiefen Lernens (Deep Learning);
• Logik- und wissensgestützte Konzepte, einschliesslich Wissensrepräsentation, induktiver (logischer) Programmierung, Wissensgrundlagen, Inferenz- und Deduktionsmaschinen, (symbolischer) Schlussfolgerungs- und Expertensysteme;
• Statistische Ansätze, Bayessche Schätz-, Such- und Optimierungsmethoden

Der Kommission wird die Befugnis übertragen, diese Liste der technischen Entwicklung anzupassen.

Darüber hinaus wird auch der territoriale Anwendungsbereich des Verordnungs-Vorschlags weit gefasst. Nach dem im Vorschlag statuierten Auswirkungsprinzip sind sowohl öffentliche als auch private Akteure innerhalb und ausserhalb der EU erfasst, sofern das KI-System in der Union in Verkehr gebracht wird oder Menschen in der EU von der Verwendung des KI-Systems betroffen sind (Art. 2 Abs. 1). Irrelevant ist dabei, ob der Anbieter des KI-Systems seinen Sitz in der EU hat oder nicht. Anzumerken bleibt an dieser Stelle auch, dass die EU-Datenschutzgrundverordnung (DSGVO) von diesem Regulierungs-Vorschlag unberührt bleibt, also parallel zur Anwendung gelangt.

Risikobasierter Ansatz

Die von der Kommission vorgeschlagenen Vorschriften orientieren sich massgeblich am Risiko, das von dem jeweiligen System ausgeht. Die Kommission verfolgt bei der Regulierung Künstlicher Intelligenz einen risikobasierten Ansatz mit vier Stufen:

1. Systeme mit unannehmbarem Risiko (verbotene KI-Systeme)

Systeme mit unannehmbarem Risiko sind KI-Anwendungen, die gegen Werte der EU verstossen, da sie Grundrechte verletzten. Darunter fallen beispielsweise die Bewertung des sozialen Verhaltens durch Behörden (Social Scoring), die Ausnutzung der Schutzbedürftigkeit von Kindern, der Einsatz von Techniken zur unterschwelligen Beeinflussung sowie biometrische Echtzeit-Fernidentifizierungssysteme, die zu Strafverfolgungszwecken im öffentlichen Raum eingesetzt werden. Solche KI-Systeme werden im Verordnungs-Vorschlag explizit verboten.

2. Systeme mit hohem Risiko

Darunter fallen KI-Systeme, die im Vorschlag genauer definiert werden und die sich nachteilig auf die Sicherheit der Menschen oder ihre Grundrechte auswirken. Ein KI-System hat ein hohes Risiko, wenn es als Sicherheitskomponente gewisser, durch die EU-Kommission zu spezifizierenden Produkte eingesetzt wird (embedded KI) oder selbst ein solches Produkt ist. Die EU-Kommission bewertet den Einsatz von KI-Systemen in folgenden Bereichen als hohes Risiko:

• Biometrische Identifizierung und Kategorisierung natürlicher Personen,
• Verwaltung und Betrieb kritischer Infrastrukturen,
• Allgemeine und berufliche Bildung,
• Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit,
• Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen,
• Strafverfolgung,
• Migration, Asyl und Grenzkontrolle sowie
• Rechtspflege und demokratische Prozesse.

Nicht jedes KI-System, das in diesem Bereich eingesetzt wird, ist ein System mit hohem Risiko. Vielmehr nennt die EU-Kommission für jeden Bereich weitere Eigenschaften, bei deren Vorliegen von einem hohen Risiko auszugehen ist.

Bevor diese KI-Systeme mit hohem Risiko auf den Markt kommen, müssen strenge Vorgaben erfüllt sein. Zunächst verlangt der Verordnungs-Vorschlag die Einrichtung und Aufrechterhaltung eines Risikomanagementsystems. Es werden zudem verbindliche Anforderungen an die KI-Systeme vorgeschlagen, um das Vertrauen und ein einheitliches und hohes Mass an Sicherheit und den Schutz der Grundrechte zu gewährleisten. Diese Anforderungen betreffen die Qualität der verwendeten Datensätze, die technische Dokumentation, das Führen von Aufzeichnungen, die Transparenz und Bereitstellung von Informationen für die Nutzer, die menschliche Aufsicht über die KI-Systeme, die Robustheit und Genauigkeit der Systeme und sowie Aspekte der Cybersicherheit. Es ist vorgesehen, dass die Mitgliedsstaaten ein Konformitätsbewertungsverfahren zur Überprüfung der Übereinstimmung der KI-Systeme mit den gesetzlichen Anforderungen einführen können. Für die notwendige Konformitätsbeurteilung würden dann noch weitere technische Normen erlassen werden

3. Systeme mit geringem Risiko

Systeme mit geringem Risiko liegen vor, wenn eine klare Manipulationsgefahr besteht, wie z.B. beim Einsatz von «Chatbots» oder «Deep fakes». Bei solchen KI-Systemen sollen besondere Transparenzverpflichtungen auferlegt werden. Den Nutzern soll bewusst sein, dass sie es mit einer Maschine zu tun haben

4. Systeme mit minimalem Risiko

In die Kategorie der Systeme mit minimalem Risiko fallen beispielsweise KI-gestützte Videospiele oder Spamfilter. Diese können unter Einhaltung des allgemein geltenden Rechts entwickelt und verwendet werden, d.h. ohne Beachtung zusätzlicher rechtlicher Verpflichtungen. Anbieter solcher Systeme können jedoch freiwillig die Anforderungen an vertrauenswürdige KI anwenden und freiwillige Verhaltenskodizes einhalten (Codes of Conduct).

Aufsicht und Sanktionen

Mit dem Verordnungs-Vorschlag soll ein EU-weit tätiges European Artificial Intelligence Board geschaffen werden, das aber wie der EDSA unter der DSGVO beratende und koordinative Funktionen übernehmen soll. Die Aufsicht über die Einhaltung wird von den Mitgliedstaaten zu bezeichnenden Behörden obliegen. Interessant ist auch, dass Regulatory-Sandboxes (als «KI-Reallabore» bezeichnet) vorgesehen sind. Die Mitgliedstaaten können mit diesen eine kontrollierte Testumgebung für einen begrenzten Zeitraum einrichten, in der KI-Systeme nach einem von den Aufsichtsbehörden validierten Plan entwickelt und getestet werden.

Auf der ersten Ebene der Marktüberwachung befinden sich aber die Anbieter von KI-Systemen. Sie trifft die Pflicht zur Produktbeobachtung nach der Markteinführung, wobei die EU-Kommission die Details dieser Pflicht in Durchführungsbeschlüssen noch spezifizieren wird.

Die Mitgliedstaaten sind verpflichtet, wirksame, verhältnismässige und abschreckende Sanktionen einschliesslich Geldbussen festzulegen. In der Verordnung werden dafür folgende Schwellenwerte festgelegt:

• Bis zu EUR 30 Mio. bzw. 6% des weltweiten Jahresumsatzes (davon abhängig, welcher Wert höher ist) bei Verstössen durch verbotene Praktiken oder Verletzung von Datenanforderungen;
• Bis zu EUR 20 Mio. bzw. 4% des weltweiten Jahresumsatzes (davon abhängig, welcher Wert höher ist) bei Verstössen gegen andere Anforderungen oder Verpflichtungen aus der Verordnung;
• Bis zu EUR 10 Mio. bzw. 2% des weltweiten Jahresumsatzes (davon abhängig, welcher Wert höher ist) bei falschen, unvollständigen oder irreführenden Angaben in angeforderten Auskünften an benannte Stellen und zuständige nationale Behörden,

Weiteres Vorgehen

Beim Verordnungs-Vorschlag handelt es sich bloss um den Anfang der Debatte zwischen Politik, Regierung und Industrie, wie KI in der Zukunft reguliert werden soll. Der Vorschlag der Kommission muss nun vom Europäischen Parlament und von den Mitgliedstaaten im ordentlichen Gesetzgebungsverfahren angenommen werden. Sobald die Verordnung verabschiedet ist, wird sie direkt anwendbar sein, d.h. unmittelbar in der gesamten EU gelten.

Einschätzung

Der Verordnungs-Vorschlag der EU Kommission ist eines der ersten Gesetzgebungspakete weltweit, das sich der Regulierung künstlicher Intelligenz widmet. Bis anhin wurden vor allem Standards (siehe zum ISO Standard für Künstliche Intelligenz: MLL-News vom 30. Juli 2020) oder behördliche Leitlinien (siehe für die Schweiz die Leitlinien für den Einsatz von KI durch die Bundesverwaltung: MLL-News vom 4. Februar 2021) verabschiedet.

Bemerkenswert ist bereits die Tatsache, dass die Definition von KI-Systemen sehr weit gefasst ist und z.B. auch regelbasierte Expertensysteme umfassen soll. Diese unterscheiden sich doch stark von KI-Systemen, welche auf Deep-Learning-Methoden basieren. Dies könnte im Gesetzgebungsverfahren noch zu Diskussionen Anlass geben. Grundsätzlich zu begrüssen ist, dass die EU-Kommission ihrem Gesetzesvorschlag einen risikobasierten Ansatz zu Grunde legt. Mit diesem Ansatz kann die Regulierung den tatsächlichen Risiken angepasst werden und es besteht weniger die Gefahr, «mit Kanonen auf Spatzen zu schiessen». Bei diesem auch in anderen Bereichen zur Anwendung kommenden Ansatz dürften die Definitionen und Abgrenzungen zwischen den einzelnen Risikokategorien grosse Praxisrelevanz besitzen. Auf Unternehmen, die KI-Systeme mit hohem Risiko entwickeln, würden zahlreiche neue Pflichten zukommen. Es wird spannend zu sehen sein, ob das Parlament und die Mitgliedsstaaten den von der EU gewählten Ansatz mittragen werden.

Wenig erstaunlich ist, dass die EU angesichts der dominanten Stellung amerikanischer und chinesischer Technologieunternehmen in vielen Einsatzgebieten von KI-Systemen einen extraterritorialen Anwendungsbereich ihres Verordnungs-Vorschlags vorsieht. Ebenso entspricht es immer mehr gängiger Gesetzgebungspraxis der EU-Kommission, mit hohen Bussgeldern zu regulieren. Wie bei der DSGVO geschehen, könnte sich die vorgeschlagene Verordnung über künstliche Intelligenz so zur internationalen Benchmark entwickeln. Unternehmen, innerhalb und ausserhalb der EU, sollten die Gesetzgebungsarbeiten daher genau verfolgen. Wird die Verordnung verabschiedet, stellt sich auch für den Schweizer Gesetzgeber die Frage, ob er die Regelungen der Verordnung autonom nachvollziehen will. Die Debatte um die richtige Regulierung der künstlichen Intelligenz steht also erst am Anfang.

Weitere Informationen:

• Verordnungs-Vorschlag zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz vom 21. April 2021
• Anhänge zum Verordnungs-Vorschlag zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz vom 21. April 2021
• Pressemitteilung der Europäischen Kommission vom 21. April 2021 «Neue Vorschriften für künstliche Intelligenz – Fragen und Antworten»
• EU-Datenschutzgrundverordnung (DSGVO)
• MLL-News vom 4. Februar 2021: Bund verabschiedet Leitlinien «Künstliche Intelligenz» (KI) für die Bundesverwaltung
• MLL-News vom 30. Juli 2020: ISO lanciert Standard zur Vertrauenswürdigkeit von AI-Systemen