AGI und der AI Act: Warum Europas Regulierung für die globale KI-Entwicklung entscheidend sein könnte

Sam Altman, CEO von OpenAI, veröffentlichte vor kurzem sein visionäres Ziel für die Künstliche Allgemeine Intelligenz (AGI): Er plant, AGI bis 2025 Realität werden zu lassen. Diese Form der KI wäre in der Lage, menschenähnlich flexibel und in einer Vielzahl von Bereichen autonom zu agieren. Altman sieht AGI als ein mächtiges Werkzeug, das potenziell bahnbrechende Fortschritte in Wissenschaft, Wirtschaft und gesellschaftlichen Strukturen bewirken könnte. Was passiert nun, wenn das Fortschreiten der Entwicklungen im Bereich der Künstlichen Intelligenz auf den AI Act der Europäischen Union trifft? Der EU AI Act ist das erste umfassende Gesetzeswerk weltweit, das den Einsatz und die Entwicklung von Künstlicher Intelligenz reguliert. Die Europäische Union verfolgt mit diesem Gesetz das Ziel, klare Standards für den verantwortungsvollen und sicheren Einsatz von KI festzulegen. Altmans Statement nehmen wir zum Anlass in diesem Blogartikel zusammenzufassen, was der AI Act für die Einführung neuer KI-Systeme bedeutet und werfen einen Blick auf die Frage, wie der AI Act die Entwicklung von AGI beeinflussen könnte.

Rechtliche Anforderungen des EU AI Act

Der AI Act trat am 1. August 2024 in Kraft und teilt KI-Anwendungen in vier Risikokategorien ein: Minimales Risiko, geringes Risiko, hohes Risiko und inakzeptables Risiko. Je nach Einstufung der KI-Anwendung müssen Unternehmen unterschiedliche Anforderungen erfüllen. Diese Anforderungen reichen von grundlegenden Transparenzpflichten, über umfassende Prüf- und Dokumentationspflichten für hochriskante Anwendungen bis hin zum Verbot von KI-Systemen mit inakzeptablem Risiko. Hier sind die wesentlichen rechtlichen Anforderungen, die Unternehmen bei der Integration von KI-Anwendungen nach dem EU AI Act beachten müssen:

1. Risikokategorisierung der KI-Anwendung

Der erste Schritt bei der Einschätzung von KI-Anwendungen nach dem EU AI Act besteht darin, die jeweilige Anwendung korrekt einzustufen. Dies ist entscheidend, da die Anforderungen je nach Risikostufe variieren:

• Minimales Risiko: Anwendungen im Bereich Predictive-Maintenance oder Spamfilter unterliegen keiner besonderen Regulierung nach dem AI Act, da sie wenig kritische Auswirkungen haben. Diese Einstufung bedeutet, dass keine speziellen Regulierungen im Rahmen des AI Act erforderlich sind, da das Risiko für den Benutzer gering ist.
• Geringes Risiko: Für Systeme, die direkt mit Menschen interagieren (z.B. Chatbots), sieht der AI Act die Verpflichtung vor, Verbraucher:innen über den Einsatz künstlicher Intelligenz zu informieren und KI-generierten Output als solchen zu deklarieren (Transparenzpflicht) erfüllt werden.
• Hohes Risiko: Anwendungen, die ein hohes Risiko für Gesundheit, Sicherheit oder Grundrechte darstellen, unterliegen strengen Anforderungen in Bezug auf Datenqualität, Sicherheit und ethische Überlegungen. Unter anderem fallen hier jene KI-Systeme hinein, die unter die sogenannten Produktionssicherheitsregelungen der EU fallen, darunter KI-Systeme, die z.B. in Medizingeräten, in Aufzügen oder in der Luftfahrt verwendet werden. Diese Anwendungen müssen u.a. eine umfassende Risikoanalyse durchlaufen und während des gesamten KI-Lebenszyklus analysiert werden. 
• Inakzeptables Risiko: Bestimmte KI-Anwendungen, die ein unverhältnismäßiges Risiko für die Gesellschaft oder die Rechte der Bürger darstellen (z. B. soziale Punktesysteme), werden vollständig verboten.
  
  

2. Dokumentations- und Transparenzpflichten

Für alle hochriskanten KI-Anwendungen gelten Dokumentationspflichten, die eine lückenlose Nachverfolgbarkeit der eingesetzten Systeme gewährleisten. Unternehmen müssen nachweisen können, dass ihre KI-Systeme den Vorgaben des AI Act entsprechen und dazu umfangreiche technische und organisatorische Dokumentationen vorlegen. Insbesondere müssen die folgenden Punkte dokumentiert werden:

• Datenherkunft und -verarbeitung: Es muss nachgewiesen werden, dass die verwendeten Daten qualitativ hochwertig und diskriminierungsfrei sind.
• Modellentwicklung und -validierung: Unternehmen müssen die Prozesse, durch die das KI-Modell entwickelt und validiert wurde, offenlegen, einschließlich der verwendeten Algorithmen und Modelle.
• Ergebnisse und Entscheidungen: Die Entscheidungsprozesse des KI-Systems müssen nachvollziehbar und transparent gemacht werden, besonders bei hochriskanten Anwendungen.
  
  

3. Konformitätsbewertung und Zertifizierung

Für hochriskante KI-Anwendungen sind Unternehmen verpflichtet, eine Konformitäts-bewertung durchzuführen. Diese Bewertung stellt sicher, dass die Systeme alle erforderlichen rechtlichen und technischen Standards erfüllen. In einigen Fällen kann auch eine externe Zertifizierung durch eine benannte Stelle erforderlich sein, um die Einhaltung der Vorschriften des AI Acts zu bestätigen.

4. Sicherheitsanforderungen und Risikomanagement

Der AI Act legt großen Wert auf die Sicherheit von KI-Systemen. Unternehmen müssen geeignete Maßnahmen ergreifen, um die Sicherheit ihrer KI-Anwendungen zu gewährleisten und Risiken zu minimieren. Dazu gehört auch, dass potenzielle Gefahren im Vorfeld identifiziert werden und ein kontinuierliches Risikomanagement etabliert wird. Zu den Anforderungen gehören:

• Überwachungssysteme: Die Systeme müssen so konzipiert sein, dass sie potenzielle Sicherheitslücken oder Fehlfunktionen frühzeitig erkennen und automatisch darauf reagieren können.
• Datensicherheit: Insbesondere bei der Verarbeitung sensibler Daten müssen hohe Sicherheitsstandards eingehalten werden, um Missbrauch oder Datenlecks zu vermeiden.
• Notfallpläne: Unternehmen müssen Notfallpläne entwickeln, die bei unvorhergesehenen Problemen oder Sicherheitsvorfällen greifen, um Schäden zu minimieren.
  
  

5. Haftungs- und Verantwortlichkeitsregelungen
   

Der EU AI Act führt auch klare Haftungsregelungen ein. Unternehmen sind verantwortlich für die Auswirkungen ihrer KI-Anwendungen, insbesondere wenn durch deren Nutzung Schäden entstehen. Bei hochriskanten Anwendungen müssen Unternehmen nachweisen, dass sie alle erforderlichen Sicherheitsvorkehrungen getroffen haben, um Schaden zu vermeiden. Die Haftung für Schäden, die durch KI-Systeme verursacht werden, kann bei nicht konformen oder unsicheren Anwendungen auf das Unternehmen zurückfallen.

Anwendungsbeispiel: KI-integrierter Spam-Filter 

Ein Spam-Filter ist ein Beispiel für ein KI-System mit minimalem Risiko gemäß dem AI Act. Dieses System analysiert eingehende E-Mails und klassifiziert sie als Spam oder nicht-Spam basierend auf bestimmten Merkmalen, wie Schlüsselwörtern, Absenderadressen oder typischen Mustern, die in Spam-Nachrichten vorkommen. Da der Spam-Filter nur dazu dient, den Benutzer vor unerwünschten oder potenziell schädlichen Nachrichten zu schützen und keine tiefgreifenden Auswirkungen auf die Rechte oder die Sicherheit der Benutzer hat, wird er als minimal riskantes System eingestuft. Diese Einstufung bedeutet, dass keine speziellen Regulierungen im Rahmen des AI Act erforderlich sind, da das Risiko für den Benutzer gering ist.

Anwendungsbeispiel: KI-basierter Kundenservice-Chatbot

Ein kleines Unternehmen im Bereich E-Commerce setzt einen KI-gesteuerten Chatbot auf seiner Website ein, um häufig gestellte Fragen (FAQs) zu beantworten, Bestellstatus zu überprüfen und einfache Supportanfragen zu bearbeiten. Dieser Chatbot interagiert mit den Kunden, um schnelle Antworten zu liefern und das Kundenserviceteam zu entlasten.

Da der Chatbot nur einfache, vorprogrammierte Aufgaben ausführt und keine sensiblen personenbezogenen Daten verarbeitet oder komplexe Entscheidungen trifft, fällt diese Anwendung in die Kategorie "geringes Risiko" gemäß dem EU AI Act.

Rechtliche Anforderungen: Für diese Art von Anwendung müssen grundlegende Transparenzpflichten erfüllt werden. Der Chatbot muss sicherstellen, dass er keine diskriminierenden oder fehlerhaften Antworten gibt, was durch regelmäßige Tests und Updates gewährleistet werden kann. Darüber hinaus sind keine umfangreichen Zertifizierungspflichten erforderlich. 

Anwendungsbeispiel: KI-gestützte Qualitätskontrolle in der Produktion

Ein mittelständisches Unternehmen im Bereich der Fertigung setzt ein KI-System zur automatisierten Qualitätskontrolle in der Produktionslinie ein. Das System verwendet Computer Vision und maschinelles Lernen, um jedes produzierte Teil visuell zu prüfen und Fehler wie Risse, ungenaue Maße oder Farbabweichungen zu erkennen. Sobald ein fehlerhaftes Teil identifiziert wird, wird es automatisch aussortiert, um sicherzustellen, dass nur fehlerfreie Produkte die Produktion verlassen.

Dieses KI-System fällt unter die Kategorie hohes Risiko nach dem EU AI Act, da Fehler in der Qualitätskontrolle zu sicherheitsrelevanten Problemen führen können, insbesondere wenn fehlerhafte Produkte in sicherheitskritische Bereiche wie die Automobilindustrie oder Medizintechnik gelangen.

Rechtliche Anforderungen u.a.:

• Dokumentation: Eine detaillierte Dokumentation der KI-Entwicklungs- und Trainingsprozesse muss vorliegen, einschließlich der verwendeten Daten, Algorithmen und Sicherheitsvorkehrungen, um die Einhaltung der Anforderungen des AI Act nachzuweisen.
• Überprüfung der Datenqualität: Da die KI auf Bilddaten angewiesen ist, muss das Unternehmen sicherstellen, dass die verwendeten Trainingsdaten von hoher Qualität und frei von Verzerrungen sind, um Fehler bei der Fehlererkennung zu vermeiden.
• Transparenz und Nachvollziehbarkeit: Das Unternehmen muss sicherstellen, dass der Entscheidungsprozess des KI-Systems nachvollziehbar ist. Wenn ein fehlerhaftes Produkt übersehen wird, muss das Unternehmen in der Lage sein, den Fehler zurückzuverfolgen und zu verstehen, warum das KI-System diese Entscheidung getroffen hat.
• Risikomanagement: Das Unternehmen muss ein umfassendes Risikomanagement-system einführen, um sicherzustellen, dass das KI-System zuverlässig und genau arbeitet. Regelmäßige Tests und Kalibrierungen des Systems sind erforderlich, um Fehlentscheidungen zu vermeiden.

Anwendungsbeispiel: KI-basierte Gesichtserkennung zur Überwachung von Mitarbeitern

Ein Unternehmen setzt ein KI-System zur Gesichtserkennung ein, um die Anwesenheit von Mitarbeitern in verschiedenen Abteilungen automatisch zu überwachen und ihre Arbeitszeiten zu erfassen. Das System verwendet Kameras, die kontinuierlich Bilder der Mitarbeiter aufnehmen und diese zur Identifizierung und Verfolgung ihrer Bewegungen im Gebäude nutzen. Die erfassten Daten werden gespeichert, um Arbeitszeiten zu analysieren und bei Bedarf zu optimieren. Dieses KI-System fällt unter die Kategorie inakzeptables Risiko nach dem EU AI Act, da es potenziell schwerwiegende Auswirkungen auf die Privatsphäre und die Rechte der Mitarbeiter hat. 

Rechtliche Anforderungen: Laut dem EU AI Act wäre die Verwendung von KI zur umfassenden Gesichtserkennung am Arbeitsplatz in den meisten Fällen illegal. Diese Art der Überwachung verstößt gegen die Grundrechte der Mitarbeiter auf Privatsphäre und Datenschutz. Die kontinuierliche Sammlung biometrischer Daten ohne ausdrückliche, informierte Zustimmung ist eine schwerwiegende Verletzung der Datenschutz-Grundverordnung (DSGVO). Der AI Act betont, dass KI-Systeme, die Rechte und Freiheiten der Menschen auf unverhältnismäßige Weise beeinträchtigen, wie bei einer ständigen und unbegrenzten Überwachung am Arbeitsplatz, als unzulässig gelten.

Was müssen/sollten Unternehmen beachten?

Die Regelungen des AI Act werden nicht alle gleichzeitig, sondern Schritt für Schritt gelten. 2025 müssen die EU-Mitgliedsstaaten nationale Behörden benannt haben, die jeweils die Umsetzung der Vorschriften überwachen. In Deutschland kommen dafür mehrere Behörden ins Gespräch, darunter die Bundesbeauftragte für den Datenschutz und die Informationsfreiheit (BfDI) oder die Bundesnetzagentur. Das Amt für künstliche Intelligenz (AI Office), eine neue Regulierungs-behörde auf EU-Ebene, wird ebenfalls die Einhaltung der EU-Anforderungen des KI-Gesetzes überwachen und durchsetzen. Der gesamte Prozess zur Umsetzung des AI Act kann sich noch bis 2027 hinziehen. Das Verbot von KI-Systemen mit inakzeptablem Risiko soll bereits sechs Monate nach Inkrafttreten des Gesetzes möglich sein. 

Wichtig zu wissen ist, dass sich der AI Act auf Anwendungsfälle (use cases) fokussiert, weil er so das Risiko besser kontrollieren und die Regulierung gezielt anpassen kann. Der Hintergrund dafür ist, dass verschiedene KI-Anwendungen unterschiedlich riskant sind und je nach Kontext zu anderen potenziellen Risiken führen können. Eine pauschale Regulierung für alle KI-Systeme wäre entweder zu streng für Anwendungen mit niedrigem Risiko oder zu locker für solche mit hohem Risiko. Auch bei Foundation Models, d.h. große, vortrainierte KI-Modelle wie GPT, die für eine Vielzahl von Aufgaben und Anwendungsbereichen eingesetzt werden können, ist der Blick auf die einzelnen use cases relevant. Foundation Models sind vielseitig und dienen als Grundlage für viele verschiedene spezifische KI-Anwendungen, weshalb das Risiko ihres Einsatzes stark vom jeweiligen Anwendungsfall abhängt.

Um den AI Act erfolgreich umzusetzen, sollten Unternehmen schon jetzt strategisch vorgehen und sich frühzeitig mit den Anforderungen auseinandersetzen. Wichtige Schritte sind dabei:

1. Risikoanalyse durchführen – Unternehmen sollten klären, ob ihre eingesetzten oder entwickelten KI-Anwendungen in eine der Risikokategorien des EU AI Acts fallen. Besonders relevant ist dies für hochriskante Anwendungen, da hier umfassendere Verpflichtungen bestehen.
2. Transparenz sicherstellen – Die Transparenzanforderungen gelten für alle Risikostufen. Kunden und Nutzer müssen klar darüber informiert werden, wenn sie mit KI-Systemen interagieren. Dies schafft Vertrauen und schützt gleichzeitig vor rechtlichen Konsequenzen.
3. Technische Dokumentation und Datenqualität sicherstellen – Unternehmen sollten ihre Datenqualität und Dokumentation optimieren. Der AI Act stellt hohe Anforderungen an die Daten, die für KI-Systeme verwendet werden, insbesondere bei hochriskanten Anwendungen. Es ist wichtig sicherzustellen, dass Daten akkurat, repräsentativ und diskriminierungsfrei sind.
4. Konformitätsbewertung für hochriskante KI-Lösungen – Wenn Unternehmen hochriskante KI-Systeme entwickeln/einsetzen, müssen sie umfassende Konformitätsbewertungen vornehmen, um die Einhaltung der gesetzlichen Vorschriften sicherzustellen. Dazu kann auch die Zusammenarbeit mit Drittanbietern hilfreich sein.
5. Haftungsrisiken minimieren – Laut dem EU AI Act können Unternehmen Haftungsrisiken im Zusammenhang mit der Nutzung von KI-Systemen von Drittanbietern minimieren, indem sie Verträge und Vereinbarungen mit Drittanbietern treffen, die Verantwortlichkeiten und Haftungsfragen klären. Dies umfasst auch die Sicherstellung, dass der Drittanbieter alle erforderlichen Sicherheits- und Datenschutzvorgaben beachtet und eine Risikobewertung für das KI-System durchgeführt hat.

Wer sich nun fragt, auf welche Weise all das dokumentiert werden soll, muss sich mit der Antwort noch ein wenig gedulden. Es gibt zwar erste Entwürfe für sogenannte model cards, die spezifische Informationen zu einem KI-Modell beinhalten, um Transparenz, Verantwortung und Compliance mit den Vorschriften des AI Act zu gewährleisten. Diese sind jedoch noch nicht final, da der AI Act weiterhin verhandelt wird und die endgültigen Anforderungen noch festgelegt werden. 

AI Act und AGI 

Der AI Act der Europäischen Union ist auch für außereuropäische Unternehmen von erheblicher Bedeutung, insbesondere für jene, die ihre KI-Systeme in Europa bereitstellen oder auf den europäischen Markt ausrichten. Die Vorschriften des AI Act gelten nämlich nicht nur für europäische Unternehmen, sondern für alle Unternehmen, die KI-Systeme in der EU anwenden, vertreiben oder auf irgendeine Weise dort zugänglich machen möchten. Auf den Punkt gebracht: Der AI Act zwingt Unternehmen, ihre KI-Modelle und -Prozesse anzupassen, wenn sie diese in Europa anbieten wollen. 

Die extraterritoriale Wirkung der Verordnung führt dazu, dass europäische Vorschriften zunehmend weltweite Standards setzen, was z.B. für amerikanische Unternehmen wie Google, Microsoft und Meta Herausforderungen und Kosten mit sich bringt. Zwei Reaktionen sind denkbar: Die Unternehmen werden ihr KI-Sortiment an die Standards der Europäischen Union anpassen, um die Konformitätsanforderungen zu erfüllen, insbesondere bei hohem Risiko klassifizierte KI-Systeme. Oder: Die Unternehmen werden separate Versionen ihrer KI-Produkte entwickeln, die speziell den EU-Richtlinien entsprechen. Dies könnte dazu führen, dass amerikanische Unternehmen „EU-spezifische“ KI-Systeme oder Funktionen anbieten, die strenger reguliert sind als die Produkte, die sie in anderen Märkten verkaufen. Die zweite Reaktion ist wohl die realistischere. 

Fazit

Der EU AI Act ist ein umfassender regulatorischer Rahmen, der sicherstellen soll, dass KI verantwortungsvoll und sicher eingesetzt wird, um die Rechte und den Schutz der Nutzer und der Gesellschaft zu gewährleisten. Während im europäischen Raum dem Voranschreiten der KI-Entwicklung ein gesetzlicher Rahmen vorgeschoben wurde, geht es anderorts scheinbar um den Erhalt der Führungsrolle in diesem Markt. Laut Sam Altman könne 2025 die Entwicklung von AGI bis hin zu komplexeren, selbstständig agierenden KI-Agenten, die eigenständig mit realen Daten interagieren und Entscheidungen treffen können, erreicht werden. Altman betont zwar, dass eine verantwortungsvolle Integration von AGI in die Gesellschaft nicht nur technische Fortschritte, sondern auch umfassende Sicherheitsvorkehrungen und ethische Überlegungen erfordert. Allerdings stellt sich die Frage, ob der AI Act als mögliche Bremse in der AGI-Entwicklung überhaupt Beachtung finden wird, wenn es doch hauptsächlich um ein Wettrennen der marktführenden Unternehmen geht. 

Für die globale Gesellschaft wäre es wünschenswert, wenn die Anforderungen des AI Act angenommen werden würden, auch wenn diese in gewisser Weise den Fortschritt verlangsamen und die Entwicklungskosten erhöhen könnten. In der Wissenschaft stellt sich doch immer wieder die ethische Frage. In diesem Fall würde sie lauten: Ist es richtig, eine Technologie zu entwickeln, die den menschlichen Verstand weit übertrifft, nur weil man es kann? Es kommt bei der Antwort wohl auf die Perspektive an. AGI könnte enorme Vorteile bringen, indem sie beispielsweise Lösungen für drängende globale Probleme findet und den wissenschaftlichen Fortschritt beschleunigt. Gleichzeitig bringt sie erhebliche Risiken mit sich, die nicht unbeachtet bleiben sollten. Es ist daher entscheidend, dass die Entwicklung von AGI verantwortungsvoll gesteuert wird, mit klaren ethischen Leitlinien und globaler Zusammenarbeit, um sicherzustellen, dass die Technologie dem Wohle der Menschheit dient. Der AI Act könnte dafür sorgen, dass AGI im Einklang mit ethischen Normen auf eine Weise in die Gesellschaft integriert wird, die sowohl den technischen Fortschritt als auch den Schutz der Gesellschaft im Auge behält.