Der AI Act – betrifft mich das?

Was ist der AI Act eigentlich?

Oft wurde es in den letzten Wochen in allen Medien mehr oder weniger intensiv erwähnt: der AI Act wird Stück für Stück aktiv. „AI Act“ und „KI Verordnung“ sind übrigens das gleiche Gesetz in verschiedenen Sprachen. Wenn man die Entwicklung dieses Gesetzes nicht genau verfolgt hat, werden die Informationen vermutlich eher verwirrend sein. Wieder ein neues Gesetz, um die europäische Wirtschaft mit unnützen Regelungen zu nerven? Gurkenkrümmung 2.0 oder gar die IT-Entsprechung von nicht abnehmbaren Flaschenverschlüssen?

Die Wahrheit ist eigentlich nicht bedrohlich, denn für die meisten Unternehmen und Organisationen ändert sich durch den AI Act relativ wenig und die inhaltlichen Themen hat man als verantwortungsbewusstes Unternehmen vermutlich ohnehin schon geplant.

Auf sehr einfache Aussagen heruntergebrochen wird auch eine große Ähnlichkeit zur Datenschutzgrundverordnung deutlich:

1. Nicht alles, was man tun kann, sollte man auch tun.
2. Um Informationen zu Aussage 1 zu erhalten, kann man entweder das Prinzip FAFO (das österreichische SDVD hat sich leider international nicht durchgesetzt) verwenden oder vorab über mögliche oder auch bereits in der Vergangenheit eingetretene negative Auswirkungen nachdenken und mit den potentiellen positiven Auswirkungen abwägen. Letzteres ist der in der Europäischen Union vorherrschende Ansatz.
3. Um nicht jedes Unternehmen mit den Problemen einer Abwägung alleine zu lassen, werden Positiv- und/oder Negativ-Grenzen formuliert, über die ein breiter politischer und gesellschaftlicher Konsens herrscht.

Übersetzt auf den Einsatz von Technologien der künstlichen Intelligenz bedeutet das:

1. Manche Anwendungen sind in der Europäischen Union verboten, da das Risiko ihres Einsatzes als zu hoch angesehen wird.
2. Unternehmen müssen „KI-Kompetenz“ aufbauen, um Fragestellungen über den Einsatz von KI verantwortungsvoll und nachvollziehbar beantworten zu können.
3. Der Gesetzgeber hat einige Bereiche definiert, die zwar nicht verboten sind, in denen das Risiko für negative Auswirkungen bei Fehlern jedoch relativ groß ist. Bei diesen Hochrisikoanwendungen müssen bei der Entwicklung und beim Betrieb zusätzliche Sicherheitsmaßnahmen implementiert werden.

Wichtig ist zu wissen, dass der AI Act, bei dem es um die Regelung des Einsatzes von KI-Systemen geht, eine europäische Verordnung ist. Verordnungen gelten unmittelbar für alle Mitgliedsländer und müssen also nicht von den nationalen Parlamenten zusätzlich beschlossen werden. Das Gleiche kennt man bereits von der Einführung der Datenschutzgrundverordnung (DSGVO), die seit 25.05.2018 gilt.

Anders als es in manchen Artikeln zu lesen ist, verbietet der AI Act die Nutzung von KI-Systemen nicht generell und benötigt in den meisten Fällen auch keine aufwändige Dokumentation.

Und für eine besondere Branche gibt es ebenfalls Entwarnung: wenn Sie KI-Systeme für militärische Zwecke entwickeln, unterliegen Sie nicht dem AI Act. Wenn Ihr Start-up also gerade an der Marktreife des T-800 arbeitet: nur zu!

Aufpassen müssen Unternehmen vor allem, wenn sie selbst KI-Systeme erstellen, also beispielsweise Modelle trainieren oder vielleicht auch andere, bestehende KI-Systeme mit Zusatzfunktionalitäten erweitern. Diese Gruppe von Unternehmen werden im AI Act als „Anbieter“ bezeichnet. Sie müssen vor allem hinsichtlich ihrer Trainingsdaten zusätzliche Dokumentation, Prozessbeschreibungen, etc. bereitstellen.

Die meisten Unternehmen sind jedoch nur „Betreiber“ von KI-Systemen, sei es für eine KI-basierte Erkennung von Spam oder Malware oder für die Verwendung von generativer KI (Large Language Models) für die Erstellung von Texten oder Bildern.

Warum überhaupt ein AI Act?

An „künstlicher Intelligenz“ wird schon seit Jahrzehnten geforscht und die Idee von intelligenten Maschinen und Robotern beflügeln die menschliche Phantasie noch viel länger. Das Gehirn wurde als biologischer Computer gesehen, der Sinneseindrücke verarbeitet, darüber nachdenkt und daraufhin Entscheidungen fällt. Man versuchte die einzelnen Teile unseres Gehirns und des Zusammenwirkens dieser Teile zu verstehen und damit zur erkennen, wie Intelligenz aus Nicht-Intelligenz entstehen kann. Noch bis in die 1980er Jahre wurden Computer in Medien oft als „Elektronengehirne“ bezeichnet. Man hoffte hinter das Geheimnis der Intelligenz zu kommen, in dem man Computer vor Aufgaben stellte, die von den Menschen, die sich damals damit beschäftigten als besonders komplex betrachtet wurden. Als dann Computer begannen auch gute menschliche Schachspieler vernichtend zu schlagen, ohne dabei in anderen Disziplinen besonders intelligent zu wirken, wurde das als Moravecsche Paradoxon heute bekannte Prinzip offensichtlich: was uns leichtfällt, ist für einen „normalen“ Computer unheimlich schwer und umgekehrt.

Neuere Ansätze wie das Trainieren von künstlichen neuronalen Netzen anhand einer großen Menge von Daten waren zwar theoretisch hochinteressant, scheiterten aber an den dafür erforderlichen Rechenleistungen und der Menge der benötigten Daten. Das änderte sich in den folgenden Jahren durch die Abrufmöglichkeit von Petabytes an Texten über Millionen von Internet-Seiten und die Entdeckung, dass sich ursprünglich für Computerspiele entwickelte Grafikchips ausgezeichnet für die erforderlichen Berechnungen eignen.

Kurze Zeit später ist Nvidia unter den fünf wertvollsten Unternehmen der Welt, Elon Musks Firma xAI baut in 122 Tagen den derzeit vermutlich schnellsten Supercomputer „Colossus“ (die Namensgleichheit ist für Filmliebhaber kein Zufall), Hunderte Milliarden Euro/Dollar werden in den Aufbau von Rechenzentren sowie Kraftwerke zur Versorgung dieser Rechenzentren gesteckt und ein Wettlauf zur Erreichung von AGI ist in vollem Gange. Wie viele Menschen würden heutige Large Language Models (LLM) in einem Turing-Test wohl nur daran erkennen, dass der Chatbot viel schneller antwortet, als es ein Mensch je könnte? Welche Jobs werden in absehbarer Zeit verschwinden oder zumindest viel weniger nachgefragt werden? Welche Kompetenzen müssen wir besitzen, um nicht gegen eine API um 30 Euro pro Monat ausgetauscht zu werden? Werden nur mehr die Menschen ein selbstbestimmtes Leben führen können, die es sich leisten können, einen KI-Assistenten zu betreiben, der tatsächlich ihre eigenen Wünsche berücksichtigt und nicht die von OpenAI, xAI, Alphabet oder Palantir?

Das hört sich doch nach einem Bereich an, über dessen Regulierung man ein paar Gedanken verschwenden kann.

Wann wird aus einem System ein „KI System“?

„Intelligente“ Produkte lassen sich besser verkaufen als dumme Produkte. „Intelligente“ Produkte sollten also ein Mindestmaß an „Intelligenz“ haben, um diese Bezeichnung zu verdienen. Leider ist die Definition von Intelligenz gar nicht so einfach, wie man es erwarten würde. Wer dazu eine kurzweilige Einführung haben möchte, dem sei dieses Video wärmstens empfohlen. Einige von Marketing-Abteilungen als „intelligent“ bezeichnete Produkte sind schlichtweg regelbasiert und nehmen dem menschlichen Benutzer zwar vielleicht etwas Denkarbeit ab, können sich jedoch in keinster Weise anpassen.

Ein Beispiel wäre die „intelligente“ Kaffeemaschine, die die Menge des im Wasserbehälter noch verfügbaren Wassers mit der für das gewünschten Kaffeeprodukt erforderlichen Wassermenge vergleicht und daraufhin die Produktwahl eines Verlängerten ablehnt, einen Ristretto aber anstandslos in die Tasse tropfen lässt. Nie wieder geschlagen von einem Kaffeeautomaten und vor allem kaffeelos abziehen müssen! Das ist praktisch. Aber es ist kein KI-System.

Im AI Act wird ein KI-System definiert als:

Ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie operieren kann und nach seiner Einführung Anpassungsfähigkeit zeigt, und das für explizite oder implizite Ziele aus den Eingaben, die es erhält, ableitet, wie es Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen kann, die physische oder virtuelle Umgebungen beeinflussen können.

Die Kaffeemaschine wurde nicht mit der Produktion von Tausenden Tassen Kaffee und Feedback von mehr oder weniger zufriedenen Kaffeertrinkern trainiert, sie befolgt nur einfache Regeln. „Echte“ KI-Systeme jedoch haben für Menschen unfassbare Mengen an Informationen erhalten und darin Muster und Strukturen gefunden. Daraus können sie Inhalte ableiten, die für den gegebenen Kontext wahrscheinlich am besten passen. Das funktioniert sehr gut mit Text, denn es gibt sehr viel Text, der für das Training der Modelle verwendet werden kann. Für andere Bereiche ist das viel schwieriger, wie das beispielsweise der CEO von MachineLabs als Gast in einem empfehlenswerten Podcast beschreibt.

Anhand der oben angegebenen Definition kann man also erkennen, ob das System, das einem der Dienstleister gerade verkaufen will, tatsächlich Technologien der künstlichen Intelligenz enthalten sind. Nicht überall, wo „KI“ draufsteht, ist auch „KI“ drin. Und ob das Verhalten der Systeme tatsächlich als „intelligent“ bezeichnet werden kann, hängt von der Definition ab. Nur wenn die oben angegebene Definition zutrifft, sind die Bestimmungen des AI Act zu beachten. Die meisten Unternehmen haben weniger Interesse an philosophischen Fragen über die Vergleichbarkeit von menschlicher mit künstlicher Intelligenz, sondern wollen wissen, ob eine KI-Lösung die Effektivität oder Effizienz von Prozessen erhöhen kann.

Auf was muss ein „Betreiber“ achten?

Grob gesagt auf zwei Bereiche:

1. es muss Nutzern der Systeme oder der Ergebnisse der Systeme klar sein, dass mit KI-Technologien gearbeitet wird.
2. Nutzer der Systeme müssen wissen, wie die Systeme bedient werden und wie Ausgaben zu bewerten sind.

Der erste Punkt ist durch eine Information vor der Nutzung des Systems zu gewährleisten, z.B. die Information, dass beim Support-Chat nicht mit einem Menschen, sondern mit einer künstlichen Intelligenz kommuniziert wird oder dass bei der Darstellung von Illustrationen und Bildern  mit Hilfe einer generativen künstlichen Intelligenz gearbeitet wurde.

Der zweite Punkt ist schwieriger umzusetzen. Unternehmen müssen „Kompetenzschulungen“ für ihre Mitarbeiter durchführen, aber der Inhalt dieser Schulungen ist im Gesetz nicht näher ausgeführt. Vernünftigerweise gehört dazu:

• Beachtung der vertraglichen Situation mit dem KI-Anbieter, insbesondere, ob Eingaben für Trainingszwecke des KI-Anbieters verwendet werden. Falls der KI-Anbieter die Daten für eigene Zwecke verwenden würde, sollten in die KI jedenfalls keine Geschäftsgeheimnisse oder personenbezogene Daten eingetragen werden.
• Beachtung des Urheberrechts (z.B. „Erstelle ein Bild, in dem Bugs Bunny auf unser Firmenlogo zeigt.“)
• Wissen, welche Verarbeitungszwecke verboten oder besonders überlegt werden müssen
• Wissen, wie man die KI dazu bringt, optimale Ergebnisse zu erhalten (=Wahl des Modells, Bereitstellung von Kontext, Prompting, Rekontextualisierung bei längeren Konversationen)
• Bewertung von Ergebnissen, um „Halluzination“ zu erkennen

Der letzte Punkt bedeutet eine große Einschränkung für die Nutzung von Künstlicher Intelligenz und wurde in seinen Prinzipien in der bekannten Arbeit „Unskilled and unaware of it.” von Justin Kruger und David Dunning untersucht. Er bedeutet, dass man für die Bewertung einer Antwort die gleichen Kompetenzen benötigt, wie sie für die Erstellung der Antwort erforderlich sind. Diese Einschränkung kann man durch den Einsatz von Reasoning-Modellen oder geschicktes Prompting etwas kompensieren, aber nicht ganz verhindern.

Mitarbeiterschulungen werden also Pflicht.

Welche Richtlinien der AI Act für Verboten erklärt

KI-Systeme dürfen nicht für die folgenden Zwecke eingesetzt werden (Artikel 5 des AI Act):

• Einsatz von unterschwelligen Techniken oder absichtlich manipulativen und täuschenden Techniken, um das Verhalten von Personen zu beeinflussen. (Looking at you, Werbeindustrie!)
• Ausnutzen von Schwachstellen aufgrund des Alters, einer Behinderung, einer besonderen wirtschaftlichen oder sozialen Situation
• Bewertung und Klassifizierung von Personen aufgrund ihres Sozialverhaltens oder persönlicher Merkmale, die zu einer unverhältnismäßigen Benachteiligung oder Benachteiligung in Zusammenhängen führen, die nichts mit dem ursprünglichen Zusammenhang zu tun haben (z.B. Social Credit Systeme)
• Vorhersage von Straftaten (vgl. die Gesellschaft, die in Minority Report dargestellt wird)
• Datenbanken zur Gesichtserkennung, sofern die Gesichter aus dem Internet oder von Videoüberwachungssystemen stammen
• Ableitung von Emotionen am Arbeitsplatz oder in Bildungseinrichtungen (Ausnahme: medizinische oder sicherheitstechnische Gründe)
• Biometrische Kategorisierung für Rückschlüsse auf Ethnie, politische Meinungen, sexuelle Orientierung, religiöse und philosophische Überzeugungen
• Biometrische Echtzeitidentifizierung (Ausnahmen sind z.B. Suche nach vermissten Personen)
• Für Zwecke, die andere EU-Gesetze verletzen würden, z.B. ein automatisiertes Profiling ohne Einwilligung, wie es in der DSGVO geregelt ist.

Diese Verarbeitungszwecke sind recht allgemein formuliert. Es wird wohl, wie auch schon bei der DSGVO, einige Jahre und einige Verfahren bis hinauf zum Europäischen Gerichtshof benötigen, um Klarheit zu bekommen, wie Grenzfälle zu beurteilen sind.

Wann muss mein Unternehmen für den AI Act bereit sein?

Der AI Act wird stufenweise eingeführt. Die ersten Bestimmungen hinsichtlich der Verpflichtung von Kompetenzschulungen für Mitarbeiter von Unternehmen sowie das Verbot von bestimmten KI-Systemen sind seit 02.02.2025 gültig. Falls Sie die Schulungsinhalte mit Hilfe von Microlearning vermitteln möchten, freuen wir uns über Ihre Kontaktaufnahme.

Weitere Bestimmungen, unter anderem zu KI-Systemen zur allgemeinen Verwendung, beginnen am 02.08.2025 zu gelten.

Die für alle anderen „normalen“ Unternehmen relevanten Teile des AI Act, insbesondere die Pflichten für „Anbieter“, werden in einem weiteren Blog-Artikel vorgestellt.