Deepdive AI Act – KI-System (Teil 2 von 8)

Die KI-Verordnung (AI Act) verpflichtet alle Unternehmen und Behörden, bei denen Künstliche Intelligenz (KI) zum Einsatz kommt, zur Umsetzung verschiedener Maßnahmen. In dieser Reihe beleuchten wir die Details dieses EU-Regelwerks.

Reihe: Deepdive AI Act
Teil 1: Grundlagen / Inkrafttreten / Anwendbarkeit
Teil 2: KI-System
Teil 3: Risikoklassen
Teil 4: Akteure
Teil 5: Pflichten
Teil 6: Kennzeichnungspflichten
Teil 7: KI-Kompetenz
Teil 8: Aufsichtsbehörden / Sanktionen

Die KI-Verordnung (KI-VO) stammt aus dem Bereich der Produktregulierung. Ihre Vorgaben sind nur anwendbar, wenn es sich um ein „KI-System“ im Sinne der KI-VO handelt. Die in der Praxis bedeutsamste Frage ist daher, was unter diesem zentralen Begriff zu verstehen ist.

Gesetzliche Definition

Die gesetzliche Definition des Begriffs „KI-System“ findet sich in Art. 3 Nr. 1 KI-VO:
„ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.“

Zur besseren Einordnung kann und sollte noch Erwägungsgrund 12 KI-VO herangezogen werden. Dort finden sich folgende Ausführungen:
„Darüber hinaus sollte die Begriffsbestimmung auf den wesentlichen Merkmalen der KI beruhen, die sie von einfacheren herkömmlichen Softwaresystemen und Programmierungsansätzen abgrenzen, und sollte sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen. Ein wesentliches Merkmal von KI‑Systemen ist ihre Fähigkeit, abzuleiten. Diese Fähigkeit bezieht sich auf den Prozess der Erzeugung von Ausgaben, wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, die physische und digitale Umgebungen beeinflussen können, sowie auf die Fähigkeit von KI‑Systemen, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten. Zu den Techniken, die während der Gestaltung eines KI‑Systems das Ableiten ermöglichen, gehören Ansätze für maschinelles Lernen, wobei aus Daten gelernt wird, wie bestimmte Ziele erreicht werden können, sowie logik- und wissensgestützte Konzepte, wobei aus kodierten Informationen oder symbolischen Darstellungen der zu lösenden Aufgabe abgeleitet wird. Die Fähigkeit eines KI‑Systems, abzuleiten, geht über die einfache Datenverarbeitung hinaus, indem Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht werden.“

Trotz der Definition und der ergänzenden Erläuterungen in den Erwägungsgründen besteht weiterhin Uneinigkeit darüber, was genau unter einem „KI-System“ zu verstehen ist. Das Meinungsspektrum reicht von dem sehr weiten Verständnis, dass die gesetzliche Definition aus Art. 3 Nr. 1 KI-VO – einfach formuliert – alles erfassen soll, was heutzutage unter dem Begriff „KI“ erfasst ist, über verschiedene Abstufungen bis hin zu der Ansicht, dass derzeit noch gar kein System auf dem Markt ist, das alle Merkmale der Definition erfüllt.

Leitlinien der EU-Kommission

Die EU-Kommission hat am 29. Juli 2025 die finale Version ihrer „Leitlinien der Kommission zur Definition eines Systems der künstlichen Intelligenz gemäß der Verordnung (EU) 2024/1689 (KI-Verordnung)“ veröffentlicht. Darin heißt es unter anderem:
„Die Definition eines KI-Systems beruht auf einer lebenszyklusorientierten Perspektive, die zwei Hauptphasen umfasst: die Phase vor der Inbetriebnahme oder ‚Aufbauphase‘ des Systems und die Phase nach der Inbetriebnahme oder ‚Nutzungsphase‘ des Systems. Die sieben in der Begriffsbestimmung genannten Elemente müssen nicht kontinuierlich in beiden Phasen dieses Lebenszyklus vorhanden sein. Stattdessen wird in der Definition anerkannt, dass bestimmte Elemente in einer Phase auftreten können, aber nicht in beiden Phasen fortbestehen müssen. Dieser Ansatz im Hinblick auf die Definition eines KI-Systems spiegelt die Komplexität und Vielfalt von KI-Systemen wider und stellt sicher, dass die Definition mit den Zielen der KI-Verordnung im Einklang steht, indem ein breites Spektrum von KI-Systemen erfasst wird.“

In diesen Leitlinien ordnet die EU-Kommission den sieben Hauptelementen der gesetzlichen Begriffsdefinition ergänzende, erläuternde Hinweise zu:

1. „Maschinengestütztes System“

• mithilfe von Maschinen entwickelt und auf Maschinen betrieben
• umfasst sowohl Hardware- (z. B. Prozessoren, Arbeitsspeicher, Massenspeichergeräte, Netzwerkadapter und Ein-/ Ausgabeschnittstellen) als auch Softwarekomponenten (z. B. Computercodes, Anweisungen, Programme, Betriebssysteme und Anwendungen)
• KI wird von Rechnern gesteuert und beruht auf maschinellen Vorgängen

2. „Autonomie“

• die Fähigkeit eines KI-Systems zur Ableitung ist unerlässlich, um seine Autonomie zu erreichen
• menschliches Zutun und menschliches Eingreifen können entweder direkt, z. B. durch manuelle Kontrollen, oder indirekt erfolgen, z. B. durch automatisierte, systemgestützte Kontrollen, die es Menschen ermöglichen, den Systembetrieb zu delegieren oder zu beaufsichtigen
• Interaktion zwischen Mensch und Maschine, das heißt, am einen Ende der Spanne der möglichen Mensch-Maschine-Interaktion stehen Systeme, die so konzipiert sind, dass sie bei allen Aufgaben ein manuelles Eingreifen benötigen, und am anderen Ende stehen Systeme, die ohne menschliche Beteiligung oder Eingriffe, das heißt völlig autonom, betrieben werden können

3. „Anpassungsfähigkeit“

• ein KI-System kann nach seiner Betriebsaufnahme über Anpassungsfähigkeit oder Lernfähigkeit verfügen, es muss dies aber nicht unbedingt tun
• die Fähigkeit eines Systems, automatisch zu lernen, neue Muster oder Beziehungen zwischen Daten zu erkennen, die über sein ursprüngliches Training hinausgehen, ist eine fakultative und somit keine entscheidende Voraussetzung dafür, ob das System als KI-System einzustufen ist

4. „Ziele eines KI-Systems“

• explizite Ziele sind klar definierte Ziele, die vom Entwickler direkt im System programmiert werden (z. B. die Optimierung einer bestimmten Kostenfunktion, die Berechnung einer Wahrscheinlichkeit oder die Bestimmung eines kumulativen Bonus)
• implizite Ziele sind Ziele, die nicht ausdrücklich genannt werden, aber aus dem Verhalten oder den zugrunde liegenden Annahmen des Systems abgeleitet werden können (diese Ziele können sich aus den Trainingsdaten oder aus der Interaktion des KI-Systems mit seiner Umgebung ergeben)
• die Ziele eines KI-Systems sind systemintern und beziehen sich auf die Ziele der auszuführenden Aufgaben und deren Ergebnisse; z. B. kann ein unternehmensinternes virtuelles KI-Assistentensystem zum Ziel haben, Nutzerfragen zu einer Reihe von Dokumenten mit hoher Genauigkeit und geringer Ausfallrate zu beantworten; die Zweckbestimmung ist dagegen nach außen gerichtet und umfasst den Kontext, in dem das System eingesetzt werden soll und wie es betrieben werden muss

5. „Ableiten, wie Ausgaben mithilfe von KI-Techniken erzeugt werden können“

• die Fähigkeit zur Ableitung ist eine wesentliche, unverzichtbare Voraussetzung, durch die sich KI-Systeme von anderen Arten von Systemen unterscheiden
• hierbei geht es um das selbstständige Finden von Lösungen ohne vom Menschen vordefinierte Regeln
• diese Fähigkeit bezieht sich auf den Prozess der Erzeugung von Ausgaben, wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, die physische und digitale Umgebungen beeinflussen können, sowie auf die Fähigkeit von KI-Systemen, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten
• der „Prozess der Erzeugung von Ausgaben, wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, die physische und digitale Umgebungen beeinflussen können“, bezieht sich auf die Fähigkeit des KI-Systems, hauptsächlich in der „Nutzungsphase“ Ausgaben auf der Grundlage von Eingaben zu erzeugen
• eine „Fähigkeit von KI-Systemen, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten“, bezieht sich in erster Linie, aber nicht ausschließlich, auf die „Aufbauphase“ des Systems und unterstreicht die Bedeutung der für den Aufbau eines Systems verwendeten Techniken

6. „Ausgaben, die physische oder virtuelle Umgebungen beeinflussen können“

• die Fähigkeit eines Systems, Ausgaben wie Vorhersagen, Inhalte und Empfehlungen auf der Grundlage von Eingaben, die es erhält, und mithilfe von maschinellem Lernen sowie logik- und wissensgestützten Konzepten zu erzeugen, ist von grundlegender Bedeutung dafür, wie KI-Systeme funktionieren und was diese Systeme von anderen Softwareformen unterscheidet
• die Ausgaben von KI-Systemen fallen in vier große Kategorien: Vorhersagen, Inhalte, Empfehlungen und Entscheidungen; jede Kategorie unterscheidet sich in ihrem Grad an menschlichem Zutun
• KI-Systeme, einschließlich der Systeme, die auf maschinellem Lernen beruhen, und der logik- oder wissensgestützten Systeme, unterscheiden sich von Nicht-KI-Systemen hinsichtlich ihrer Fähigkeit, Ausgaben wie Vorhersagen, Inhalte, Empfehlungen und Entscheidungen zu erzeugen, insofern, als sie komplexe Datenbeziehungen und -muster bewältigen können; KI-Systeme können in der Regel nuanciertere Ausgaben hervorbringen als andere Systeme, indem sie beispielsweise während des Trainings gelernte Muster nutzen oder von Sachverständigen festgelegte Regeln auf Entscheidungen anwenden und in strukturierten Umgebungen komplexer argumentieren

7. „Interaktion mit der Umgebung“

• dieses Element sollte so verstanden werden, dass damit hervorgehoben wird, dass KI-Systeme nicht passiv sind, sondern sich aktiv auf die Umgebungen auswirken, in denen sie eingesetzt werden
• die Bezugnahme auf „physische oder virtuelle Umgebungen“ bedeutet, dass ein KI-System sowohl auf materielle, physische Objekte (z. B. einen Roboterarm) als auch auf virtuelle Umgebungen, einschließlich digitaler Räume, Datenströme und Software-Ökosysteme, Einfluss nehmen kann

Beispiele

Die Leitlinien führen zudem Beispiele für KI-Systeme im Sinne der Definition aus Art. 3 Nr. 1 KI-VO an:

• Klassifizierungs- und Erkennungssysteme: KI-gestützte E-Mail-Spam-Erkennungssysteme, Bildklassifizierungssysteme (z. B. zur Erkennung von Autos), Spracherkennungssysteme und Systeme zur Betrugsaufdeckung bei Transaktionen
• Medizinische Diagnosesysteme: Expertensysteme oder Systeme des maschinellen Lernens, die anhand von Symptomen eines Patienten Schlussfolgerungen ziehen oder medizinische Bilder analysieren, die zuvor durch menschliche Sachverständige gekennzeichnet wurden
• Generative KI und Sprachmodelle: KI-Systeme, die auf generativen Modellen (wie GPT) basieren und in der Lage sind, neue Inhalte, wie Texte, Bilder, Videos oder Musik zu erzeugen; ebenso fallen Sprachmodelle, die das nächste Wort in einem Satz vorhersagen, darunter (also ChatGPT, Claude, Gemini & Co.)
• Autonome Fahrzeuge und Robotik: selbstfahrende Fahrzeuge, die in einer hochkomplexen Umgebung Echtzeit-Vorhersagen erstellen und ihr Verhalten anpassen, sowie KI-gestützte Roboterarme (z. B. zum Greifen von Objekten), die durch bestärkendes Lernen ihre Strategien verfeinern
• Komplexe Empfehlungs- und Vorhersagesysteme: Suchmaschinen, die personalisierte Inhaltsempfehlungen geben, Systeme zur Entdeckung neuer Arzneimittel durch die Gruppierung chemischer Verbindungen und KI-Systeme, die komplexe Daten (wie Wettervorhersagen und Verhaltensmuster) analysieren, um den Energieverbrauch genau vorherzusagen

Dagegen sollen klassische Softwaresysteme und Programmierungsansätze ausgenommen sein, die lediglich auf vorab durch Menschen definierten Regeln für das Ausführen von Operationen beruhen. Solche Ausnahmen umfassen beispielsweise:

• Einfache Datenverarbeitung: Datenbankverwaltungssysteme, die lediglich zur Sortierung oder Filterung von Daten genutzt werden (z. B. „alle Kunden, die im letzten Monat ein bestimmtes Produkt erworben haben“), sowie Standard-Tabellenkalkulationsanwendungen ohne KI-Funktionen
• Beschreibende Statistik- und Visualisierungssoftware: Software, die etwa Verkaufsberichte (Gesamtumsatz, Trends) visualisiert, Bevölkerungsdurchschnitte berechnet oder statistische Techniken auf Meinungsumfragen anwendet, ohne dabei Empfehlungen oder Vorhersagen aus Lernprozessen abzuleiten
• Klassische Heuristik (regelbasierte Problemlösung): ein klassisches Schachprogramm, das auf einem Minimax-Algorithmus beruht. Es bewertet Stellungen durch vordefinierte Regeln, ohne zuvor aus Daten lernen zu müssen
• Systeme zur Verbesserung der mathematischen Optimierung: Modelle, die lediglich Rechenprozesse oder traditionelle Simulationen beschleunigen, etwa zur Annäherung komplexer atmosphärischer Prozesse in der Physik oder zur Optimierung der Bandbreitenzuweisung bei Satelliten-Telekommunikationssystemen
• Einfache Vorhersagesysteme (Benchmarking): Systeme, die lediglich Mittelwerte schätzen, wie z. B. die Vorhersage künftiger Aktienkurse, der Ladenverkäufe oder der Reaktionszeiten des Kundendienstes anhand rein historischer Durchschnittswerte; ebenso die Nutzung der Durchschnittstemperatur der vergangenen Woche, um die morgige Temperatur vorherzusagen
• Vollständig manuell gesteuerte Systeme: Systeme, die ausschließlich für den Betrieb unter vollständigem manuellem Zutun und Eingreifen des Menschen konzipiert sind und somit keine „Autonomie“ besitzen

Fazit: Angesichts der Regelungsziele der KI-VO ist für die Praxis zu empfehlen, eher von einem weiten Verständnis des Begriffs „KI-System“ auszugehen, sodass jedenfalls moderne KI-Anwendungen, wie ChatGPT, Claude, Gemini & Co., davon erfasst sein dürften.