Der Europäische Datenschutzbeauftragte stellt seine „Checkliste zum menschlichen Eingriff bei der automatisierten Entscheidungsfindung“ (engl.: Automated decision-making, ADM) bereit. Diese gilt zwar primär, aber eben nicht ausschließlich für EU-Institutionen.
Die Verarbeitung personenbezogener Daten durch Systeme, die die Entscheidungsfindung automatisieren (engl.: Automated decision-making, ADM) und dabei nur begrenzt oder gar nicht auf menschliches Eingreifen zurückgreifen, kann erhebliche Auswirkungen auf die Grundrechte und Grundfreiheiten von Personen haben. Dies gilt insbesondere dann, wenn diese Entscheidungen rechtliche Auswirkungen haben oder Personen erheblich beeinträchtigen können. Dabei geht es nicht selten um Fälle, in denen Voreingenommenheit oder Systemfehler zu Diskriminierung, Ungleichbehandlung oder anderen nachteiligen Folgen führen könnten. Dementsprechend sollten solche Systeme mit geeigneten Governance-Maßnahmen eingesetzt werden, um ihre rechtmäßige, faire und rechenschaftspflichtige Nutzung sicherzustellen. Die Checkliste des Europäischen Datenschutzbeauftragten (engl.: European Data Protection Supervisor, EDPS) ist in zwei Abschnitte unterteilt und enthält die wesentlichen Punkte in Bezug auf ADM.
Hinweis:
Die Checkliste kann zwar die Rechenschaftspflicht der Verantwortlichen unterstützen, ist jedoch nicht als formelles Instrument zur Bewertung der Einhaltung von Vorschriften konzipiert. Ihr Ziel ist es vielmehr, die Merkmale aufzulisten, die Mechanismen zur menschlichen Überwachung aufweisen könnten, um so effektiv wie möglich zu sein.
Eine immens wichtige Kontrollmaßnahme ist die menschliche Aufsicht. Unter menschlicher Aufsicht versteht man die aktive Einbindung von Menschen in die sinnvolle Überwachung des Betriebs von ADM-Systemen, die Bewertung der Systemergebnisse und, falls erforderlich, das Eingreifen (z. B. durch Übersteuerung, Aussetzung oder Nichtberücksichtigung eines automatisierten Ergebnisses). Dies gilt insbesondere für solche Fällen, in denen das System ein fehlerhaftes, voreingenommenes oder unangemessenes Ergebnis liefert.
Abschnitt 1
Die Kontrollmaßnahmen in diesem Abschnitt gelten allgemein für jedes System, dessen Entscheidungen oder Empfehlungen Auswirkungen auf Einzelpersonen haben können:
- Governance: Dokumentierte menschliche Aufsicht und Rechenschaftspflicht
- Anwenderschulung: Die Anwender werden auf die Nutzung von Entscheidungsunterstützungssystemen vorbereitet
- Verantwortlichkeit: Fehler lösen systemweite Überprüfungen aus, nicht die Suche nach Sündenböcken
- Engagement: Die Überwachung wird als Sicherheitsmaßnahme und nicht als reine Formalität betrachtet
- Erklärbarkeit: Entscheidungen sind für die Nutzer ausreichend nachvollziehbar, um sie bewerten zu können
- Vier-Augen-Prinzip: Entscheidungen mit weitreichenden Folgen werden von mehr als einem Nutzer überprüft
- Rückkopplungsschleifen: Betroffene Personen können Feedback geben, das anschließend wieder in das System integriert wird
- Fachkompetenz: Die Nutzer verfügen über Qualifikationen im jeweiligen Fachgebiet
- Kritisches Bewusstsein: Schulungen und Protokolle verhindern blindes Vertrauen in die Automatisierung
Abschnitt 2
Die Kontrollmaßnahmen in diesem Abschnitt gelten, wenn es Personen (Nutzer) gibt, die für die Überwachung von ADM-Systemen verantwortlich sind und die Befugnis haben, in deren Funktionsweise einzugreifen (z. B. das System anzuhalten oder Entscheidungen zu ignorieren):
- Berechtigung: Die Nutzer verfügen über die erforderlichen Befugnisse zur Erfüllung ihrer Aufgaben
- Zeit für die Überprüfung: Die Überwachungsaufgaben werden mit realistischen Zeitrahmen zugewiesen
- Gestaltung der Benutzeroberfläche: klar, intuitiv, vermeidet Überlastung und ermöglicht schnelles Eingreifen
- Auditierung: Regelmäßige interne und externe Audits umfassen technische sowie menschliche Faktoren
- Hilfsmittel zur Wachsamkeit: Simulierte Anomalien und Kontrollpunkte halten die Aufmerksamkeit der Bediener aufrecht
- Stichprobenverfahren: Auswahl einer Teilmenge von Entscheidungsprotokollen zur Prüfung
Fazit: Die EDPS-Checkliste enthält wichtige Aspekte, die EU-Institutionen als Grundlage zur Selbsteinschätzung nutzen können, um den Reifegrad der in ihren ADM-Systemen angewandten Maßnahmen zur menschlichen Aufsicht zu bewerten. Aber auch für andere Behörden und Unternehmen liefert diese Checkliste des Europäischen Datenschutzbeauftragten wertvolle Hinweise für den Betrieb solcher Systeme.
