Algorithmische Entscheidungsfindung und Datenschutz

Arbeitsgruppe Künstliche Intelligenz

Stellungnahme

Februar 2020

Die Arbeitsgruppe Künstliche Intelligenz wurde im Jahr 2019 innerhalb der Kommission für IT-Recht der Rechtsanwaltskammer Istanbul gebildet. Im Mittelpunkt der Arbeitsgruppe stehen die rechtlichen Auswirkungen der künstlichen Intelligenz und der Robotertechnologien.

Die Arbeitsgruppe gibt rechtliche Stellungnahmen zu künstlicher Intelligenz und Robotertechnologien ab und arbeitet in diesem Rahmen mit den anderen Zentren und Kommissionen der Rechtsanwaltskammer Istanbul zusammen. Ein weiteres Ziel der Arbeitsgruppe ist es, die juristische Öffentlichkeit über die technischen und rechtlichen Entwicklungen auf diesem Gebiet zu unterrichten.

Weitere Informationen zur Gruppe: https://www.istanbulbarosu.org.tr/HaberDetay.aspx?ID=15275&Desc=Yapay-Zeka- %C3%87a%C4%9F%C4%B1nda-Hukuk

ZUSAMMENFASSUNG

Anwendungen der künstlichen Intelligenz sind zu einer Technologie geworden, die in unserem Alltag und in unseren Geschäftsprozessen Einzug hält. Da künstliche Intelligenz von Daten lebt, stehen Datenschutz und künstliche Intelligenz in einem notwendigen Zusammenhang. Angesichts der Zunahme von Anwendungen der künstlichen Intelligenz sind Datensätze, die personenbezogene Daten enthalten, zu einer wertvollen Ressource geworden.

Auch algorithmische Entscheidungssysteme sind eines der Anwendungsfelder der KI-Technologie. Sie werden inzwischen im Gesundheitswesen, im Bildungswesen, in der Werbung und in vielen weiteren Branchen eingesetzt. In verschiedenen Geschäftszweigen werden sie gewählt, um Abläufe zu beschleunigen und die Fehlerquote auf ein Mindestmaß zu senken. Sowohl die Privatwirtschaft als auch die öffentlichen Akteure befinden sich dank algorithmischer Entscheidungssysteme in einem positiven Wandel im Hinblick auf Geschäftsentwicklung, Effizienz und Produktivität. Die Risiken, die dieser Wandel birgt, müssen jedoch ebenfalls ermittelt werden. Insbesondere die Vorkehrungen, die im Hinblick auf den Schutz und die Sicherheit personenbezogener Daten zu treffen sind, sind bereits in der Entwurfsphase algorithmischer Entscheidungssysteme zu berücksichtigen.

A. Was ist künstliche Intelligenz?

1.1. Künstliche Intelligenz bezeichnet Maschinen, die die Fähigkeit besitzen, Probleme zu lösen, die Menschen mit der ihnen von Natur aus eigenen Intelligenz lösen.¹ Sie begegnet uns beispielsweise in Gestalt von Anwendungen, die menschliche Sprache verstehen, in virtuellen Spielen gegen andere Spieler antreten und komplexe Daten auswerten.

1.2. KI-Systeme benötigen je nach Komplexität des Modells große Datensätze und können dabei in dem Maße erfolgreich sein, in dem sie mit Daten gespeist werden.

1.4. Die in der KI-Forschung verwendeten Methoden lassen sich in drei Hauptgruppen einteilen:

● Regelbasierte Methoden

● Überwachtes und unüberwachtes maschinelles Lernen aus Daten sowie Deep Learning

● Methoden, die unter Einsatz von Belohnung und Bestrafung mit weniger Daten lernen²

1.5. Regelbasierte Methoden werden auch als Expertensysteme bezeichnet. Regelbasierte Systeme eignen sich besonders zur Lösung routinemäßiger und chronischer Probleme. Zwar liefern regelbasierte Systeme bei bestimmten Problemen eindeutige Ergebnisse; damit aber Probleme gelöst werden können, die im Alltag auftreten können, müssen sämtliche Regeln definiert werden. Da dieser Lösungsweg nicht zeiteffizient ist, ist man dazu übergegangen, anstelle der von Experten aufgestellten Regeln Methoden des maschinellen Lernens und des Deep Learning einzusetzen, die aus Daten lernen.

1.7. Reichen die Daten oder die Rechenleistung nicht aus, lassen sich unter Umständen keine verlässlichen Ergebnisse erzielen. Demgegenüber tritt, insbesondere wegen seiner Erfolge in virtuellen Spielen, das Deep Reinforcement Learning in den Vordergrund.

1.8. KI-Anwendungen begegnen uns im Alltag in Smartphones, in Tablets, in zu Hause genutzten Sprachassistenten, in Smart-Home-Systemen und in fahrerlosen Fahrzeugen.

1.9. Künstliche Intelligenz verändert neben den Produkten auch die Dienstleistungen. Sie wird inzwischen zu unterschiedlichen Zwecken eingesetzt – von der Feststellung der Eignung von Kredit- oder Anlageportfolios über die Priorisierung der Inhalte, die uns in den sozialen Medien begegnen, bis hin zu personalisierten Empfehlungen.

B. Was sind automatisierte Entscheidungssysteme und wo werden sie eingesetzt?

2.1. Automatisierte Entscheidungsfindung³ bezeichnet Entscheidungsprozesse, die ohne jede menschliche Beteiligung auf automatisiertem Wege ablaufen. In diesen Prozessen können unterschiedliche KI-Methoden eingesetzt werden.

2.2. Automatisierte Entscheidungssysteme begegnen uns heute in verschiedenen Bereichen. Zum Beispiel:

● Algorithmen im Gesundheitswesen liefern Krankenhaussystemen prädiktive Analysen, um zu bestimmen, wie die Ressourcen des Gesundheitswesens am besten zu verteilen sind.

● Algorithmen zur Lehrerbewertung werden eingesetzt, um den Einfluss der Lehrkraft auf den Lernerfolg der Schüler zu messen, und zwar auf der Grundlage einer standardisierten Leistungsbewertung und nicht anhand von Faktoren, die den Erfolg beeinflussen, wie individuelle Leistung, familiäres Umfeld oder Berufserfahrung.

● Algorithmen zur Überwachung sozialer Medien sind ein Instrument, das von den Polizeikräften in vielen Bereichen eingesetzt wird. Sie werden verwendet, um Beweise zur Stützung der Begründung einer Verhaftung zu sammeln, potenzielle Straftaten zu erkennen und potenzielle Ereignisse zu ermitteln, die zu Gewalt oder einer anderen nachteiligen Folge führen können.

● Gesichtserkennungsalgorithmen sind eine biometrische Scantechnologie, die in manchen Gebäuden zur Erfassung des Ein- und Ausgangs der Bewohner und Gäste und an Arbeitsplätzen zur Erfassung des Ein- und Ausgangs der Beschäftigten gewählt wird.

● Algorithmen zur automatischen Kennzeichenerkennung sind computergesteuerte Hochgeschwindigkeits-Kamerasysteme, die sämtliche erfassten Kennzeichen sowie Standort, Datum und Uhrzeit des Fahrzeugs und Fotos des Fahrzeugs, seiner Fahrer und seiner Insassen automatisch aufnehmen. Sie werden auch eingesetzt, um vorherzusagen, wo sich ein Fahrer später aufhalten könnte.

● Algorithmen zur Bewertung des Mobbingrisikos an Schulen sind Instrumente, die dazu entwickelt wurden, Schüler zu ermitteln, die an Schulen im Hinblick auf Vorfälle wie Tötungsdelikte und Suizide ein Risiko darstellen können.⁴

C. Welchen potenziellen Nutzen haben algorithmische Entscheidungssysteme?

3.1. Algorithmische Entscheidungssysteme begegnen uns im täglichen Betrieb als Elemente, die sowohl bei der kommerziellen Nutzung und den Marktstrategien als auch beim Schutz personenbezogener Daten und bei der Festlegung wirksamer öffentlicher Politiken eine wichtige Rolle zu spielen beginnen. Hinsichtlich des Nutzens dieser Systeme wird dem auch vom European Parliamentary Research Service zugrunde gelegten Grundsatz gefolgt, die Auswirkungen automatisierter Entscheidungssysteme auf „natürliche Personen“, auf die „Privatwirtschaft“ und auf die „öffentliche Hand“ zu bewerten.⁵

a. Der Stellenwert von Algorithmen in Bezug auf natürliche Personen

„Profiling“ ist eines der grundlegendsten Themen, die im Hinblick auf die Auswirkungen von Algorithmen auf natürliche Personen zu untersuchen sind. Es wird davon ausgegangen, dass es sowohl in der Privatwirtschaft als auch im öffentlichen Kontext – allen voran im Gesundheitswesen, im Bankwesen, im Versicherungswesen und in der Werbebranche – von Bedeutung ist, wenn ein Algorithmus, der sich auf die Ergebnisse der auch in Art. 22 der Datenschutz-Grundverordnung („DSGVO“)⁶ genannten Profiling-Anwendungen stützt, die Entscheidungsprozesse durchführt, die die betroffenen Personen betreffen.⁷ Danach wird erwartet, dass ein System, in das zutreffende Daten eingegeben wurden, in das die Grundsätze des privacy by design⁸ eingearbeitet sind und das den Prozess des maschinellen Lernens ordnungsgemäß abgeschlossen hat, Personen und Sachverhalte frei von den diskriminierenden Praktiken beurteilen kann, die in den Beziehungen zwischen natürlichen Personen vorkommen können. In der Praxis wird die Auffassung vertreten, dass die Entwicklung von Algorithmen nach Art von Correctional Offender Management Profiling for Alternative Sanctions⁹ („COMPAS“) den Grundsätzen der Gleichheit und der Unparteilichkeit unter den Prinzipien des Strafrechts und der Menschenrechte zugutekommen kann und dass der Einsatz dieser Systeme etwa im Hinblick auf die Funktion der Polizei eine ausgleichende Rolle spielen kann¹⁰.

Hervorzuheben ist, dass ein weiterer zu würdigender Gesichtspunkt darin liegt, dass ein Algorithmus, der es ermöglichen kann, die ohne Einwilligung erfolgende Erhebung, Verarbeitung und Weitergabe personenbezogener Daten festzustellen, auch Schritte zur Anonymisierung oder Vernichtung der von der Verletzung betroffenen Daten einleiten könnte. Offenkundig ist, dass ein Algorithmus, der die Beziehung zwischen Daten und Erzeugnis herzustellen vermag und bei dem die Ergebnisse von Deepfake¹¹ als Quelle dienen – eines der aktuellsten Beispiele hierfür, das auf Inhaltsmanipulationen beruht, die vom Echten nur sehr schwer zu unterscheiden sind –, sowohl im Datenschutz als auch im Bereich der öffentlichen Ordnung seinen Platz finden wird.¹²¹³

Dass automatisierte Entscheidungssysteme, deren Nutzen sich seit einiger Zeit auch im Gesundheitswesen zeigt, in der Bildgebung, in der Diagnostik¹⁴ und sogar bei Operationen eingesetzt werden, in personalisierten Behandlungsverfahren¹⁵ ihren Platz gefunden haben und geringe Fehlerquoten aufweisen, zeigt, dass der Einsatz von Algorithmen in der Welt der Medizin einen bedeutenden Stand erreicht hat.

b. Die Zukunft der Algorithmen in der Privatwirtschaft

Die Privatwirtschaft ist ein Bereich, in dem Stellenwert und Bedeutung automatisierter Entscheidungsdienste gut verstanden worden sind. Sie greift unter Hauptgesichtspunkten wie der Analyse und Verarbeitung großer Datenmengen (bulk) durch Personen und Einrichtungen, der Automatisierung von Verwaltungsabläufen, der Gewährleistung der Unternehmenskontrolle sowie der Anwendung von Mechanismen der Geschäftsentwicklung auf der Grundlage von Produktivitäts- und Effizienzanalysen auf die Unterstützung durch Algorithmen zurück und kann mit unterstützenden Programmen¹⁶, die den Verwaltungsräten beratungsähnliche Entscheidungsdienste bieten, die Dynamik eines Unternehmens verändern. Als der Punkt, auf den algorithmische Entscheidungsmechanismen in der Privatwirtschaft im Kern einwirken, lässt sich anführen, dass ein Vorgang, den Büroangestellte in geistiger Routinearbeit unter Aufwendung von Stunden und Tagen und dennoch nur mit einer ungewissen Fehlerquote zum Abschluss bringen, innerhalb von Minuten analysiert und mit einem Fahrplan versehen werden kann. Die Struktur der Weltwirtschaft, in der die Geschwindigkeit des Handels der bestimmende Faktor ist, birgt das Potenzial, diejenigen privaten Einrichtungen und Personen nach vorn zu bringen, die auf die Unterstützung durch Algorithmen zurückgreifen. Die Neuerung, die Gesichtserkennungssysteme insbesondere zur Beseitigung von Sicherheitslücken im Bankensektor gebracht haben;¹⁷ die Geschwindigkeit, die die Prüfung und Überarbeitung von Verträgen freiberuflichen Rechtsanwälten und Anwaltssozietäten verschafft;¹⁸ Algorithmen, die durch die Auswertung von Rechtsprechung und durch Marktanalysen branchenbezogen wirksame Ergebnisse liefern können;¹⁹ der Umstand, dass gut trainierte Personalalgorithmen, wenngleich sie sich noch in der Entwicklung befinden, die Lebensläufe der zur Unternehmenskultur am besten passenden Bewerber mit einem auf Gleichbehandlung gerichteten Ansatz bewerten können;²⁰ das Vorhandensein von Börsenalgorithmen und Ähnlichem – all dies vermittelt eine Vorstellung von der Vision der disruptiven und innovativen Bewegung in der Privatwirtschaft.

c. Algorithmen in den inneren und äußeren Abläufen der öffentlichen Hand

Der Einsatz von Algorithmen im öffentlichen Bereich kann zwar unter verschiedenen Gesichtspunkten Gegenstand von Diskussionen sein, erscheint aber angesichts des Nutzens, den er bietet und voraussichtlich bieten wird, als ein Ansatz, an dem festzuhalten ist. Wie weit künstliche Intelligenz mit Unterstützung der öffentlichen Gewalt gelangen kann, tritt als eines der Themen hervor, die auch in den Parlamenten bereits erörtert worden sind²¹ und für die Beispiele derzeit verwirklicht werden²². Innerhalb der öffentlichen Dienste gehören zu den Leistungen, bei denen der Einsatz von Algorithmen einen Unterschied machen wird, in erster Linie folgende Themen: dass die Institutionen bei sanktionsbezogenen Streitigkeiten – etwa beim Ansatz des präventiven Strafrechts in Polizei und Justiz – offen, zugänglich und rechenschaftspflichtig werden; dass öffentliche Dienste wie Gesundheit, Wasser, Energie und dergleichen kostengünstig und frei von operativen Fehlern erbracht werden können; dass die Maßnahmen, die bei epidemischen Geschehen wie dem Coronavirus zu ergreifen sind, wirksam gestaltet werden können²³; dass anhand der Verkehrsdaten innerhalb der städtischen Ordnung Krisenmanagement betrieben wird²⁴. In Fragen wie der Terrorismusbekämpfung und der Herstellung der öffentlichen Sicherheit treten automatisierte Entscheidungssysteme als eine Methode der Terrorismusabwehr hervor, die von Polizeikräften und militärischen Einheiten zu Zwecken der Aufklärung und des Eingreifens bereits weltweit angewandt wird²⁵. Bedenkt man, dass Cyberangriffe, die eine weitere Bedrohung der öffentlichen Sicherheit darstellen, weit schwerere materielle und immaterielle Verluste verursachen können als eine physische Rakete, so wird der Mehrwert, den ein Algorithmus, der die Initiative zu entfalten vermag, einen Angriff zu erkennen²⁶ und abzuwehren, in unserer Welt, in der die Cybersicherheit von Tag zu Tag an Bedeutung gewinnt²⁷, der öffentlichen Ordnung bieten kann, von bemerkenswerter Tragweite sein – zumal dann, wenn er das Fehlerpotenzial des Faktors Mensch im Bereich der Cybersicherheit ausschalten kann²⁸.

Ç. Welche Risiken bergen automatisierte Entscheidungssysteme?

4.1. Wie alle technologischen Entwicklungen bieten auch die Entwicklungen der KI-Technologien der Menschheit einerseits große Erleichterungen, bergen andererseits aber auch einige ernste Risiken für die Grundrechte und Grundfreiheiten. KI-Technologien, die darauf beruhen, dass informationstechnische Systeme immer mehr Daten verarbeiten, daraus aussagekräftige Schlüsse ziehen und so Entscheidungen treffen, bringen zwangsläufig auch die Verarbeitung personenbezogener Daten und die damit verbundenen Probleme mit sich.

4.2. Die Probleme, die KI-Technologien im Hinblick auf personenbezogene Daten aufwerfen werden, sind im Folgenden aufgeführt:

● die Erhebung „aller personenbezogenen Daten“ oder „möglichst vieler personenbezogener Daten“ im Zusammenhang mit dem Bedarf an großen Datenmengen (big data),

● der Umstand, dass vorhandene Daten weiterem Lernen und weiterer Analyse unterzogen und aus diesen Daten neue Daten abgeleitet werden,

● der Umstand, dass Daten, die in einem bestimmten Zusammenhang und/oder durch eine bestimmte Verarbeitungstätigkeit gewonnen wurden, für anfangs unbekannte und sehr unterschiedliche Zwecke verarbeitet werden können und dass sich wegen der Unvorhersehbarkeit der künstlichen Intelligenz nicht verhindern lässt, dass die Verarbeitungszwecke der Daten neu bestimmt oder die Daten unter Verstoß gegen den Grundsatz der Zweckbindung für allzu viele Zwecke verarbeitet werden,

● der zunehmende Einsatz automatisierter Entscheidungsmechanismen.

4.3. In dieser Hinsicht ist künstliche Intelligenz ein Gebilde, das darauf abzielt, durch die Verarbeitung großer Datenmengen mit vielfältigen Methoden zu zutreffenden Analysen zu gelangen und Lerntechniken weiterzuentwickeln. Die Beobachtung und Verarbeitung großer Datenmengen, der Umstand, dass künstliche Intelligenz diese Tätigkeit in sehr kurzer Zeit ausführen kann, und der Umstand, dass sich Schlussfolgerungen mit sehr hoher Trefferquote gewinnen lassen, können für die Verwirklichung des Rechts auf Schutz personenbezogener Daten und des Diskriminierungsverbots ein großes Problem darstellen. Andererseits werden KI-Systeme von Menschen und für Menschen entwickelt. Technologien so zu entwickeln, dass ihre Risiken im Voraus bestimmt werden, dient der Verbesserung der menschlichen Lebensbedingungen. Entwicklungen dürfen nicht um der Risiken willen gehemmt werden; Fortschritte sind vielmehr im Bewusstsein der Risiken und unter Ergreifung der erforderlichen Maßnahmen zu erzielen. Denn der Widerstand gegen Entwicklung und Neuerungen wird das Tempo dieses Wandels nicht bremsen.

Empfehlungen:

● Bei der Entwicklung und Nutzung von KI-Technologien, die Auswirkungen auf den Einzelnen und die Gesellschaft haben können, und insbesondere in den Prozessen der Entscheidungsfindung / Datenanalyse sind die grundlegenden Menschenrechte und vor allem das Recht auf Schutz personenbezogener Daten zugrunde zu legen. Prozesse und Software sind aus der Perspektive des Datenschutzes zu gestalten.

● An der Entwicklung von Systemen mit künstlicher Intelligenz wirken noch vor den Computern Menschen mit. Daher sind die erforderlichen technologischen Investitionen zu tätigen; die Risiken der Verarbeitung personenbezogener Daten zu vermeiden und diese Risiken zu beseitigen, muss der grundlegende Ansatz sein.

● Die Risikobewertung (Folgenabschätzung) bei der Datenverarbeitung ist unter Berücksichtigung der Besonderheiten der künstlichen Intelligenz und von Big Data mit größerer Sorgfalt vorzunehmen.

● In allen Verarbeitungsphasen einschließlich der Datenerhebung ist der Grundsatz des Datenschutzes durch Technikgestaltung (data protection by-design) zu beachten; insbesondere ist sicherzustellen, dass die künstliche Intelligenz keine Voreingenommenheiten aufweist, die auf eine Diskriminierung hinauslaufen können.

● Alle Entwickler müssen Art, Beschaffenheit, Herkunft und Menge der zu verarbeitenden personenbezogenen Daten prüfen; unnötige und übermäßige Verarbeitungstätigkeiten sind zu unterbinden. In diesem Zusammenhang können als synthetische Daten bezeichnete repräsentative Daten, die echte personenbezogene Daten nachbilden, eine wirksame Lösung sein.

● Wer künstliche Intelligenz entwickelt, verkauft und nutzt, muss für die Datenverarbeitung durch die künstliche Intelligenz in jeder Phase und in jedem Prozess einen rechenschaftsfähigen Algorithmus einrichten und festlegen, wem die Verantwortlichkeiten zukommen (wer der Verantwortliche sein wird).

Istanbul, 2020

Doz. Dr. Murat Volkan Dülger

Rechtsanwältin Selin Çetin

Rechtsanwaltsanwärter Celal Duruhan Aydınlı