Algorithmenethik

Die sozialen Rankings des österreichischen Arbeitsmarktservice (AMS), das Social Scoring in China, die Unfälle mit autonom fahrenden Fahrzeugen (nein, das Trolley-Problem ist hier nicht das Hauptproblem), die automatische Steuerung von Verkehrsanlagen, in diesen und vielen anderen Fällen beeinflussen von Computern ausgeführte Algorithmen im Verborgenen unser tägliches Leben. Die gesellschaftlichen Auswirkungen dieser Systeme geraten erst langsam in das allgemeine Bewußtsein.

Organistationen wie Algorithm Watch beobachten Prozesse algorithmischer Entscheidungsfindung (algorithmic decision making, siehe das ADM-Manifest) kritisch.

Beteiligungsprozess Gütekriterienkatalog für den Einsatz von algorithmischen Systemen

Der Think Tank iRights.Lab führt zur Zeit (November/Dezember 2018) im Auftrag der Bertelsmann Stiftung das Projekt #algorules durch, in dem ein Gütekriterienkatalog für den Einsatz von algorithmischen Systemen erarbeitet werden soll, der auf den Ergebnissen anderer Arbeitsgruppen (vor allem aus den USA) sowie auf den Ergebnissen eines Expert:innenworkshops (sic) basiert. Hierzu führt iRights.Lab auch eine Umfrage durch.

Ich habe mit der Umfrage, konkreter mit den in ihr vertretenen Kriterien und Thesen (die auch an den Antwortmöglichkeiten erkennbar sind) einige grundlegende Probleme, angefangen damit, daß die eigentliche Fragestellung nicht klar herausgearbeitet ist.

Im Rahmen der Umfrage kann ich diese Probleme (auch aufgrund eines Zeichenlimits von 500 Zeichen für Freitextfelder) nicht sinnvoll darstellen, daher hier etwas ausführlicher.

Algorithmische Systeme

Bevor ich mit der Umfrage beginne, stellt sie mir zunächst das Ziel vor: einen Gütekriterienkatalog für algorithmische Systeme zu entwickeln. Sie vergleicht dies mit dem Pressecodex für den Journalismus oder dem Hippokratischen Eid in der Medizin.

In der Umfrage werden neben der DSGVO-Zustimmung dann zunächst einige statistische Daten abgefragt, bevor die erste inhaltliche Frage folgt: mir werden „Gütekriterien für die Gestaltung und den Einsatz algorithmischer Systeme“ vorgestellt.

Was sind nun „algorithmische Systeme“? Wenn ich sehr aufmerksam war, dann habe ich auf der Einleitungsseite der Umfrage den Link „für den Einsatz von algorithmischen Systemen“ entdeckt und auch angeklickt. Ich hätte dort erfahren:

• Algorithmen sind „eindeutige Handlungsvorschriften zum Lösen eines vorab definierten Problems“.
• „Algorithmische (Entscheidungs-)Systeme dienen der Lösung eines spezifischen Problems. Sie umfassen als Software unter anderem die Ein- und Ausgabedaten, eine Operationalisierung des zu lösenden Problems und den Algorithmus selber.“
• „Der Prozess algorithmischer Entscheidungsfindung beschriebt (sic) die Gesamtheit aus algorithmischem System und seiner gesellschaftlichen Einbettung: Das System wird in bürokratische oder organisatorische Verfahren eingebettet, […]“

Es geht also um den Einsatz und die Gestaltung von Systemen, die der Lösung eines spezifischen Problems dienen und auf Algorithmen, also eindeutigen Handlungsvorschriften, basieren. Die Gütekriterien hierfür sollen gewährleisten, daß „Werte wie Handlungsfreiheit, Gleichberechtigung, Solidarität, Vielfalt, Teilhabe und Wertepluralismus […] durch algorithmische Systeme gestärkt, nicht eingeschränkt werden“.

Diese Systeme kennen wir im Grunde schon ziemlich lange, Bürokratien mit Dienstanweisungen sind solche Systeme. Trotzdem denken wir wohl zunächst an computergestützte Systeme, wenn wir von Algorithmen reden. Die Vorstellung ist im Kontext dieser Umfrage wohl ungefähr: Ich habe eine Black Box, also eine schwarze Schachtel, da schiebe ich auf der einen Seite irgendwelche Daten rein, dann arbeitet da drin ein Mechanismus und am Ende kommt ein Ergebnis raus.

Ein solches System ist beispielsweise eine Suchmaschine wie Google. Die Eingabe besteht aus Millionen von Webseiten, aus denen ein Index erstellt wurde, sowie aus einem von mir angegebenen Suchbegriff sowie weiteren über mich gespeicherten Daten. Ausgabe sind die aus Sicht der Suchmaschine für mich und meine Suchanfrage am besten passenden Seiten (zuzüglich etwas thematisch abgestimmter Werbung).

Ein weiteres bekanntes Beispiel ist die SCHUFA-Auskunft: (vor allem finanzielle) Informationen über mich bilden die Eingabe, daraus wird ein Score berechnet, der meine Kreditwürdigkeit beschreibt.

Mathematisch ist das eine Funktion, also eine Abbildung von Eingaben auf Ausgaben, wir nennen das auch Formel. Ich kann das auch Algorithmus nennen, aber das ist eigentlich irreführend. Ein Algorithmus beschreibt, wie, also mit welchem Vorgehen aus einer Eingabe eine Ausgabe wird, für den Anwender ist aber vor allem relevant, welche Eingabwerte zu welcher Ausgabe führen. Sortieralgorithmen verwandeln eine unsortierte Liste in eine sortierte Liste. Es gibt viele unterschiedliche Sortieralgorithmen, die sich in ihrer Arbeitsweise unterscheiden und daher unterschiedlich viel Zeit und Speicher benötigen. Sie liefern aber alle die gewünschte sortierte Liste. Und solange sie das identische Ergebnis liefern, ist es in vielen Fällen egal, welcher konkrete Algorithmus genutzt wurde.

Ich vermute, daß der Think Tank eine bestimmte, eher eingeschränkte, nicht unbedingt mit der von ihm selbst angegebenen Definition übereinstimmende Vorstellung von Algorithmus, vor allem aber von algorithmischen Systemen hat, dies aber nie sauber rausarbeitet, was im Folgenden noch zu Problemen führt.

Viele Fragen der Umfrage wirken so, daß sie sich auf die oben erwähnten Prozesse algorithmischer Entscheidungsfindung (ADM) beziehen, nicht auf ihre eigene Definition algorithmischer Systeme, sie sagen dies aber nie klar.

Kriterien

Zurück zu den Gütekriterien.

1. Kriterium: Kompetenz aufbauen

„Die Funktionsweisen und Wirkungen von Algorithmen müssen verstanden werden. Diejenigen, die algorithmische Systeme entwickeln und einsetzen, müssen über ein Grundverständnis der Funktionsweise und potenzielle Auswirkungen der Technologie verfügen. Die Weitergabe von individuellem und institutionellem Wissen, aber auch der interdisziplinäre Austausch innerhalb von Organisationen sind dafür maßgeblich.“

Klingt auf den ersten Blick ganz toll. Leider nur auf den ersten Blick.

Der erste Satz steht im passiv. Etwas muß verstanden werde. Von wem wird nicht gesagt. Bezieht sich das auf die Programmiererin, den Manager, die Entscheider und Sachbearbeiter, Betroffene, Bürger, Menschen, …? Nun, im nächsten Satz heißt es: „diejenigen, die algorithmische Systeme entwickeln und einsetzen“, die müssen nun über ein „Grundverständnis der Funktionsweise und potenzielle Auswirkungen der Technologie verfügen“. Das macht die Sache für mich nicht klarer, ich bin jetzt erst recht irritiert.

Da entwickelt jemand ein algorithmisches System. Er muß die Funktionsweise der „Technologie“ verstanden haben. Was ist die „Technologie“? Ist damit das „algorithmische System“ gemeint? Die eingesetzten Algorithmen? Wie sollte er es denn entwickeln können, wenn er das nicht verstanden hat? Oder ist mit Entwickler nicht die Informatikerin gemeint, der das System baut, sondern der Manager, der entscheidet, daß es gebaut werden soll?

Sind diejenigen, die „Technologie“ verstehen müssen, die gleichen, die auch Algorithmen (erster Satz) verstehen müssen? Wenn ja: wieso brauchen genau diese ein solches Verständnis und andere (z.B. Gesetzgeber, Betroffene, …) nicht? Wenn nein: wieso brauchen diese anderen ein Verständnis für Algorithmen, aber nicht für algorithmische Systeme?

Funktionsweise eines Algorithmus

Was genau bedeutet es, die Funktionsweise eines Algorithmus zu verstehen? Wir raten unseren Informatikstudierenden die Vorlesung über Algorithmen und Datenstrukturen frühestens im zweiten Semester zu hören, da ihnen sonst die Grundlagen zum Verständnis etwas anspruchsvollerer Algorithmen fehlen. Andererseits führen wir Nachwuchsprojekte durch, in denen wir mit Kindern unterschiedliche Sortieralgorithmen erarbeiten. Grundsätzlich ist dieses Verständnis also vermittelbar.

Wie schon oben angedeutet ist ein Verständnis auf dieser Ebene für eine Bewertung nicht unbedingt nötig. Wichtig ist, ein Modell zu haben, welche Eingaben zu welchen Ausgaben führen, also z.B. welche meiner finanziellen Transaktionen werden mein SCHUFA-Scoring wie beeinflussen? Beispielsweise hieß es lange ich könne mein SCHUFA-Scoring dadurch verbessern, daß ich viele Minikredite aufnähme und diese pünktlich zurückzahlte. Ebenso sollte ich in ein Stadtviertel ziehen, in dem viele andere Menschen mit gutem Scoring wohnten. Ich habe keine Ahnung, ob diese Tips heute noch funktionieren oder jemals funktioniert haben – die SCHUFA hält ihre Formel geheim (das Projekt OpenSCHUFA möchte dies ändern).

Hinter vielen dieser Formeln (Algorithmen) steckt ziemlich viel Mathematik, sie sind ohne mathematischen Hintergrund kaum verständlich. Gerade Scoring-Verfahren basieren häufig auf komplexen statistischen Maßen, und wer schon einmal eine BWL-Statistik-Klausur korrigiert hat, weiß, mit welch überschaubaren Verständnis wir hier selbst bei denen rechnen können, für die es Teil des Studiums war.

Selbstlernende Systeme extrahieren aus großen Datenmengen Muster und Gesetzmäßigkeiten und wenden diese auf neue Daten an. Dies kann genutzt werden, um Verkehrszeichen zu erkennen oder ängstliche von freudigen Gesichtsausdrücken zu unterscheiden. Allerdings wissen wir beispielsweise bei einem neuronalen Netz nicht, was für Kriterien es genau gelernt hat, welche Entscheidungen es also eigentlich fällt, und welche Vorurteile darin verborgen sind.

Die Funktionsweise von Systemen wie beispielsweise autonom fahrenden Autos werden von fast allen Anwendern selbstverständlich nicht mehr verstanden. Vor weit über einem Jahrhundert war es nötig zu verstehen, wie ein Motor funktioniert und wie man diesen repariert, um ein Auto nutzen zu können. Heute arbeiten in einem gewöhnlichen Auto zahlreiche Computer, die unzählige unterschiedliche Algorithmen abarbeiten, und die direkt in das menschliche Handeln eingreifen, vom ABS bis hin zu den zahlreichen Airbags, die von bestimmten Werten der Beschleunigungssensoren ausgelöst werden. Wie dies genau funktioniert weiß kaum jemand, und das ist für die meisten Autofahrer auch nicht nötig.

Wirkungen

Weiterhin sind wir gefordert, nicht nur die Funktionsweise sondern auch die „Wirkungen von Algorithmen“ bzw. „potenzielle Auswirkungen der Technologie“ zu verstehen. Die Wirkung eines Algorithmus ist die Abbildung von Eingabedaten auf Ausgabedaten, gemeint ist hier also wohl etwas anderes. Ich vermute, wir sollen wie oben diskutiert verstehen, welche Eingaben zu welchen Ausgaben führen, aber auch, was dies für Folgen auf das Gesamtsystem bzw. die Betroffenen (und die Gesellschaft) hat.

Die direkten Folgen eines Algorithmus auf das direkte umgebende Systems sind relativ klar: wenn der Computer dem Arbeitsamtmitarbeiter sagt, jemand solle eine Weiterbildung bekommen, dann wird der Mitarbeiter diese genehmigen, andernfalls nicht. Das ist so gewollt. Gleichzeitig ist dies problematisch, wie ich unten erkläre, und Kompetenzerwerb kann hier durchaus helfen.

Abzuschätzen, was für weitergehende Folgen das Gesamtsystem für Mitarbeiter, Betroffene, Gesellschaft hat, ist eine Frage der Technikfolgenabschätzung, die von Profis (meist Techniksoziologen) durchgeführt werden muß. Die aufgestellte Forderung nach einem Grundverständnis der potenziellen Auswirkungen eines Systems bei Entwicklern und Einsetzenden ist gut gemeint aber unrealistisch.

Kritik

Ja, ich halte Kompetenz für sehr wesentlich: ich sollte Werkzeuge nur benutzen, wenn ich sie verstanden habe. „Kompetenz aufbauen“ ist allerdings unzureichend beschrieben und nicht wirkungsvoll.

• Die Begriffe sind nicht klar definiert bzw ihre Nutzung paßt nicht zur angegebenen Definition (Algorithmus, algorithmisches System), und was ist mit „Technologie“ gemeint?
• Die Handelnden sind nicht klar benannt und ausdifferenziert.
• Was ist mit Funktionsweise genau gemeint?
• Welche Art von Wirkung soll verstanden werden?

Begriffliche Klarheit wäre hier hilfreich.

Vor allem aber: „Kompetenz aufbauen“ ist kein „Gütekriterium für algorithmische Systeme“. Wir erinnern uns, nach der angegebenen Definition ist ein Algorithmisches System ein Stück Software. Ein Gütekriterium ist ein Merkmal, an dem ich die Qualität eines Systems – also dieser Software – messen kann. Die Kompetenz derjenigen, die diese Software geschaffen haben, kann ein Hinweis auf die technische Qualität der Software sein, aber diese kann problemlos sehr menschenfeindlich und technokratisch sein, als Kriterium zur Bewertung des Softwaresystems nützt mir dieses Kriterium also gar nichts.

Erst wenn wir diejenigen, die entsprechende Systeme einsetzen, als Teil des Gesamtsystems begreifen, kommen wir zu sinnvollen Forderungen. Für den Teilbereich der Prozesse algorithmischer Entscheidungsfindung (ADM) umfassen diese beispielsweise:

• Diejenigen, die diese Systeme nutzen, um Entscheidungen zu treffen (beispielsweise Sachbearbeiter), müssen verstehen
  • auf Grundlage welcher Daten die Software zu welchen Entscheidungen kommt,
  • welche Fehler dabei passieren, wie wahrscheinlich diese sind.
• Sie müssen die nötigen Fähigkeiten, Werkzeuge und die nötige Arbeitszeit zur Verfügung haben, die Ergebnisse der Software im Einzelfall überprüfen zu können.
• Sie dürfen keine beruflichen Nachteile daraus haben, wenn sie sich entscheiden, solche Überprüfungen durchzuführen.
• …

Hierzu sind kompetente Mitarbeiter nötig, die zudem ausführlich geschult werden müssen. Ob diese Forderungen in der Praxis auch nur im Ansatz realistisch sind, lasse ich an dieser Stelle offen.

2. Kriterium: Verantwortung zuweisen

„Für die Wirkungen eines algorithmischen Systems muss eine natürliche Person verantwortlich sein.
Dafür ist es notwendig, dass der entsprechenden Person ihre Verantwortung und die damit verbunden Aufgaben bewusst sind. Die ihr zugewiesene Verantwortung ist zu dokumentieren und die entsprechende Person muss von außen erkennbar sein. Sie muss stets in der Lage sein, Prozesse umzukehren und Entscheidungen neu zu treffen. Weder kann eine Maschine diese Verantwortung übernehmen, noch darf die Haftung auf die Nutzer*innen abgewälzt werden. Liegt eine geteilte Verantwortung etwa durch mehrere Personen oder Organisationen vor, gelten analog die üblichen rechtlichen Regelungen der Zuschreibung von Verantwortung.“

Klingt gut. Das war es aber auch weitgehend. Der anfängliche Verdacht, daß keineswegs alle Algorithmischen Systeme gemeint sind, erhärtet sich hier. Alle Systeme, bei denen aus der Entscheidung direkt eine Handlung folgt, ohne daß noch ein Mensch zwischengeschaltet wird, sind hier schon mal raus: das Algorithmische System, das eine Entscheidung trifft, aufgrund derer das autonome Auto in den Abgrund stürzt, kann hier nicht gemeint sein, dieser Prozeß ist nicht umkehrbar, diese Entscheidung kann nicht neu getroffen werden. Hier wird klarer, es geht um das Gesamtsystem eines Prozesses algorithmischer Entscheidungsfindung.

Die erste Forderung müßte also lauten, daß zwischen der durch die Software generierten Entscheidung und der Auswirkung der Entscheidung immer eine Person sitzen muß, die diese Entscheidung verantwortlich prüft. Doch was hieße dies in der Praxis? Wenn mir der Bankautomat nachts kein Geld auszahlt, weil die Banksoftware aufgrund irgendwelcher Kriterien einen Betrugsversuch vermutet, kann das für mich durchaus negative, nicht umkehrbare Folgen haben. Soll es diese Systeme nicht mehr geben dürfen? Denn für diese Systeme kann die Forderung nicht funktionieren.

In allen anderen Fällen beschreibt das Kriterium im Grunde Forderungen an eine Bürokratie. Für mich als Betroffenen ist es egal, ob eine Mitarbeiterin aufgrund der Befolgung von Dienstanweisungen oder aufgrund der Ausgabe eines Computersystems eine Entscheidung fällt. Wenn mir eine Maßnahme der Agentur für Arbeit, eine Steuerfestsetzung, eine Vertragsänderung meines Mobilfunkanbieters, die Ablehnung eines Garantiefalls etc. mißfällt, so brauche ich einen Ansprechpartner, ein Verantwortlicher nützt mir da gar nichts. Ich habe es noch nie erlebt, daß beispielsweise ein Arbeitsagenturmitarbeiter, der sich an die Vorschriften gehalten hat, von einer Arbeitssuchenden persönlich verantwortlich gemacht werden konnte. Im Gegenteil, Ärger gibt es erst, wenn ein Bearbeiter eigenständig Entscheidungen trifft, und sich nicht an die Vorschriften hält, ganz egal, ob diese in Dienstanweisungen oder Ausgaben von Computerprogrammen bestehen.

Der surrealen, nicht greifbaren Bürokratie, wie schon in Franz Kafkas Der Prozeß (1915) beschrieben, etwas konkretes – nämlich eine verantwortliche Person – entgegenzusetzen, ist sinnvoll, das Problem ist aber offensichtlich älter als der Einsatz von Computern, und muß auf einer anderen Ebene gelöst werden.

Wer sollte denn die „natürliche Person“ sein, die „für die Wirkungen eines algorithmischen Systems“ verantwortlich ist? Der Programmierer? Die Managerin, die es bestellt hat? Oder der Sachbearbeiter, der als Ansprechpartner auf den tausenden automatisch verschickter Mahnungen steht? Wie soll derjenige dies im Wortsinne verantworten? Entweder er kann sich bezüglich der Entscheidungen auf die Ausgaben des Computersystems verlassen und wird nicht persönlich verantwortlich gemacht, wenn diese falsch sind, oder er kann dies nicht, muß also alle Entscheidungen mit der gleichen Sorgfalt prüfen, die er auch ohne das Computersystem an den Tag legen müßte, ich kenne keine Bürokratie, ob in Firmen oder Behörden, die bereit ist, diesen Mehraufwand zu bezahlen.

Glaubt irgendwer wirklich, daß die Zeile „Dieser Bescheid wurde maschinell erstellt und ist daher auch ohne Unterschrift gültig“ aufgrund so einer Forderung wieder verschwinden wird?

Hier wird der Begriff „Verantwortung“ sehr seltsam benutzt. Ja, ich brauche ein Verfahren, um bürokratische Entscheidungen (egal ob maschinell erstellt oder nicht) in Frage stellen zu können, und ein direkter Ansprechpartner ist hierbei eine sinnvolle Forderung. Aber dann benennt doch bitte genau dies auch konkret. Ein „eine natürliche Person [muß] verantwortlich sein“ hilft da nicht.

3. Kriterium: Ziele und erwartete Wirkung nachvollziehbar machen

„Die Ziele und die erwartete Wirkung eines Algorithmus müssen nachvollziehbar gemacht werden.
Die Ziele müssen klar definiert und Informationen zum Einsatz des algorithmischen Systems dokumentiert werden. Dazu zählen etwa die zugrunde liegenden Daten und Berechnungsmodelle. Vor und während des Einsatzes des algorithmischen Systems muss eine dokumentierte Folgenabschätzung durchgeführt werden. Hierbei sind Risiken für Diskriminierungen und weitere das Individuum und das Gemeinwohl berührende Folgen im Blick zu behalten. Werteabwägungen bei der Zielsetzung und dem Einsatz von Algorithmen müssen festgehalten werden.“

Noch mehr Passivsätze. „Die Ziele und die erwartete Wirkung eines Algorithmus“ müssen also „nachvollziehbar gemacht werden.“ Was soll das denn heißen? Das klingt wieder ganz toll, funktioniert aber hinten und vorne nicht. Ein Algorithmus hat keine Ziele und seine Wirkung besteht in der Abbildung von Eingaben auf Ausgaben. Der Einsatz eines Algorithmus hat Ziele, der Algorithmus ist in bestimmter Weise gebaut, um in einem konkreten Algorithmischen System eine Aufgabe zu erfüllen.

Gemeint ist hier wohl: welche Ziele werden durch den Einsatz des Algorithmischen Systems verfolgt, wie soll der Prozeß algorithmischer Entscheidungsfindung durch diesen geformt werden. Und auffällig ist auch hier, daß wieder nicht gesagt wird, wem Ziele und Wirkungen nachvollziehbar gemacht werden sollen. Wenn die Agentur für Arbeit das Ziel hat, eine tolle Arbeitslosenstatistik zu erzeugen, indem sie möglichst viele Arbeitssuchende durch Maßnahmen aller Art aus der Statistik wegdefiniert, oder wenn die Beschwerdeabteilung einer Firma die Garantieabwicklung möglichst komplex und schwierig gestaltet, werden diese Institutionen diese Ziele wirklich gegenüber den Kunden offen legen?

Sehr viele Maßnahmen haben neben den offiziellen Zielen ihrer Einführung noch eine mehr oder weniger gut versteckte Agenda. Diese wird nicht offen gelegt, völlig egal, ob es sich dabei um ein Computersystem, ein Gesetz oder irgendwelches Kleingedruckte handelt.

Die aufgestellten Forderungen wären ja grundsätzlich durchaus hilfreich, allerdings sind sie im Grunde weitgehend Voraussetzung für Kriterium 1. Ohne eine Folgenabschätzung kann ich (wie oben erwähnt) keine Wirkungen bewerten.

Die Forderung, die Wirkungen (und Ziele) nachvollziehbar zu machen, ist nur dann zielführend, wenn klar benannt wird, wem gegenüber diese Offenlegung erfolgt:

• den Kunden/Betroffenen? Das ist unrealistisch, wird mit Hinweisen auf „Geschäftsgeheimnisse“ etc. abgebügelt, wie man aktuell an der SCHUFA, Banken, etc. sehen kann. Sollte das als politische Forderung gemeint sein, das zu ändern: gerne, da wäre ich dabei. Allein, ich bezweifle es.
• speziellen staatlichen Stellen? Müssen die dazu erst geschaffen werden? Wie soll das konkret aussehen?
• der einsetzenden Institution? Inwieweit unterscheidet sich das dann von Kriterium 1?

4. Kriterium: Sicherheit gewährleisten

„Der Einsatz von algorithmischen Systemen muss sicher sein.
Bevor Algorithmen eingesetzt werden, sind sie in einer geschützten Umgebung zu testen. Es sind sowohl die technische Sicherheit gegenüber externen Angriffen und Manipulationen als auch die Sicherheit der Nutzer zu gewährleisten.“

Ja. Sicher.

Sicherheit finden wir gut. Das ist schön, und dem wird wohl auch niemand widersprechen. Aber was bitte soll dieses Kriterium hier genau sein?

Wenn ich lese „Der Einsatz von algorithmischen Systemen muss sicher sein“, dann denk ich vielleicht an das Beispiel des autonomen Autos, das keinen Unfall bauen soll, oder an andere Fälle, wo autonome Systeme agieren und daraus Gefahren folgen. Andrerseits haben wir gesehen, daß die vorhergehenden drei Kriterien für solche autonomen Systeme gar nicht erfüllbar sind, was nahelegt, daß diese nicht gemeint sein können (oder diejenigen, die sie aufgeschrieben haben, nicht nachgedacht haben).

Was ist also dann gemeint? Konkret genannt sind die Sicherheit gegenüber externen Angriffen sowie die Sicherheit der Nutzer. Das hilft nun erstmal nicht wirklich weiter. Entweder wir reden nun doch von autonomen Systemen, die die Sicherheit ihrer Nutzer direkt gefährden könnten, oder es soll hier um die Sicherheit von Nutzerdaten gehen.

Kein System ist vollständig sicher. Die aufgestellte Forderung ist in ihrer Absolutheit nicht erreichbar. So lange ich also nicht konkret benenne, was ich unter Sicherheit verstehe, und welches Schutzniveau ich für welche Systeme und welche Arten von Daten fordere, ist die Forderung leer und sagt nichts aus.

5. Kriterium: Transparenz erhöhen

„Der Einsatz eines algorithmischen Systems muss gekennzeichnet sein.
Dazu zählt, dass Algorithmen und selbstlernende Systeme mit direkten oder mittelbaren Wirkungen und ihrer Funktionsweise für Menschen intuitiv verständlich gemacht werden. Die zugrundeliegenden Daten müssen klassifiziert und beschrieben sowie die möglichen Auswirkungen in leicht verständlicher Sprache dargestellt werden. Personen, die von der Wirkung eines Algorithmus betroffen sind, können eine qualifizierte und detaillierte Auskunft zu diesen Parametern einfordern. Wenn eine Maschine einen Menschen in Sprache sowie in Art und Weise der Interaktion imitiert, gilt dies in ganz besonderem Maße.“

Auch wieder eine sehr schön klingende Forderung. Und im Grunde trifft alles, was wir zu den anderen Kriterien zusammengetragen haben, auch hier zu, angefangen damit, daß wir immer noch nur raten können, was mit einem „algorithmischen System“ hier mal wieder gemeint ist. Auch hier klingt die Forderung toll, ich habe aber keine Ahnung, was konkret mit ihr gemeint ist.

Ist mit der Kennzeichnung des Einsatzes algorithmischer Systeme gemeint, daß auf jedem Smartphone, jeder App, jedem Fernseher, jeder Website, jeder Verkehrsampel, … ein Hinweis kleben soll? Wie soll das intuitiv verständlich machen von Wirkungen konkret aussehen? Ich stelle mir z.B. eine automatische Gesichtserkennung vor (wie sie gerade am Berliner Südkreuz getestet wurde, siehe z.B. die Bewertung des CCC hierzu), die entscheidet, ob ich beispielsweise ein Gebäude betreten darf bzw. dem Sicherheitspersonal einen Hinweis gibt. Wie soll diese Überwachungskamera mich nun darauf hinweisen, wie sie bzw. die durch sie gespeiste Software funktioniert? Hängt da ein großer Zettel, der beschreibt, welche meiner charakteristischen Gesichtsmerkmale zu welcher Einschätzung geführt haben? Wie stelle ich mir eine „qualifizierte und detaillierte Auskunft zu diesen Parametern“ vor, die das neuronale Netz zu einer bestimmten Einschätzung brachten? Krieg ich gleich noch einen Hinweis darauf, wie ich mich schminken sollte, daß das zukünftig nicht mehr passiert?

Oder geht es wieder eher in Richtung SCHUFA-Auskunft, und muß mir die SCHUFA dann in Zukunft detailliert offen legen, welche Parameter zu welchem Score führen? Wenn ja, dann wäre ich natürlich sehr dafür (aber das hatten wir ja oben schon).

Ja, mehr Transparenz ist wünschenswert, aber das alles ist so schwammig, daß sich daraus keine konkreten Forderungen ableiten lassen, erst recht nicht wird erkennbar, was davon politische Forderungen an den Gesetzgeber sind, und welche Teile den Systembetreiber betreffen.

6. Kriterium: Beherrschbarkeit sichern

„Der Einsatz von algorithmischen Systemen muss beherrschbar sein.
Dies setzt voraus, dass Menschen in der Lage sind, über den Algorithmus und seinen Einsatz zu entscheiden und ihn nach ethischen Maßstäben zu bewerten. Eine stetige Kontrolle des algorithmischen Systems durch den Menschen ist notwendig, um die Beherrschbarkeit sicherzustellen. Dies gilt insbesondere auch für selbstlernende Systeme. Ist es nicht möglich, eine Anwendung für den Menschen beherrschbar zu machen, ist von einem Einsatz abzusehen.“

Auch hier wieder: Klingt gut, aber was heißt das konkret? Welche Menschen müssen in wozu in der Lage sein? Was soll das heißen, daß „Menschen in der Lage sind, über den Algorithmus […] zu entscheiden“? Was soll über einen Algorithmus zu entscheiden bedeuten? Über den Einsatz eines Algorithmus kann ein Mensch trivialerweise entscheiden, irgendwer hat das irgendwann beschlossen. Geht es darum, den Einsatz des Systems jederzeit beenden zu können? Wer soll dieser Mensch sein, der dies entscheiden kann? Wohl nicht der Betroffene, ich kann dem Finanzamt nicht vorschreiben, meine Steuererklärung nicht mehr mit dem Computer zu bearbeiten. Grundsätzlich kann ich den Einsatz jedes Systems auch wieder beenden, ich bin nur vielleicht nicht bereit, die dadurch entstehenden Kosten/Einschränkungen zu tragen.

Wann ist ein System beherrschbar? Hier stecken die eigentlich spannenden ethischen Fragen. Ist ein System beherrschbar, wenn es weniger Unfälle hervorruft, als der Mensch, den es ersetzt? Welche Vorstellung steckt hier dahinter?

7. Kriterium: Wirkung überprüfen (lassen)

„Die Auswirkungen eines algorithmischen Systems auf den Menschen müssen regelmäßig überprüft werden.
Dazu gehört die aktive Kontrolle, ob ein Algorithmus gesellschaftliche Grundwerte wie Wertepluralismus, Solidarität, Vielfalt und Teilhabe verletzt. Externe Akteur*innen sollten ebenfalls in die Lage versetzt werden, dies zu überprüfen. Wird eine negative Wirkung festgestellt, müssen die Fehlerursache ermittelt und der Algorithmus entsprechend angepasst werden. Kann der Fehler nicht behoben werden, muss der Einsatz des algorithmischen Systems beendet werden.“

Auf die fortwährende Vermischung von „Algorithmus“, „algorithmischem System“ und dem „Prozeß algorithmischer Entscheidungsfindung“ muß ich wohl inzwischen nicht mehr extra hinweisen. Wie ich mir eine aktive Kontrolle vorstellen soll, die feststellt, daß ein Algorithmus Solidarität verletzt, weiß ich nicht.

Zumindest die Grundidee, die Auswirkungen eines technischen Systems fortwährend zu überprüfen, ist erkennbar.

8. Kriterium: Korrigierbarkeit herstellen

„Entscheidungen eines Algorithmus dürfen nie unumkehrbar sein.
Wenn die Wirkungen eines Algorithmus dazu führen, dass gesellschaftliche Grundwerte oder die Rechte eines Einzelnen verletzt werden, muss den Betroffenen eine einfache Beschwerdemöglichkeit offenstehen. Die Beschwerde richtet sich an die verantwortliche Person. Diese verpflichtet sich, qualifiziert auf die Beschwerde zu reagieren und Auskunft zu erteilen. Beschwerden und eingeleitete Maßnahmen sind zu dokumentieren. Bei fehlender oder mangelhafter Auskunft oder allgemein vermuteter rechtswidriger Vorgehensweise können Schlichtungsstellen eingerichtet und eingesetzt werden.“

Ah, da sind wir wieder. Die Forderung nach umkehrbaren Entscheidungen, die im Grunde nicht erreichbar ist. Auch hier sind die autonomen Systeme mal wieder raus, ansonsten gilt das, was wir beim 2. Kriterium schon festgestellt haben.

Und auch diese Forderung sagt im Grunde gar nichts. Ja, ich kann bürokratische Entscheidungen anfechten, das ist aktuelle Rechtslage. Das ist unabhängig davon, ob sie mit Computerunterstützung zu Stande kamen. Die Forderung, dieses bürokratische Procedere zu verbessern, ist sinnvoll (egal ob in Firmen oder Behörden), aber das ist nichts, was spezifisch Algorithmen betrifft.

Forderungen

Das waren also die sogenannten Gütekriterien. Und wie wir sehen konnten sind es keine Gütekriterien, die erlauben, die Qualität eines Systems zu bewerten, sondern es sind allenfalls Forderungen – wenn auch schlecht ausgearbeitete und häufig leere Forderungen. Wie schon oben beschrieben:

• Definiert die verwendeten Begriffe klar und eindeutig.
• Benutzt die Begriffe so, wie ihr sie definiert, begriffliche Klarheit ist wichtig.
• Benennt die handelnden Akteure.
• Differenziert unterschiedliche Arten von Systemen (autonome/teilautonome Computersysteme vs. Prozesse algorithmischer Entscheidungsfindung) klar aus, vor allem, wenn dies starke Auswirkungen auf die zu stellenden Forderungen hat.
• Nennt Forderungen nicht einfach Kriterien.

Ein weiteres großes Problem dieser Forderungen ist, daß sie keine Forderungen an das algorithmische System selbst, sondern an den zugrundeliegenden Prozeß und dessen Einbettung sind. Das ist erstmal nicht falsch, hat aber diverse Implikationen, die in den Forderungen nicht berücksichtigt werden:

• In der Praxis wird in einem bürokratischen System niemand persönlich verantwortlich gemacht, solang er den Vorgaben folgt, egal ob dies Dienstanweisungen oder Programmausgaben sind
• Wie sich Anwender eines Systems verhalten, hängt an den Incentives, die ihr Verhalten bietet. Diese werden nicht von der Software, sondern vom Arbeitsumfeld bzw. Management gesetzt.

Viele Designkriterien von Algorithmischen Entscheidungssystemen und der zugehörigen Prozesse sind absichtlich in Hinblick auf bestimmte Ziele gesetzt und/oder politisch so gewollt. Die aufgestellten Kriterien sind nicht geeignet, dies offen zu legen, auch wenn sie dies zu versuchen scheinen.

Wie müssen Systeme gestaltet sein?

Dies ist die Frage, die ein Gütekriterienkatalog eigentlich beantworten sollte – hier aber nicht tut. Für die Prozeßebene bietet das ADM-Manifest einen ersten Ansatzpunkt, der nicht so tut als wäre er spezifisch, damit aber auch nichts vorgaukelt. Für das technische System selbst hingegen bieten die oben aufgestellten Kriterien kaum etwas, sie ignorieren jedoch sträflich einige sehr wichtige Punkte.

Wir wissen spätestens seit ELIZA (1966), daß Computer auf Anwender intelligent oder vernunftbegabt wirken, daß das mentale Modell, das Anwender von diesen Systemen haben, nicht mit den real ablaufenden Programmen übereinstimmt. Daher werden auch die von diesen Systemen gelieferten Ergebnisse zwangsläufig nicht neutral interpretiert. Ebenso wissen wir, wie sehr die Gestaltung der Bedienoberfläche die Nutzung einer Software beeinflußt, sei es daß eine Option mit zwei Tastendrücken erreichbar ist, eine andere hingegen vier benötigt, sei es, daß etwas vorausgewählt ist, ebenso aber Farbgestaltung, Position von Buttons usw. Diese unterschwellig wirksamen Gestaltungsentscheidungen sind erstaunlich wirksam.

Um Systeme für Prozesse algorithmischer Entscheidungsfindung entsprechend zu gestalten, müssen wir dieses Wissen aktiv berücksichtigen. Einfach nur zu sagen: die Mitarbeiter/Nutzer müssen das wissen und verstehen ist blauäugig und wird nicht funktionieren.

Hintergründe

Bis hierhin haben wir uns mit ein paar halbgaren Definitionen durchgeschlagen. An mehreren Stellen ist schon angeklungen, daß vielfach ein tieferes Verständnis von informationsverarbeitenden Systemen im Allgemeinen sowie den Besonderheiten spezieller Ausformungen wie der erwähnten selbstlernenden Systeme nötig wäre, um überhaupt zu sinnvollen Kriterien bzw. Forderungen zu kommen.

Als absolutes Minimum müssen wir uns klarmachen, was der Einsatz eines Computersystems zur Problemlösung mindestens bedeutet:
Ich habe irgendein Problem, das ich mit Hilfe von Software lösen möchte. Hierzu muß ich diejenigen Aspekte der Welt, die für mein Problem relevant sind, identifizieren und in eine für den Computer verarbeitbare Form bringen, sie also in Daten umwandeln. Dann muß ich auf diese Daten einen Algorithmus anwenden, der neue Daten generiert, und schließlich muß ich diese Daten wieder auf die Welt abbilden, in der Hoffnung damit mein Problem zu lösen.

Zur Veranschaulichung ein sehr einfaches Beispiel: ich möchte – passend zur Jahreszeit – wissen, einen wie großen Koffer ich benötige, um alle meine Päckchen mit Weihnachtsgeschenken transportieren zu können. Zunächst muß ich nun entscheiden, welchen Teil der Welt ich erfassen muß, in diesem Fall also die Größe und Form aller Weihnachtspäckchen. Nicht mit modellieren muß ich alles, was mit dem Vorgang nichts zu tun hat, also mein letztes Mittagessen, den aktuellen Wochentag, dem Goldpreis usw., aber ich kann auch vieles weglassen, das zwar grundsätzlich mit dem Päckchentransport in Zusammenhang steht, aber zur Lösung des konkreten Problems mit dem konkret gewählten Verfahren nicht beiträgt, also z.B. den Zielort, die Farben des Packpapiers, aber auch den Inhalt der Pakete. Nun rechnet also der Algorithmus aus, wie groß mein Koffer sein muß, und liefert das Ergebnis zurück. Und dieses Ergebnis müssen wir jetzt nur noch interpretieren, mit anderen Worten: den passenden Koffer auswählen.

Bei jedem der beschriebenen Schritte können nun Fehler auftreten:

1. Das sogenannte Frame-Problem: welchen Ausschnitt der Welt wähle ich? Wenn ich den falschen Ausschnitt wähle, kann das Ergebnis nicht stimmen.
2. Wie erfasse ich die Informationen dieses Ausschnittes und auf welches Datenmodell bilde ich diese ab? Das kann selbstverständlich ziemlich schief gehen. Im Beispiel gehen wir beispielsweise von quaderförmigen Päckchen aus und messen deren Länge, Breite und Höhe.
3. Die eingesetzte Abbildung („der Algorithmus“) nimmt also nun diese Daten und berechnet neue. In unserem Fall also vielleicht die Länge, Breite und Höhe des benötigten minimalen Koffers. Auch wenn das Problem unseres Beispiels alles andere als trivial ist, ist die Gefahr in diesem Schritt weniger, daß der Algorithmus fehlerhaft ist, sondern daß er nicht wirklich auf das Problem paßt. Beispielsweise könnte der Algorithmus zum Ergebnis kommen, daß ein 3,7m langer, 28cm breiter und 15cm hoher Koffer optimal wäre.
4. Wie wir nun zu den berechneten Daten den richtigen Koffer finden und wie wir die Päckchen hineinpacken müssen, damit sie passen, haben wir im Beispiel offensichtlich nicht geklärt.

Ein paar Anpassungen sind schnell zu sehen: es wäre besser, die Maße der möglichen zur Verfügung stehenden Koffer zusätzlich als Eingabe bereit zu stellen, und den Algorithmus bestimmen zu lassen, welche davon geeignet wären. Und als Ausgabe hätten wir gerne einen Plan, wie wir die Pakete in den gewählten Koffer packen sollen, damit alles reinpaßt.

Vielleicht stellen wir aber auch fest, daß der Inhalt der Pakete doch wichtig wäre, da zerbrechliche Pakete nicht zerdrückt werden sollten, gleichzeitig aber auch nicht im Koffer frei herumwackeln sollten (der Paketdienst Amazon wählt die Größe der Versandpäckchen unter anderem danach, daß diese im LKW nicht zu viel Spiel haben), wogegen die Päckchen, die Klamotten enthalten, gerne etwas gequetscht werden dürfen und sich gleichzeitig als Polster für die zerbrechlichen eignen. Dies bedeutet einen anderen Ausschnitt der Welt (wir müssen nun auch bestimmte Eigenschaften des Paketinhalts erfassen), ein verändertes Datenmodell, einen anderen Algorithmus und eine andere Interpretation der Ausgabedaten.

In jedem dieser Schritte können und werden Fehler auftreten. Und wenn diejenigen, die das System erstellen, sich von denen unterscheiden, die es nutzen, sie eine unterschiedliche Agenda und unterschiedliche Interessen haben und die Betroffenen hier völlig außen vor sind, dann potenzieren sich diese Gefahren.

Welche Fehler dies sind, ist ausführlich erforscht, und dies schon seit Jahrzehnten. Klassiker sind hier sicher Joseph Weizenbaum „Die Macht der Computer und die Ohnmacht der Vernunft“ (1978), in Deutschland hat beispielsweise Wilhelm Steinmüller mit „Informationstechnologie und Gesellschaft: Einführung in die angewandte Informatik“ (1993) ein Überblickswerk geliefert, und die Forschung ist seitdem nicht stehengeblieben.

Die aufgestellten Kriterien wirken nicht so, als wären all diese Ergebnisse der Forschungen zu Informatik und Gesellschaft wahrgenommen geschweige denn eingearbeitet worden.

Fazit

Prozesse algorithmischer Entscheidungsfindung bringen spezifische Probleme mit sich, die neu sind und daher neue Antworten benötigen. Diese spezifischen Probleme werden in den vorgestellten Kriterien jedoch nicht herausgearbeitet, sondern gehen in allgemeinen Forderungen an bürokratische Systeme zum einen und der Erwähnung sehr spezieller Verfahren (selbstlernende Systeme) auf der anderen Seite unter.

Mir ist nicht klar, ob die Autoren schlecht gearbeitet haben, oder ob hier System dahinter steckt.