In den 1980er Jahren wurden Bewerber für mehrere Jahre an der St. George's Hospital Medical School in London nach einer High-Tech-Methode ausgewählt. Ein Computerprogramm, eines der ersten seiner Art, scannte Lebensläufe und wählte aus allen Bewerbungen etwa 2.000 Kandidaten pro Jahr aus. Das Programm überprüfte die Zulassungsunterlagen, prüfte die Merkmale der erfolgreichen Bewerber und passte sie an, bis seine Entscheidungen mit der Meinung des Zulassungsausschusses übereinstimmten.
Das Programm hat jedoch gelernt, mehr als gute Noten und Anzeichen für akademische Leistungen zu finden. Vier Jahre nach der Umsetzung des Programms stellten zwei Ärzte des Krankenhauses fest, dass das Programm weibliche Bewerber und Personen mit außereuropäischen Namen ungeachtet ihres akademischen Verdienstes ablehnte. Die Ärzte stellten fest, dass etwa 60 Bewerbern jedes Jahr aufgrund ihres Geschlechts oder ihrer Rasse lediglich Interviews verweigert wurden. Das Programm bezog geschlechtsspezifische und rassistische Vorurteile in die Daten ein, die für seine Ausbildung verwendet wurden. Tatsächlich stellte es fest, dass Ärzte und Ausländer nicht die besten Kandidaten für Ärzte sind.
Dreißig Jahre später stehen wir vor einem ähnlichen Problem, aber Programme mit internen Vorurteilen sind jetzt weiter verbreitet und treffen Entscheidungen mit noch höheren Einsätzen. Auf maschinellem Lernen basierende Algorithmen für künstliche Intelligenz werden von Regierungsbehörden bis hin zum Gesundheitswesen verwendet, um Entscheidungen zu treffen und Vorhersagen auf der Grundlage historischer Daten zu treffen. Indem sie Muster in den Daten untersuchen, absorbieren sie auch die Verzerrungen in den Daten. Google zeigt beispielsweise mehr Anzeigen für schlecht bezahlte Jobs für Frauen als für Männer. Der eintägige Versand von Amazon umgeht schwarze Viertel, und Digitalkameras haben Schwierigkeiten, nicht weiße Gesichter zu erkennen.
Es ist schwer zu wissen, ob der Algorithmus voreingenommen oder fair ist, und selbst Computerexperten glauben dies. Ein Grund dafür ist, dass die Details der Erstellung des Algorithmus häufig als geschützte Informationen betrachtet werden und daher von den Eigentümern sorgfältig geschützt werden. In komplexeren Fällen sind die Algorithmen so komplex, dass selbst die Ersteller nicht genau wissen, wie sie funktionieren. Dies ist das Problem der sogenannten "Black Box" der KI - unsere Unfähigkeit, das Innere des Algorithmus zu sehen und zu verstehen, wie es zu einer Lösung kommt. Wenn wir eingesperrt bleiben, könnte unsere Gesellschaft schwer beschädigt werden: Das digitale Umfeld verkörpert die historische Diskriminierung, gegen die wir seit vielen Jahren kämpfen, von Sklaverei und Leibeigenschaft bis hin zur Diskriminierung von Frauen.
Diese Bedenken, die zuvor in kleinen Informatikgemeinschaften geäußert wurden, gewinnen jetzt an Dynamik. In den letzten zwei Jahren sind in diesem Bereich zahlreiche Veröffentlichungen zur Transparenz künstlicher Intelligenz erschienen. Mit diesem Bewusstsein wächst auch das Verantwortungsbewusstsein. "Gibt es etwas, das wir nicht bauen sollten?", Fragt Keith Crawford, Forscher bei Microsoft und Mitbegründer von AI Now Insitute in New York.
„Maschinelles Lernen ist endlich in den Vordergrund gerückt. Wir versuchen jetzt, es für Hunderte verschiedener Aufgaben in der realen Welt zu verwenden “, sagt Rich Caruana, leitender Wissenschaftler bei Microsoft. „Es ist möglich, dass Menschen in der Lage sind, böswillige Algorithmen einzusetzen, die sich langfristig erheblich auf die Gesellschaft auswirken. Jetzt, so scheint es, wurde plötzlich allen klar, dass dies ein wichtiges Kapitel in unserem Bereich ist. “
Werbevideo:
Nicht autorisierter Algorithmus
Wir verwenden seit langer Zeit Algorithmen, aber das Black-Box-Problem ist beispiellos. Die ersten Algorithmen waren einfach und transparent. Wir verwenden immer noch viele davon - zum Beispiel zur Beurteilung der Kreditwürdigkeit. Bei jeder neuen Verwendung kommt die Regulierung ins Spiel.
„Die Menschen verwenden seit Jahrzehnten Algorithmen, um die Kreditwürdigkeit zu bewerten, aber in diesen Gebieten gab es einige ziemlich starke Siedlungen, die parallel zur Verwendung von Vorhersagealgorithmen gewachsen sind“, sagt Caruana. Regulatorische Regeln stellen sicher, dass Vorhersagealgorithmen eine Erklärung für jede Punktzahl liefern: Sie wurden abgelehnt, weil Sie viel Kredit oder zu wenig Einkommen haben.
In anderen Bereichen wie dem Rechtssystem und der Werbung gibt es keine Regeln, die die Verwendung absichtlich unlesbarer Algorithmen verbieten. Möglicherweise wissen Sie nicht, warum Ihnen ein Darlehen verweigert oder nicht eingestellt wurde, da niemand den Eigentümer des Algorithmus zwingt, zu erklären, wie er funktioniert. "Aber wir wissen, dass Algorithmen, die auf realen Daten trainiert sind, voreingenommen sein müssen - weil die reale Welt voreingenommen ist", sagt Caruana.
Betrachten Sie zum Beispiel die Sprache als eine der offensichtlichsten Ursachen für Voreingenommenheit. Wenn Algorithmen aus geschriebenem Text trainiert werden, bilden sie einige Assoziationen zwischen Wörtern, die häufiger zusammen vorkommen. Zum Beispiel lernen sie, dass "für einen Mann, der ein Computerprogrammierer ist, dasselbe ist wie für eine Frau, eine Hausfrau zu sein". Wenn dieser Algorithmus die Aufgabe hat, einen geeigneten Lebenslauf für einen Programmiererjob zu finden, wird er wahrscheinlich aus männlichen Kandidaten ausgewählt.
Probleme wie diese sind ziemlich einfach zu beheben, aber viele Unternehmen werden es einfach nicht tun. Stattdessen werden sie solche Inkonsistenzen hinter einem Schutzschild aus geschützten Informationen verbergen. Ohne Zugriff auf die Details des Algorithmus können Experten in vielen Fällen nicht feststellen, ob eine Verzerrung vorliegt oder nicht.
Da diese Algorithmen geheim sind und außerhalb der Zuständigkeit der Regulierungsbehörden bleiben, ist es für die Bürger fast unmöglich, die Urheber der Algorithmen zu verklagen. Im Jahr 2016 lehnte das Wisconsin Superior Court den Antrag einer Person auf Überprüfung des Innenlebens von COMPAS ab. Der Mann, Eric Loomis, wurde teilweise zu sechs Jahren Gefängnis verurteilt, weil COMPAS ihn als "Hochrisiko" ansah. Laut Loomis wurde sein Recht auf ein ordnungsgemäßes Verfahren durch die Abhängigkeit des Richters von einem undurchsichtigen Algorithmus verletzt. Der endgültige Antrag beim Obersten Gerichtshof der USA ist im Juni 2017 fehlgeschlagen.
Aber geheime Unternehmen werden ihre Freiheit nicht auf unbestimmte Zeit genießen. Bis März wird die EU Gesetze verabschieden, nach denen Unternehmen interessierten Kunden erklären müssen, wie ihre Algorithmen funktionieren und wie Entscheidungen getroffen werden. Die USA haben keine solche Gesetzgebung in Arbeit.
Black-Box-Forensik
Unabhängig davon, ob sich die Regulierungsbehörden an all dem beteiligen, könnte eine kulturelle Veränderung in der Art und Weise, wie Algorithmen entworfen und eingesetzt werden, die Verbreitung voreingenommener Algorithmen verringern. Da sich immer mehr Unternehmen und Programmierer dazu verpflichten, ihre Algorithmen transparent und erklärbar zu machen, hoffen einige, dass Unternehmen, die dies nicht tun, ihren guten Ruf in der Öffentlichkeit verlieren.
Das Wachstum der Rechenleistung hat es ermöglicht, Algorithmen zu erstellen, die sowohl präzise als auch erklärbar sind - eine technische Herausforderung, die Entwickler in der Vergangenheit nicht bewältigt haben. Jüngste Forschungsergebnisse legen nahe, dass erklärbare Modelle erstellt werden können, die das Wiederauftreten von Kriminellen genauso genau vorhersagen wie eine Black Box von Forensikern wie COMPAS.
„Wir sind fertig - wir wissen, wie man Modelle ohne Black Box erstellt“, sagt Cynthia Rudin, Assistenzprofessorin für Informatik und Elektrotechnik an der Duke University. „Aber es ist nicht so einfach, die Aufmerksamkeit der Menschen auf diese Arbeit zu lenken. Wenn Regierungsbehörden aufhören würden, für Black-Box-Modelle zu bezahlen, würde dies helfen. Wenn Richter sich weigern, Black-Box-Modelle für die Verurteilung zu verwenden, hilft das auch. “
Andere arbeiten daran, Wege zu finden, um die Gültigkeit von Algorithmen zu testen, indem sie ein System von Checks and Balances erstellen, bevor der Algorithmus für die Welt freigegeben wird, genau wie jedes neue Medikament getestet wird.
„Modelle werden jetzt zu schnell hergestellt und bereitgestellt. Es gibt keine ordnungsgemäße Validierung, bevor der Algorithmus veröffentlicht wird “, sagt Sarah Tan von der Cornell University.
Im Idealfall sollten Entwickler bekannte Vorurteile wie Geschlecht, Alter und Rasse beiseite schieben und interne Simulationen durchführen, um ihre Algorithmen auf andere Probleme zu testen.
In der Zwischenzeit ist es bereits möglich zu bestimmen, welche Algorithmen unter Verzerrung leiden, bevor alle Algorithmen vor der Veröffentlichung gründlich getestet werden.
In ihrer jüngsten Arbeit haben Tan, Caruana und ihre Kollegen einen neuen Weg beschrieben, um zu verstehen, was unter der Haube von Black-Box-Algorithmen vor sich gehen könnte. Wissenschaftler haben ein Modell erstellt, das den Black-Box-Algorithmus nachahmt und anhand von COMPAS-Daten lernt, das Risiko eines Rückfalls abzuschätzen. Sie erstellten auch ein anderes Modell, das anhand realer Daten trainierte, um zu zeigen, ob der vorhergesagte Rückfall tatsächlich aufgetreten ist. Durch den Vergleich der beiden Modelle konnten Wissenschaftler die Genauigkeit der vorhergesagten Punktzahl beurteilen, ohne den Algorithmus zu analysieren. Unterschiede in den Ergebnissen der beiden Modelle können darauf hinweisen, welche Variablen wie Rasse oder Alter in einem bestimmten Modell wichtiger sein können. Ihre Ergebnisse zeigten, dass COMPAS schwarze Menschen diskriminiert.
Gut konzipierte Algorithmen können langjährige Vorurteile in den Bereichen Strafjustiz, Polizeiarbeit und vielen anderen Bereichen der Gesellschaft beseitigen.
Ilya Khel
