Seit 2009 enthält das BDSG Regelungen zum Scoring. Thilo Weichert („Scoring nach der Datenschutz-Novelle 2009 und neue Entwicklungen“, Studie des ULD, 2014) und Die Grünen halten diese Regelungen für unzureichend. Die Grünen haben einen Gesetzesvorschlag vorgelegt, der die Regelungen zum Scoring reformieren soll (Gesetzentwurf v. 8.5.2015 für ein Scoringänderungsgesetz, BT-Ds. 18/48/1804864).
These 1:
Das geltende Recht verlangt für das Scoring ein „mathematisch-wissenschaftliches Verfahren“. Dies ist eine weitsichtige Regelung, die ein Vorbild für die Regulierung von Big Data-Verfahren sein sollte.
§ 28b Nr. 1 BDSG verlangt für das Scoring ein „mathematisch-wissenschaftliches Verfahren“ (Kamlah, in Plath (Hrsg), BDSG, § 28b Rz. 21 ff.; Wäßle/Heinemann, CR 2010, 410 ff.). Dies ist eine sinnvolle, weitsichtige Regelung. Ob Kreditvergabe, Versicherungsvertrag oder auch Lieferung auf Rechnung: Beim Scoring werden komplexe Rechenformeln verwendet. In diese Rechenformeln sollten nur Faktoren einfließen, die für den Berechnungszweck erheblich sind. Die Vorgabe eines wissenschaftlich anerkannten Verfahrens ist daher angemessen und sinnvoll.
Wenn komplexe Rechenformeln (Algorithmen) verwendet werden, besteht die Gefahr der unerkannten Diskriminierung oder Manipulation. Die Vorgabe eines mathematisch-wissenschaftlich anerkannten Verfahrens stellt sicher, dass eine Bank, eine Versicherung oder auch ein Online-Händler nicht unter dem Deckmantel der Komplexität Minderheiten gezielt benachteiligen kann.
These 2:
Bei Big Data-Algorithmen geht es nicht um Datenschutz, sondern um Verbraucherschutz.
Die Gefahr der Diskriminierung, der Manipulation und der Fremdbestimmung tritt in allen algorithmusgesteuerten Big Data-Verfahren auf. Mit Datenschutz oder informationeller Selbstbestimmung hat dies wenig bis gar nichts zu tun. Es geht nicht darum, was ein Unternehmen über einen Bürger weiß, sondern ausschließlich um den Schutz von Verbrauchern gegen systematische Benachteiligungen – um Verbraucherschutz. So sinnvoll die Vorgabe eines mathematisch-wissenschaftlichen Verfahrens ist, so wenig passt sie in das BDSG. Wenn man somit eine Gesetzesreform verlangen könnte, dann am ehesten die Auslagerung der Scoringregeln in ein Verbraucherschutzgesetz.
__________
Anzeige:
__________
These 3:
Die Kontrolle der „Neutralität“ von Algorithmen ist möglich, notwendig und unausweichlich.
Sowohl Thilo Weichert als auch Die Grünen beklagen, dass die Datenschutzbehörden nicht imstande seien zu kontrollieren, ob Algorithmen mathematisch-wissenschaftlichen Standards entsprechen. Ob diese Einschätzung zutreffend ist, sei einmal dahingestellt. Die Folgerungen, die Weichert und Die Grünen ziehen, überzeugen jedenfalls nicht.
Wenn in den Aufsichtsbehörden Sachverstand fehlt, müssen die Behörden besser ausgestattet werden. Bei immer komplexer werdenden Big Data-Prozessen werden Experten dringend benötigt, die die „Neutralität“ der Algorithmen überwachen. Die Big Data-Experten Mayer-Schöneberger und Cukier prognostizieren die Entstehung eines neuen Berufsstandes der „Algorithmiker“ als ausgewiesene Kontrolleure der Rechenprozesse („Rezension: Mayer-Schönberger/Cukier, Big Data“, telemedicus.de v. 21.12.2013″). Otto Normalbürger kann weder eine Bilanz lesen noch eine versicherungsmathematische Formel prüfen. Daher gibt es Wirtschaftsprüfer und Aktuare, deren Aufgabe die Prüfung ist. In Zukunft wird es auch „Algorithmiker“ geben.
Statt ausgebildeter „Algorithmiker“ verlangen Weichert und Die Grünen Einschränkungen und Verbote. Scoringverfahren sollen nur noch nach vorheriger aufsichtsbehördlicher Zulassung verwendet werden dürfen. Der Einsatz von Algorithmen würde zu einem Hürdenmarathon. Die abschreckende Wirkung nimmt man dabei in Kauf: Wenn man Algorithmen schon nicht verbieten kann, so tut man sein Bestes, um deren Einsatz nach Kräften zu erschweren. Dies ist technologiefeindlich, rückwärtsgewandt und vor allem hilflos.
These 4:
Die Ausweitung von „Betroffenenrechten“ geht an den Bedürfnissen der „Betroffenen“ vorbei. Der starre und weltfremde Blick auf Individualrechte weicht der Technik aus, um deren Regulierung es geht.
So hilflos die Vorschläge von Thilo Weichert und Die Grünen zu den Algorithmen sind, so liebevoll ausgearbeitet sind die Vorschläge für die „Betroffenenrechte“, die deutlich ausgeweitet werden sollen. Man möchte
- Widerspruchsrechte,
- detaillierte Auskunftsrechte und
- eine Verpflichtung der Unternehmen einführen, die Verbraucher auch ungefragt regelmäßig über Scoringwerte detailliert unterrichten.
Dass nur äußerst wenige Verbraucher von ihren bereits nach geltendem Recht bestehenden Auskunftsrechten Gebrauch machen, irritiert Weichert und Die Grünen wenig. Dabei liegt es auf der Hand zu fragen, ob es wirklich im Sinne der Verbraucher ist, selbst entscheiden zu müssen, ob man Einwände gegen die Scorewerte erheben möchte, die etliche Unternehmen erheben.
„Neutrale“, mathematisch-wissenschaftliche und solide kontrollierte Rechenverfahren nützen dem Verbraucherschutz wesentlich mehr als eine Überfrachtung des Verbrauchers mit Informationen. Zugleich ist die Ausgestaltung der Verfahren für den Gesetzgeber eine deutlich anspruchsvollere Aufgabe als die feinzisilierte Ausarbeitung von Auskunfts- und Widerspruchsrechten. Der starre Blick von Thilo Weichert und Die Grünen auf die „Betroffenen“ ist letztlich der Versuch, eine komplexe Welt der Algorithmen in übersichtliche Zwei-Personen-Verhältnisse herunterzubrechen. Weltfremd, an den Notwendigkeiten eines wirksamen Verbraucherschutzes vorbei.
3 Kommentare
Grundsätzlich stimme ich zu, aber zwei Anmerkungen:
1. “mathematisch-wissenschaftliches Verfahren” klingt voll gut, sagt aber sehr wenig aus. Die Studien, die beispielsweise Facebook herausgebt (gerade kürzlich über den Einfluss ihres Algorithmus auf die „Filterbubble“) sehen mathematisch-wissenschaftlich aus, auch wenn sie das nicht sind. Man kann jeden Algorithmus mathematisch ausdrücken (sogar nen Zufallsalgorithmus), daher sagt der Wortteil wenig aus. Wissenschaftlich ist auch wenig belastbar, gerade wenn die betreffenden Algorithmen Geschäftsgeheimnisse sind und damit jedes wissenschaftliche Paper aus den Unternehmen für externe weitgehend unüberprüfbar bleibt.
„Die Vorgabe eines mathematisch-wissenschaftlich anerkannten Verfahrens stellt sicher, dass eine Bank, eine Versicherung oder auch ein Online-Händler nicht unter dem Deckmantel der Komplexität Minderheiten gezielt benachteiligen kann.“
Auch dokumentierte, quelloffene Algorithmenimplementierungen, basierend auf mathematisch-wissenschaftlichen Verfahren sind nicht immer in ihrer Gesamtwirkung erfassbar: Die Offenheit/Transparenz vermeidet keineswegs grundsätzlich die Möglichkeit in Komplexität Seiteneffekte zu verstecken. An der Formulierung wenn nicht gar am Konzeptionellen Ansatz an dieser Stelle müsste man noch arbeiten.
2. „Die Kontrolle der “Neutralität” von Algorithmen“
Was soll hier Neutralität bedeuten? Wem gegenüber bzw. auf welcher Ebene? Ein Algorithmus, der Profile/Cluster bildet behandelt grundsätzlich Menschen unterschiedlich, das is ja seine Aufgabe. Ob diese Behandlung „neutral“ ist, hängt ja nicht einmal unbedingt vom Algorithmus ab: Der Algorithmus teilt Menschen einfach in 3 Gruppen ein. Voll neutral. Dass aber auf anderer Ebene die Menschen in Gruppe A bessere Angebote bekommen, als die in Gruppe B ist im Rahmen des Profiling Algorithmus nicht grundsätzlich festzustellen. Anderer Fall: Ein Algorithmus wählt aus Abgaben/Noten die Schüler aus, die besondere Hilfestellung bekommen. Die Konsequenz der Algorithmischen Klassifikation ist nicht Neutralität sondern Hilfe für Menschen, die sie brauchen.
Ich halte „Neutralität“ hier für einen sehr schwierigen Begriff. Dass es sowas wie Zertifizierungsstellen geben muss, die – ähnlich wie TÜV oder Bio Siegel – die Algorithmen unterschiedlicher Unternehmen überprüfen und zertifizieren ergibt natürlich Sinn. Der Begriff „Neutralität“ muss allerdings dann sehr nötig geschärft werden.
Ich sehe den Begriff „mathematisch-wissenschaftliches“ Verfahren oder meinetwegen auch „neutral“ als problematisch an. Kernproblem ist doch, dass Bonitäts-Auskunfteien, die mit nicht zahlungsrelevanten Daten arbeiten teilweise mit Parametern arbeiten, die nichts mit der zu erzielenden Aussage zu tun haben. Da wird einfach von Äpfeln auf Birnen geschlossen, natürlich dann mit „mathematisch-wissenschaftlichen“ Verfahren. Ich habe das fallbasiert hier (http://www.heise.de/ct/ausgabe/2014-21-Kaum-Kontrolle-ueber-Bewertung-der-Kreditwuerdigkeit-2393099.html) geschildert.
Es sei „dahin gestellt“, ob die Aufsichtsbehörden dies überprüfen können. Faktisch, auch das habe ich überprüft, hat es in den letzten sechs Jahren noch keine einzige Behörde in einem eigenständigen, unabhängigen Gutachten mangels Personal/Budget getan. Der Hamburgische DSB hat nun eines angefragt – es kostet 60.000 Euro – sein freies Gesamtbudget beträgt 80.000 Euro, das er für die Facebook-/Google-Geschichten braucht.
Die Vorstellung von Algorithmikern ist gut, genauso wie ich den Glauben daran, man müsse den Verbraucher nur ausreichend informieren, damit alles gut wird, bezweifle. Der Verbraucher steht auch in gutem Wissen letztlich allein auf weiter Flur.
Es ist illusorisch anzunehmen, dass die Aufsichtsbehörden irgendwann erheblich besser ausgestattet werden. Das zeigt das Datenschutzbarometer ja deutlich. Da wird höchstens um eine einzige Stelle hart gerungen. Stellensteigerungen, wie die, auf das sich das BSI jetzt freuen darf, sind illusorisch. Warum auch immer.
Hier auch ein netter Zahlenvergleich zur Ausstattung der Behörden und ihrer Öffentlichkeitsarbeit: http://schulzki-haddouti.de/?p=808
Die Diskussion sollte sich eigentlich nicht in immer neuen Forderungen ergehen, sondern darin, ob die Aufsichtsbehörden jetzt die Regeln überhaupt wirksam machen können. Sonst bleiben wir einfach im symbolischen Politikbereich.
Vielen Dank für die Anmerkungen.
Welchen IT-Sachverstand benötigt wird, um Algorithmen fachmännisch zu prüfen/zu kontrollieren, kann ich naturgemäß nicht beurteilen. Ich bin ja nur Jurist. Aber ich glaube nicht daran, dass Algorithmen eine „Black Box“ sind (http://www.slate.com/articles/technology/future_tense/2015/05/algorithms_aren_t_responsible_for_the_cruelties_of_bureaucracy.html). „Black Box“ sind sie nur für uns Juristen (oder Journalisten oder Politiker oder Verbraucherschützer). Genauso wie manches Juristendeutsch eine „Black Box“ für den ITler sein wird.
Was wir unter „Neutralität“ verstehen, ist weniger eine technische als eine gesellschaftliche (und auch juristische) Frage. Das ist komplex, und wir stehen erst am Anfang der Diskussion. So mag es zB bei Versicherungen so sein, dass „neutral“ ist, was bisher schon an Differenzierungen erlaubt ist. Nicht „neutral“ dagegen die Heranziehung von Faktoren, bei der gesellschaftlich keine Unterscheidung gewollt ist (zB. Übergewicht, Nikotinsucht).
Die Datenschutzbehörden sind schwach ausgestattet. Das ist ein Problem. Aber gelegentlich gibt es auch ein Übergewicht der Juristen, die im Datenschutz – wie in anderen Lebensbereichen – dazu neigen, sich Sachverstand anzumaßen, den ein Jurist nicht haben kann. Also: weniger Juristen, mehr ITler in die Behörden.