Digitalisierung: Fragiles Gleichgewicht
Die Digitalisierung führt nicht automatisch zu einem besseren Leben. Denn dafür müsste radikal umgedacht werden. Fünf Beispiele, wo es noch hapert, und zwei, die Hoffnung machen.
Illustration: Timo Lenzen
Algorithmen, künstliche Intelligenz und Datensammlungen erreichen fast jeden Winkel des menschlichen Lebens. Dabei werden längst nicht alle auf die Reise mitgenommen – stattdessen führt die Digitalisierung zu neuen Formen der Ausgrenzung. Andererseits finden manche Menschen, die am Rand der analogen Gesellschaft leben, nur dank digitaler Mittel ihren Weg (siehe Surprise 548/23 und 550/23).
Klar ist: Die Digitalisierung ist eine vielschichtige Gratwanderung. Diese zu meistern und die Chancen und Risiken auszuloten, haben sich digitale Ethiker*innen zur Aufgabe macht. Sie untersuchen, wie die Digitalisierung verantwortungsvoll ablaufen kann. Das vorläufige Fazit: Bestehende Ungleichheiten werden durch digitale Mittel alleine kaum je aus der Welt geschafft. Integration und die Ermächtigung von Minderheiten gelingen nur dort, wo sie explizit zum Ziel gemacht werden – sei es mit fairen Algorithmen oder dank Unterstützungstools für die Schwachen in unserer Mitte. Lässt man der Entwicklung einfach ihren Lauf, resultieren auch in der algorithmischen Welt Ausbeutung, Rassismus und Leistungsdruck. Ein flüchtiger Augenschein.
Überwachungskapitalismus
Ist von Kolonialismus die Rede, denken viele von uns wohl an Kaffee, Segelschiffe, Sklaverei und Genozid. Und an Länder, die sich in einem anderen Land Ressourcen an eignen, um damit schamlos ökonomischen Profit zu machen. Im digitalen Zeitalter hat der Kolonialismus einen neuen Dreh erhalten: Digitalkonzerne wie Google oder Apple können ihre Produkte oft nur deshalb entwickeln und programmieren, weil sie enorme Datenmengen sammeln, für die sie nicht bezahlt haben. Datenmengen, die sie sich in praktisch jeder digitalen Interaktion aneignen, ohne dass wir dazu unser Einverständnis geben. Denn jede Suchanfrage im Internet, jede Wegnavigation mit dem Smartphone und jede Verwendung von «smarten» Endgeräten generiert nebenbei interessante Daten, welche die grossen Digitalkonzerne zu nutzen wissen.
Das System dahinter bezeichnet die Soziologin Shoshana Zuboff als «Überwachungskapitalismus». Das tägliche Leben, unser Alltag und sogar unsere Körper generieren durch die Digitalisierung Informationen, mit denen Konzerne wiederum neue Produkte entwickeln oder alte verbessern können – um daraus Profit zu schlagen.
Ein Beispiel: Die Fitnessuhren von Fitbit versprechen dank der Aufzeichnung von Puls, Schrittanzahl und so weiter ein gesundes Leben. Doch gleichzeitig liefern die Uhren an unseren Handgelenken dem Unternehmen eine Unmenge von Daten über unsere Körper und unser Leben. Diese nutzt Fitbit – ohne dafür zu bezahlen –, um ihre Uhren oder Apps weiterzuentwickeln und dann wieder an uns zu verkaufen. Ein Modell, das offenbar lukrativ ist: 2019 übernahm Google Fitbit für 2,1 Milliarden Dollar, um damit die eigenen digitalen Gesundheitsdienstleistungen zu verbessern. Der digitale Kolonialismus dreht sich nicht um Öl, Kautschuk und Bananen, sondern um die Spuren, die unser Leben im Netz hinterlässt.
Krankenkassen wünschen sich gesunde Menschen. Diese zahlen ihre Prämien, beanspruchen aber wenig Leistungen. Entsprechend versuchen die Kassen, ihre Kund*innen zu einem «gesunden Lebensstil» zu bewegen. Immer öfter geschieht das mit Apps – so auch bei der Helsana. Wer die Helsana+App nutzt, kann täglich Punkte sammeln und Geldprämien erhalten. Bis zu 300 Franken winken im Jahr. Dafür muss man bloss die Anweisungen auf dem Smartphone befolgen. Wer ein Frühlingsrezept des Helsana Coach nachkocht und ein Beweisfoto einschickt, erhält 150 Punkte. Eine Runde durch den Wald joggen ist – mit der Fitnessuhr aufgezeichnet – 100 Punkte wert. Und 15 Minuten Achtsamkeitsübungen werden mit 50 Punkten belohnt.
Helsana ist kein Einzelfall. Apple, Google und Versicherungen auf der ganzen Welt geben vor, dadurch die «Gesundheit zu demokratisieren». Sie schwätzen uns digitale Mittel auf, damit wir «dieeigene Gesundheit in die Hand nehmen». Ein perverses Narrativ. Denn die teuren Gadgets mit Pulsaufzeichnung oder Schlafanalyse können sich nur jene leisten, die ohnehin genug Geld haben, um grundsätzlich gesund zu leben. Einer Schichtarbeiterin bringt es reichlich wenig, wenn sie von der Smartwatch ermahnt wird, ihren Schlafrhythmus zu «optimieren». Eine Alternative für Menschen mit weniger Geld ist, sich durch die Versicherungen überwachen zu lassen, um an günstige Prämien und Belohnungen zu kommen. Hinter der Demokratisierung steckt also eine Sortiermaschine: Entweder hat man das nötige Kleingeld zur Verfügung und lässt sein Leben datafizieren oder man ist schlicht selber schuld, wenn man krank wird – und ist dann wo möglich schlechter versichert.
100 MB
an Daten erfasst eine Smartwatch über den*die Träger*in pro Monat.
25 000
Kameras betreibt die SBB
Kein Gedicht ohne «clickwork»
Im Frühling 2023 verbreitete sich ChatGPT wie ein Lauf feuer. Das sogenannte Large Language Model (LLM) konnte wunderbare Konversationen führen, Gedichte im Stil von Homer schreiben, Code programmieren oder Liebesbriefe verfassen. Damit das gelingen konnte, wurde ChatGPT in den Jahren zuvor mit einer gigantischen Menge an Daten gefüttert: aus Wikipedia, Newswebsites, Diskussionsforen, Büchern oder Patenten. So kamen ins gesamt mehrere hundert Gigabyte Daten zusammen – vieles davon urheberrechtlich geschützt.
Aber Achtung, schrieben die Entwickler*innen des Chatbots: «GPT3 wurde mit willkürlichen Daten aus dem Internet trainiert und kann daher anstössige Inhalte und Sprache enthalten.» Diese Warnung kam nicht von ungefähr. Denn was dabei herauskommt, wenn ein Chatbot ungefiltert auf die Welt losgelassen wird, erlebte Microsoft bereits am 23. März 2016. Damals veröffentlichte der Konzern den Chatbot Tay, musste ihn aber schon nach 16 Stunden wieder vom Netz zu nehmen. Innert kürzester Zeit war Tay zu einer rassistischen, hetzerischen Software mutiert.
Um das bei ChatGPT möglichst auszuschliessen, wurden in Kenia sogenannte Clickworker*innen ausgebeutet. Kenia gehört zu den weltweit wichtigsten Märkten der Gig Economy. Für weniger als 2 Dollar in der Stunde mussten die Angestellten am Laufmeter verstörende, anstössige und illegale Inhalte, die vom Chatbot produziert wurden, erkennen und kennzeichnen. Das deckte das TimeMagazin auf. Dank der kenianischen Billigarbeiter*innen lernte das Programm, was erwünscht und was tabu war. Nicht nur war die Arbeit miserabel entlöhnt, sie war für die Menschen auch traumatisierend – täglich wurden sie mit höchst verstörenden, künstlich produzierten Aussagen konfrontiert. All das, damit wir uns für die nächste Geburtstagskarte in Sekundenschnelle ein Haiku dichten lassen können.
Überwachung ist eine zweischneidige Sache. Es ist ein ausgesprochen effizientes Werkzeug, um die eigene Bevölkerung auf Kurs zu bringen und unerwünschtes Verhalten zu sanktionieren. Mit sogenannten Antennensuchläufen lässt sich zum Beispiel in der Schweiz rekonstruieren, welche Mobiltelefone – und damit welche Menschen – sich zu einem bestimmten Zeitpunkt im Umkreis einer bestimmten Funkantenne aufhielten. Zugegeben: Das kann bei der Aufklärung von Verbrechen helfen oder die Suche nach vermissten Personen erleichtern. Es kann aber auch viele Unschuldige treffen. So wurden nach einer Vergewaltigung in Emmen im Juli 2015 die Daten von fast 2000 Handys detailliert ausgewertet und 371 Männer mussten einen DNA Test machen.
Die Uhr ruft Hilfe
Und doch: Welche frisch gebackenen Eltern sind nicht froh über ein Babyphone? Bei der Carearbeit können Überwachungstools eine Erleichterung sein. Stürzt der alleinlebende Vater im Badezimmer, wird das von der Smartwatch am Handgelenk sofort registriert – und die Uhr kann sogar automatisch Hilfe aktivieren. Menschen mit Demenz können dank GPSTrackern mehr Autonomie, Bewegungsfreiheit und Lebensqualität gewinnen. Sie und die Angehörigen wissen: Im Notfall werden sie gefunden. Eine Stütze für alle Beteiligten – aber auch sie mit Schattenseiten: Denn wie viel Überwachung bürden wir den Schwachen auf, nur da mit wir uns sicherer fühlen?
Die eGFR ist ein Wert, von dem die wenigsten gehört haben. Es sei denn, Sie haben eine Niereninsuffizienz und befinden sich auf der Warteliste für eine Nierentransplantation. Denn die «estimated Glomerular Filtration Rate» schätzt, wie gut eine Niere noch funktioniert. Dafür sind in den Spitälern verschiedene Schätzformeln im Einsatz. Gemeinsam ist ihnen, dass sie Menschen rassifizieren. Wer vom Personal als «Schwarz» klassifiziert wird, erhält automatisch bessere Nierenwerte – was mitunter einen negativen Einfluss auf die Behandlung hat. Die Begründung: Menschen mit dunkler Haut produzierten mehr Kreatinin pro Tag, was die Schätzung der eGFR beeinflusst. Die medizinische Beweislage dafür ist dünn und gespickt mit rassistischen Vorurteilen wie dem, dass Schwarze automatisch mehr Muskelmasse hätten.
So reproduzieren sich in Algorithmen die Vorurteile und rassistischen Diskriminierungen der analogen Welt. Weisse Menschen und Männer werden auf Bildern besser erkannt als Schwarze und Frauen. Beim «predictive policing» werden Menschen festgenommen oder kontrolliert, weil sie im «falschen» Quartier wohnen und die «falsche» Hautfarbe haben. Und in Übersetzungssoftware werden GenderStereotypen reproduziert: «The doctor arrived on time» wird zu «Der Arzt kam pünktlich», aber «The nurse arrived on time» wird zu «Die Krankenschwester kam pünktlich», dabei sind doctor und nurse im Englischen weder weiblich noch männlich. All das verdeutlicht: Algorithmen sind nicht automatisch fair – und schon gar nicht objektiv.
Nur nicht auffallen
In Basel gibt es 1260 Überwachungskameras im öffentlichen Raum. In Zürich dürften es über 4000 sein. Die SBB hat gemäss eigenen Angaben fast 25 000 Kameras installiert, dazu kommen tausende Kameras in Trams und Bussen. An deren Anblick haben wir uns gewöhnt, obwohl wir nicht wissen, was sich dahinter verbirgt. Viele Kameras sind heute «intelligent». Sie sind mit Software ausgestattet, die Gesichter und Muster erkennen können. Oder sie lassen sich mit einem System in der Zentrale verbinden, das diese Auswertungen in Echtzeit erledigt.
Der digital überwachte öffentliche Raum ist ein gefährlicher Trend. Wer ausschert oder sich «untypisch» verhält, ist suspekt. Menschen, die «herumlungern», wer den von intelligenten Kameras ebenso erkannt wie ein Entreissdiebstahl. Alles, was nicht in den geregelten Alltag passt, sticht heraus: eine gestürzte Person, jemand, der auf den Zug rennt oder in einem Mülleimer wühlt. Die automatisierte Gesichtserkennung, die potenziell alle von uns erfasst, ist lediglich die Spitze des Eisbergs.
Allzu gerne kritisieren wir autoritäre Überwachungsmethoden in fernen Ländern: Das Sozialkreditsystem in China oder die digitale Überwachung und Unterdrückung von Menschenrechtsaktivist*innen in SaudiArabien, Ecuador oder Griechenland. Was wir vergessen: Die gleichen Werkzeuge sind längst unter uns. Wer heute einen Job sucht, wird vermutlich einem Algorithmus begegnen. Algorithmen entscheiden, was für Angebote wir im Netz zu Gesicht bekommen. Und sie entscheiden immer öfter auch darüber, welche Bewerber*innen überhaupt in die engere Auswahl kommen. Das erspart den Personalbüros das aufwendige Durchforsten der Bewerbungsdossiers. Software wie HireVue oder Modern Hire kann au tomatisch entscheiden, wer weiterkommt, und schickt dem Rest eine Absage. Die Tools durchforsten Lebensläufe nach bestimmten Kriterien und werten das Motivationsschreiben oder Stimme und Mimik in einem Bewerbungsvideo aus. Das hat seine Tücken: Weil die Systeme im Training auf bestehende Daten zurückgreifen, können sich bereits vorhandene Diskriminierungen im Betrieb weiterverbreiten: Arbeiteten bisher vor allem weisse Männer im Unternehmen, könnte das System lernen, dass weisse Männer bevorzugt werden müssen. Diese Diskriminierung gibt es auch im herkömmlichen Bewerbungsverfahren – Algorithmen verfestigen sie weiter.
Dabei könnten Algorithmen und digitale Bewerbungsprozesse unsere Vorurteile und Diskriminierungen statt dessen auch ausmerzen. Das versucht ein Team der Universität Köln. Wenn man Algorithmen «nach den richtigen Kriterien aufsetzt und kontinuierlich mithilfe von Kontrollmechanismen auf ihre eigene Diskriminierung über prüft, treffen Algorithmen fairere Entscheidungen als Menschen», argumentieren die Forschenden. Denn die algorithmische Auswertung könne auch aufzeigen, wo Diskriminierung überhaupt stattfindet, und entsprechende Gegenmassnahmen einleiten.
Der flüchtige Augenschein zeigt: Algorithmen, Datensammlungen und Überwachung sind alles andere als Allheilmittel. Sogenannte technologische Solutionist*innen geben zwar vor, mit vielen Daten und schlauen Algorithmen noch das komplizierteste Problem gelöst zu bekommen. Doch den Beweis dafür sind sie uns nach wie vor schuldig. Zukunftsweisender wäre zudem, Profit und Effizienz nicht vor Gemeinschaft und Fairness zu stellen.