Een vriend van me, die een groot televisieproductiebedrijf runt in de autogekke stad Los Angeles, merkte onlangs dat zijn stagiaire, een aspirant-filmer uit de Volksrepubliek China, naar haar werk liep.

Toen hij aanbood om een snellere manier van vervoer te regelen, weigerde zij. Toen hij vroeg waarom, legde ze uit dat ze “de stappen” op haar Fitbit nodig had om zich aan te melden bij haar social media accounts. Als ze onder het juiste aantal stappen kwam, zou het haar gezondheid en fitness rating, die deel uitmaakt van haar sociale rating, die wordt gecontroleerd door de overheid, verlaagd worden. Een lage sociale beoordeling zou haar ervan kunnen weerhouden om in het buitenland te werken of te reizen.

Het sociale beoordelingssysteem van China, dat in 2014 door de regerende communistische partij werd aangekondigd, zal binnenkort een feit zijn voor veel meer Chinezen.

Tegen 2020, als het plan van de partij geldt, zal elke voetstap, toetsaanslag, like, dislike, sociale media contact, en posting bijgehouden door de staat van invloed zijn op iemands sociale rating.

Persoonlijke “kredietwaardigheid” of “betrouwbaarheid” punten zullen worden gebruikt om individuen en bedrijven te belonen en te straffen door hen toegang te verlenen of te weigeren tot openbare diensten zoals gezondheidszorg, reizen en werkgelegenheid, volgens een plan dat vorig jaar door de gemeentelijke overheid van Peking is uitgebracht. Hoog scorende individuen zullen zich in een “groen kanaal” bevinden, waar ze gemakkelijker toegang hebben tot sociale kansen, terwijl degenen die acties ondernemen die door de staat worden afgekeurd, “niet in staat zullen zijn om een stap te zetten”.

Big Brother is een opkomende realiteit in China. Toch lijkt in het Westen de dreiging dat overheidstoezichtsystemen voor toezicht worden geïntegreerd met de bestaande toezichtcapaciteiten van grote bedrijven als Facebook, Google, Microsoft en Amazon in één gigantisch alziend oog zeer weinig mensen te storen, zelfs als landen als Venezuela snel het Chinese model hebben gekopieerd.

Het kan hier niet gebeuren, toch? Wij zijn iPhone-eigenaren en leden van Amazon Prime, geen vazallen van een eenpartijstaat. We zijn slimme consumenten die weten dat Facebook onze interacties volgt en Google ons spullen verkoopt.

Toch lijkt het mij dat er weinig reden is om aan te nemen dat de mensen die grote technologiebedrijven runnen enig belang hebben bij het toelaten van pre-digitale folklore om hun 21ste-eeuwse engineering- en bedrijfsmodellen te verstoren, niet meer dan negentiende-eeuwse industriebaronnen bijzondere aandacht voor wetten of mensen toonden die hun spoorwegen en staal trusts in de weg stonden.

Evenmin is er veel reden om aan te nemen dat de technologen die onze gigantische consumentendata-monopolies beheren, een beter idee hebben van de toekomst die ze aan het bouwen zijn dan de rest van ons.

Facebook, Google en andere big-datamonopolisten houden gedragssymbolen en signalen al op een schaal en met een frequentie bij die weinigen van ons begrijpen. Vervolgens analyseren, verpakken en verkopen ze die gegevens aan hun partners.

Een blik in de innerlijke werking van de wereldhandel in persoonsgegevens werd begin december gegeven in een 250 pagina’s tellend rapport van een Britse parlementaire commissie, dat honderden e-mails bevatte tussen hooggeplaatste Facebook-managers. Het liet onder andere zien hoe het bedrijf stiekeme manieren ontwikkelde om voortdurend bijgewerkte sms’jes en belgegevens van Android-telefoons te verkrijgen. In reactie hierop beweerde Facebook dat gebruikers moeten “opt-in” voor het bedrijf om toegang te krijgen tot hun teksten en gesprekken.

De machines en systemen die de techno-monopolisten hebben gebouwd veranderen ons sneller dan zij of wij begrijpen. De omvang van deze verandering is zo groot en systemisch dat wij mensen niet in staat zijn om de gevolgen in te schatten – misschien wel gedeeltelijk vanwege de manier waarop onophoudelijk gebruik van smartphones ons vermogen om aandacht te besteden aan iets dat langer is dan 140 of 280 karakters heeft beïnvloed.

Terwijl het idee van een “recht op privacy” bijvoorbeeld hopeloos ouderwets en onpraktisch begint te lijken in het licht van steeds meer indringende datasystemen – waarvan de ogen en oren, dat wil zeggen onze smartphones, ons overal volgen – zo wordt ook onze overtuiging dat andere individuele rechten, zoals vrijheid van meningsuiting, op de een of andere manier heilig zijn dat.

Samen met miljarden andere mensen in grote netwerken, verbonden met behulp van denkmachines, is geen ervaring die mensen al eerder hebben beleefd. De beste gidsen die we hebben voor deze opkomende realiteit zijn wellicht mislukte 20e-eeuwse totalitaire experimenten en sciencefiction. Daarover later iets meer.

De snelheid waarmee op individuele rechten en privacy gebaseerde sociale regelingen instorten zal waarschijnlijk afhangen van de snelheid waarmee Big Tech en het Amerikaanse nationale veiligheidsapparaat een relatie die de afgelopen tien jaar steeds dichterbij is gekomen, tot stand brengen. Hoewel de Amerikaanse bewakingsagentschappen geen regelmatige real-time toegang hebben tot de gigantische hoeveelheden gegevens die worden verzameld door onder meer Google, Facebook en Amazone-voor zover we weten, zijn er hoe dan ook anekdotische en harde bewijzen die erop wijzen dat de eens zo verre planeten van consumenten Big Tech en Amerikaanse bewakingsagentschappen snel opgaan in één enkele corporate-bureaucratische levenswereld, waarvan het potentieel voor het volgen, sorteren, gaslichten, manipuleren en censureren van burgers kan resulteren in een zachtere versie van de Chinese Big Brother.

Deze verontrustende tendensen versnellen gedeeltelijk, omdat Big Tech steeds meer gehecht is aan (verstrengeld raakt met) Washington, dat weinig stimulans heeft om de gouden gans te doden die zijn belasting- en politieke schatkist vult. Een van de leidende bedrijven voor lobbyactiviteiten in Washington, DC, was het moederbedrijf van Google, Alphabet, dat volgens het Center for Responsive Politics meer dan $ 18 miljoen heeft uitgegeven. Het lobbyen van het Congres en de overheid helpt technologiebedrijven zoals Google bij het binnenhalen van grote overheidscontracten. Misschien nog belangrijker, het dient als een schild tegen pogingen om hun lucratieve bedrijven te reguleren.

Als er al iets is, dan is dat het meten van de stroom van tech dollars die in Washington, DC, advocatenkantoren, lobby-outfits, en denktanks de invloed van Big Tech binnen de Beltway radicaal onderschat. Door de Washington Post te kopen, nam Jeff Bezos van Amazon de directe controle over de thuiskrant van Washington. Door een van de twee nieuwe hoofdkwartieren van Amazon in het nabijgelegen Northern Virginia te lokaliseren, maakte Bezos van het bedrijf een belangrijke werkgever in het gebied – met 25.000 banen.

Wie krijgt die banen? Vorig jaar kondigde Amazon Web Services de opening aan van het nieuwe AWS Secret Region, het resultaat van een 10-jarig, $600 miljoen contract dat het bedrijf in 2014 van de CIA won. Dit maakte Amazon de enige aanbieder van clouddiensten in “het volledige scala aan data-indelingen, waaronder niet geclassificeerd, Sensitive, Secret en Top Secret,” volgens een persbericht van Amazon.

Toen de door de CIA beheerde self-contained servers van de CIA eenmaal operationeel waren, volgde de NSA snel het voorbeeld en kondigde het zijn eigen geïntegreerde big-data-project aan. Vorig jaar verhuisde het agentschap de meeste van zijn gegevens naar een nieuwe geclassificeerde computeromgeving die bekend staat als de Intelligence Community GovCloud, een geïntegreerde “big data fusion-omgeving”, zoals de nieuwssite NextGov het beschreef, die overheidsanalisten in staat stelt om “de punten” te verbinden met alle beschikbare gegevensbronnen, al dan niet geclassificeerd.

De oprichting van IC GovCloud moet iedereen de rillingen bezorgen die begrijpt hoe krachtig deze systemen kunnen zijn en hoe resistent ze zijn tegen traditionele vormen van toezicht, waarvan de eigen staat van dienst als slecht kan worden omschreven.

Amazon’s IC GovCloud werd al snel beantwoord door Microsoft’s beveiligde versie van zijn Azure Government cloud service, op maat gemaakt voor het gebruik van 17 Amerikaanse inlichtingendiensten. Amazon en Microsoft zullen naar verwachting allebei belangrijke bieders zijn voor het beveiligde cloudsysteem van het Pentagon, het Joint Enterprise Defense Initiative-JEDI – een contract dat waarschijnlijk minstens 10 miljard dollar waard zal zijn.

Met zo veel potten met goud die wachten aan het einde van de Washington, DC, regenboog, lijkt het een kleine stap voor technische bedrijven om onze persoonlijke gegevens – die juridisch gesproken eigenlijk hun gegevens zijn om te zetten naar de spionage agentschappen die hun winsten te garanderen. Dit is de dreiging die nu in zicht komt. Het is iets waar we nu rekening mee moeten houden, voordat het te laat is.

In feite zijn BIG tech en de toezichthoudende instanties al partners. Volgens een rapport uit 2016 van Reuters ontwierp Yahoo software op maat om de e-mails van haar gebruikers te filteren en berichten af te leveren bij de NSA die door een reeks zoektermen werden getriggerd.

De beveiligingschef van het bedrijf stopte uit protest toen hij van het programma hoorde. “Yahoo is een gezagsgetrouw bedrijf, en voldoet aan de wetten van de Verenigde Staten,” zei het bedrijf in een verklaring, die de activiteit niet ontkende, en impliceerde dat het overdragen van gebruikersgegevens aan overheidsinstanties legaal is.

Hoewel Google heeft verklaard dat het geen privégegevens zal verstrekken aan overheidsinstellingen, strekt dat beleid zich niet verder uit dan de grenzen van Amerika. Op hetzelfde moment dat Yahoo gebruikersgegevens aan de NSA voedde, ontwikkelde Google een zoekmachine genaamd Dragonfly in samenwerking met de Communistische Partij van China. In een brief verkregen door The Intercept, vertelde Google CEO Sundar Pichai een groep van zes Amerikaanse senatoren dat Dragonfly “brede voordelen binnen en buiten China” kon hebben, maar weigerde om andere details van het programma vrij te geven.

Volgens de documenten verkregen door The Intercept, zou Dragonfly de toegang beperken tot brede categorieën van informatie, het verbieden van zinnen als “mensenrechten”, “studentenprotest,” en “Nobelprijs” terwijl het koppelen van online zoekopdrachten aan het telefoonnummer van een gebruiker en het bijhouden van hun fysieke locatie en bewegingen, die allemaal vermoedelijk van invloed op de sociale ratings of erger nog veel erger, als je toevallig een Oeigoer bent of een lid van een andere moslim minderheidsgroep in China, van wie er meer dan 1 miljoen nu in heropvoedingskampen zitten. Het digitale surveillancenetwerk van China is een belangrijk instrument waarmee de Chinese autoriteiten moslims en anderen die heropvoeding nodig hebben, kunnen identificeren en opsporen.

Google werkt ook actief samen met het Amerikaanse inlichtingen- en defensiecomplex om zijn AI-capaciteiten in wapenprogramma’s te integreren. Op hetzelfde moment dat Google zijn brief over Dragonfly naar het Congres stuurde, voltooide het bedrijf een overeenkomst met het Pentagon om deel te nemen in Project Maven, dat tot doel heeft elementen van AI in bewapende drones op te nemen – een contract dat naar verwachting minstens 250 miljoen dollar per jaar waard is. Onder druk van zijn werknemers zei Google in juni dat het haar Project Maven-contract niet wil vernieuwen wanneer het in 2019 afloopt.)

Terwijl Apple er een punt van maakt om zijn iPhones en SmartWatches niet te ontgrendelen, zelfs niet onder druk van wetshandhavings- en bewakingsinstanties, worden bedrijven als Google en Facebook, die enorme winsten maken met het analyseren en verpakken van gebruikersgegevens, geconfronteerd met een heel andere set van incentives.

Amazon, dat zowel consumentengegevens verzamelt en analyseert als een breed scala aan huishoudelijke apparaten voor consumenten met microfoons en camera’s erin verkoopt, kan bewakingsagentschappen met name verleidelijke mogelijkheden bieden om hun bestaande microfoons, camera’s en gegevens opnieuw te gebruiken.

Het bedrijf is al onder juridische druk komen te staan ??van rechters die opdracht hebben gegeven om opnames van Echo-apparaten af te geven die kennelijk zijn gemaakt zonder medeweten van hun gebruikers. Volgens een huiszoekingsbevel dat is uitgevaardigd door een rechter die een zaak wegens dubbele moord in New Hampshire probeerde e onderzoeken en die werd verkregen door TechCrunch, had de rechtbank “waarschijnlijke aanleiding om te geloven” dat een “Echo Fire” zowel geluidsopnames die de aanval vastlegden als “gebeurtenissen” die aan de aanval voorafging opgepikt had. “Amazon vertelde de Associated Press dat het dergelijke opnames niet zou vrijgeven” zonder een geldige en bindende wettelijke eis die correct aan ons wordt betekend “, een antwoord dat lijkt te suggereren dat de betreffende opnames bestaan.

Onder welke voorwaarden, indien van toepassing, zou Amazon overheidsinstellingen toegang geven tot consumentengegevens of het uitgebreide netwerk van microfoons en camera’s van het bedrijf als bewakingsnetwerk gebruiken, zijn vragen die nog moeten worden beantwoord. Maar omdat Washington steeds weer dure tools en systemen van bedrijven als Google en Amazon koopt, is het moeilijk voor te stellen dat technologen aan beide kanten van deze relatie niet al op zoek zijn naar manieren om hun tools, systemen en gegevens verder te integreren.

De flipside van die paranoïde visie van een evoluerende Amerikaanse bewakingsstaat is de droom dat de nieuwe systemen van het analyseren en verspreiden van informatie krachten voor het goede kunnen zijn, niet voor het kwade. Wat als Google de CIA hielp bij het ontwikkelen van een systeem dat hielp bij het filteren van nepnieuws, bijvoorbeeld, of een nieuw Facebook-algoritme hielp de FBI potentiële schutters te identificeren voordat ze hun klasgenoten vermoordden? Als mensen rationele rekenmachines zijn, zal het filteren van de informatie die we ontvangen dan niet leiden tot betere beslissingen en ons tot betere mensen maken?

Zulke dierbare hoop heeft een lange geschiedenis. Progressief techno-optimisme gaat terug tot de oorsprong van de computer zelf, in de correspondentie tussen Charles Babbage, de 19de-eeuwse Engelse uitvinder die zich de “difference engine” voorstelde – het eerste theoretische model voor moderne computers – en Ada Lovelace, de briljante futurist en dochter van de Engelse romantische dichter Lord Byron.

{ ingekort }

De Victoriaanse techno-optimisten die zich voor het eerst het digitale landschap voorstelden waarin we nu leven, dachten dat denkmachines een kracht voor harmonie zouden zijn, in plaats van het kwaad, die in staat zouden zijn om mooie muziek te maken en uitdrukkingen te vinden voor “fundamentele relaties” van welke aard dan ook, volgens een strikt mathematische calculus.

Het idee dat social engineering een efficiëntere en rechtvaardigere maatschappij zou kunnen helpen produceren, werd weerspiegeld in de Amerikaanse progressieven van het begin van de 20e eeuw. Anders dan de Europese socialisten uit de 19e en de vroege 20e eeuw, die de organische kracht van lokale gemeenschappen verdedigden, stelden de Amerikaanse progressieven uit het begin van de 20e eeuw, zoals Herbert Croly en John Dewey, hun vertrouwen in de opkomst van een nieuwe klasse van geschoolde wetenschapper-priesters die de samenleving van bovenaf zouden herontwerpen volgens een strikte utilitaire calculus.

{ ingekort }

“Amazon doet geweldige dingen voor enorme hoeveelheden mensen”, vertelde Chuck Schumer, de minderheidsleider van de senaat, aan Kara Swisher of Recode in een recent interview waarin hij ook goedkeurende uitspraken deed over Facebook en Google. “Ik ga naar mijn kleine technologiebedrijven en vraag: ‘Hoe behandelt Google jou in New York?’ Veel van hen zeggen: ‘Veel eerlijker dan we hadden gedacht.’”

Big Tech bedrijven en executives zijn blij om de gunst terug verlenen aan hun progressieve vrienden, waaronder Schumer.

Maar de gezellige relatie tussen mainstream-democraten en Silicon Valley werd geschokt in november 2016, toen Donald Trump Hillary Clinton versloeg, deels door zijn beheersing van sociale mediaplatforms zoals Twitter. Het toeschrijven van het verkiezingsresultaat aan Russische bots of geheime deals met Poetin verried een schok dat wat links had beschouwd als hun culturele eigendom tegen hen was gekeerd door een rechtse populist wiens autoritaire neigingen angst en afkeer inboezemden bij zowel de technocratische elite als de Democratische partijbasis.

Maar in de juiste handen, zo bleven de progressieven mijmeren, zouden informatiemonopolies krachtige instrumenten kunnen zijn voor het opnieuw bedraden van samenlevingen die misvormd zijn door racisme, seksisme en transfobie. Denkende machines kunnen worden geleerd om slechte informatie en sociaal negatieve gedachten uit te filteren. Goede algoritmes, in tegenstelling tot wat Google en Facebook momenteel gebruiken, kunnen neonazi’s, leveranciers van haatdragende taal, Russische bots en transfoben censureren en tegelijkertijd kiezers ontmoedigen om meer Trumps te kiezen.

De crowdsourced wijsheid van platforms zoals Twitter, aangedreven door kringen van elkaar goedkeurende, blauw gecontroleerde “experts”, zou een collectieve wil tot gerechtigheid kunnen mobiliseren, die dan op retrograde instellingen en individuen zou kunnen worden afgedwongen. Het resultaat zou een betere sociale orde kunnen zijn, of zoals data-wetenschapper Emily Gorcenski het uitdrukte, “revolutie”.

De droom van gecentraliseerde controle over monopolistische informatieverschaffers kan ook worden gebruikt voor meer prozaïsche politieke gebruiken, of dat moeten politici die worden geconfronteerd met een gefragmenteerd en tumultueus landschap van digitale media hopen. Vooruitlopend op de verkiezingen van volgend jaar voor het Europees Parlement, die in mei zullen plaatsvinden, tekende de Franse president Emmanuel Macron een overeenkomst met Facebook waarin functionarissen van zijn regering regelmatig met leidinggevenden van Facebook bijeenkomen om “haatzaaiende uitingen” te politioneren.

Het programma, dat zal worden voortgezet tijdens de verkiezingen van mei, heeft blijkbaar weinig gedaan om brandstofrellen te ontmoedigen door de “gilets jaunes”, die Parijs en andere Franse steden in vuur en vlam hebben gezet, zelfs als een bewering dat een verandering in Facebook’s lokale nieuwsalgoritme verantwoordelijk was voor de rellen snel werd opgepikt door de Franse media figuren dicht bij Macron.

De informatierevolutie als gevolg van de opkomst van digitale technologieën kan nog krachtiger blijken te zijn dan de Gutenbergrevolutie (boekdrukkunst, Fub); en waarschijnlijk ook bloedig. Ons onvermogen om ons te bekommeren om een ingrijpende revolutie in de manier waarop informatie wordt verzameld, geanalyseerd, gebruikt en gecontroleerd, zou ons bang moeten maken. Het is in deze context dat zowel rechtse als linkse facties van de Amerikaanse elite de fusie van het Amerikaanse militaire en inlichtingencomplex met Big Tech als een goede zaak lijken te accepteren, zelfs als gecentraliseerde controle over informatie nieuwe kwetsbaarheden voor rivalen creëert om te exploiteren.

De poging om de Amerikaanse informatieruimte te onderwerpen aan een vorm van top-down, publiek-private controle werd op zijn beurt weer mogelijk gemaakt en misschien, in de hoofden van velen van zowel rechts als links, noodzakelijk gemaakt door de ineenstorting van de Amerikaanse institutionele pers in de 20e eeuw. Nog maar twee decennia geleden was de sociale en politieke macht van de institutionele pers nog zo groot dat het vaak “de vierde macht” werd genoemd – een zinvolle controle op de macht van de overheid. De term wordt zelden meer gebruikt, omdat het monopolie op het gedrukte en gesproken woord dat de pers zijn macht gaf, nu verdwenen is.

Waarom? Omdat in een tijdperk waarin elke smartphonegebruiker een drukpers in zijn zak heeft, er weinig meerwaarde zit in het bezit van een echte fysieke drukpers. Hierdoor is de waarde van “legacy” printmerken in waarde gedaald. Waar het gedrukte woord ooit een zeldzaam goed was, zijn vandaag de dag bijna alle woorden die overal worden geschreven ergens online beschikbaar. Wat zeldzaam is, en dus geld waard, zijn geen gedrukte woorden maar fracties van onze aandacht.

De Amerikaanse mediamarkt wordt vandaag de dag gedomineerd door Google en Facebook, grote platforms die samen de aandacht van de lezers en daarmee het leeuwendeel van de online reclame controleren. Daarom was Facebook, waarschijnlijk de grootste uitgever van nepnieuws ter wereld, recentelijk 426 miljard dollar waard en is Newsweek in 2010 voor 1 dollar van eigenaar gewisseld en bestaan veel ooit bekende tijdschrifttitels helemaal niet meer in druk.

Het operationele, functionele verschil tussen de media van vandaag de dag en de Amerikaanse media van twee decennia geleden is niet het verschil tussen old-school New York Times verslaggevers en nieuw-mediabloggers die koppige ‘takes’ uit hun bureau halen. Het is het verschil tussen al die media mensen, oud en nieuw, en programmeurs en leidinggevenden bij bedrijven als Google en Facebook. Een set van belangrijke sociale functies – het communiceren van ideeën en informatie – is overgedragen van de ene set van bedrijven, die opereren onder de ene set van wetten en waarden, naar een andere, veel krachtiger set van bedrijven, die opereren onder verschillende wetten en zichzelf op een andere manier begrijpen.

Volgens artikel 230 van de Communications Decency Act zijn informatiedienstverleners beschermd tegen dure smaadzaken en andere vormen van risico’s voor uitgevers. Die bescherming stelde Google en Facebook in staat om hun bedrijf op te bouwen ten koste van “oude media” uitgevers, die op hun beurt het steeds moeilijker vinden om te betalen voor originele verslaggeving.

De media promootten en versterkten ooit verhalen die een meerderheid of de meerderheid van de Amerikanen als “waar” kon beschouwen. Dat is nu vervangen door de creatie en versterking van uitersten. De overweldigende lelijkheid van ons openbare discours is niet toevallig; het is een kenmerk van het spel, dat gestructureerd is en wordt gebruikt voor de winst van miljardair-monopolisten, en dat verslavend gebruik aanmoedigt.

Het resultaat is het ontstaan van een sociaal toxisch vacuüm in het hart van de Amerikaanse democratie, waaruit informatiemonopolisten als Google en Facebook alle winst hebben opgezogen, waardoor hun gebruikers rijp zijn voor top-down surveillance, manipulatie en controle.

Vandaag hebben de gedrukte pers en de spiegel (de schrijver had in een van de ‘ingekorte’ stukken en heel betoog over de gelijketijdige uitvinding van de gedrukte pers en de handspiegel die hij vergeleek met de huidige ‘selfies’, Fub) zich in de iPhone en andere persoonlijke apparaten verenigd, die in een netwerk zijn samengebracht. Tien jaar later, dankzij AI, kunnen die netwerken en de entiteiten die hen controleren – overheidsinstanties, particuliere bedrijven of een unie van beide – een eigen leven gaan leiden. Misschien is de beste manier om te voorzien hoe deze toekomst zich kan afspelen om terug te kijken naar hoe sommige van onze meest vooruitziende science fiction schrijvers hebben geworsteld met de toekomst die nu voor ons ligt.

Het idee van intelligente machines die oprijzen om te concurreren met de mensen die ze hebben gebouwd, werd zelden overwogen tot Samuel Butler’s Erewohn, dat in 1872 werd gepubliceerd. Voortbordurend op Darwin, stelde Butler voor dat als de soort kan evolueren ten koste van de zwakken, de machines dat ook kunnen, totdat ze uiteindelijk zelfvoorzienend zouden worden. Sindsdien heeft sciencefiction ons de beste gidsen gegeven voor hoe menselijke samenlevingen gemedieerd of gerund door intelligente machines eruit kunnen zien.

Hoe de machines precies zouden kunnen overnemen, werd voor het eerst voorgesteld door Karel Capek’s R.U.R.R., het spel uit 1921 dat ons de term robot opleverde. Interessant is dat de automaten van Capek geen machines zijn: ze komen voort uit de ontdekking van een nieuw soort bio-materie dat verschilt van het onze, in die zin dat het geen misbruik of onafhankelijke verlangens koestert. In het stuk zijn de mensen degeneranten die stoppen met hun voortplanting en bezwijken voor hun meest egoïstische en vreemde grillen – terwijl de robots onfeilbaar blijven in hun berekeningen en onvermoeibaar zijn in hun toewijding om te werken. De machines nemen het snel over en doden alle mensen behalve een enkele technicus die toevallig werkt en denkt als een robot.

In de derde acte van het stuk staat de ingenieur, die in opdracht van de robots andere robots moet ontleden om ze nog beter te maken, op het punt om het mes in twee robots te zetten, een man en een vrouw, die verliefd zijn geworden. Ze smeken om het leven van de ander, waardoor de ingenieur begrijpt dat ze mens zijn geworden; hij spaart hen en verklaart hen tot de nieuwe Adam en Eva. Dit soulvolle thema van zelfbewustzijn als ware maat voor de mensheid werd door tientallen latere sciencefictionauteurs opgepakt, met name door Philip K. Dick in Do Androids Dream of Electric Sheep?, dat de film Blade Runner werd.

Maar zelfs klassieke 20e-eeuwse dystopieën zoals Brave New World van Aldous Huxley of George Orwell’s 1984 vertellen ons weinig over de gevaren voor vrije samenlevingen door de fusie van big data, sociale netwerken, consumentenbewaking en AI.

Misschien lezen we de verkeerde boeken. In plaats van terug te gaan naar Orwell voor een idee van hoe een naderende dystopie eruit zou kunnen zien, zouden we misschien beter af zijn als we We lezen, dat bijna een eeuw geleden werd geschreven door de Russische schrijver Yevgeny Zamyatin. We is het dagboek van de staatswiskundige D-503, wiens ervaring van de zeer ontwrichtende emotie van liefde voor I-330, een vrouw wiens combinatie van zwarte ogen, witte huid en zwart haar voor hem zo mooi maakt. Deze perceptie, die ook een gevoel is, trekt hem in een samenzwering tegen de gecentraliseerde bewakingsstaat.

The Only State, waar We plaatsvindt, wordt geregeerd door een zeer geavanceerde wiskunde van geluk, beheerd door een combinatie van programmeurs en machines. Terwijl de liefde is geëlimineerd uit de enige staat als inherent discriminerend en onrechtvaardig, is seks dat niet. Volgens de Lex Sexualis, de geslachtscode van de regering, “heeft elk nummer recht op elk ander nummer als een seksobject.” Burgers of nummers worden uitgegeven als rantsoenboeken met roze seksbonnen. Zodra beide nummers het ticket ondertekenen, mogen ze samen een “seksuur” doorbrengen en de gordijnen in hun glazen appartementen laten zakken.

Zamyatin was vooruitwetend in het verbeelden van de werking en ook de onderliggende morele en intellectuele fundamenten van een geavanceerde moderne bewakingsstaat, geleid door ingenieurs. En als in 1984 de tegenstelling tussen geluk en vrijheid werd onderzocht, introduceerde Zamyatin een derde term in de vergelijking, die volgens hem revolutionairder en ook inherent menselijker was: schoonheid. De subjectieve menselijke perceptie van schoonheid, zo betoogde Zamyatin, langs lijnen die Liebniz en Searle zouden kunnen goedkeuren, is van nature menselijk, en daarom uiteindelijk niet te verenigen met de logica van machines of met een utilitaire calculus van rechtvaardigheid.

In We is de regel van het utilitaire geluk belichaamd in de Integral, een gigantische computermachine/ruimteschip dat “andere onbekende wezens die andere planeten bewonen, misschien nog in een wilde staat van vrijheid, in het juk van de rede zal dwingen”. Door het elimineren van vrijheid en alle oorzaken van ongelijkheid en afgunst, beweert de Enige Staat een oneindig geluk aan de mensheid te garanderen – door middel van een perfecte calculus die de Integraal zal verspreiden door het hele zonnestelsel.

In werkelijkheid zijn seksuele relaties een plaats van afgunst en ongelijkheid in de Enige Staat, waar de macht berust in de handen van een onzichtbare elite die zich ergens uit het zicht voorbij de wolken heeft verborgen. Maar de echte bedreiging voor het ideaal van geluk, geïncarneerd in het Integraal, is niet ongelijkheid of afgunst of verborgen macht. Het is schoonheid, die niet rationeel of gelijkwaardig is, en tegelijkertijd niemand uitsluit of het plezier van iemand anders beperkt, en daarom frustreert en ondermijnt het elke utilitaire calculus. Voor D-503 is dans mooi, wiskunde mooi, het contrast tussen I-330’s zwarte ogen en zwart haar en witte huid is ook mooi. Schoonheid is het antwoord op de dringende vraag van D-503: “Wat is er Verder?” (“What is there beyond?”)

Schoonheid is het ultieme voorbeeld van menselijke onvrijheid en onredelijkheid, een subjectiviteit die geworteld is in onze biologie, maar tegelijkertijd geworteld is in externe absolute waarden zoals wiskundige verhoudingen en de beweging van de tijd. Zoals de criticus Giovanni Basile in een buitengewoon scherpzinnig kritisch essay schrijft: “The Algebra of Happiness“, is de utopie die Zamyatins dystopie impliceert “een wereld waarin geluk verweven is met een natuurlijke onvrijheid die niemand anders oplegt: een andere vrijheid dan die waarmee de Grote Inquisiteur de mensheid beschermt: een paradoxale vrijheid waarin er geen ‘macht’ is, zo niet in de aard der dingen, in de muziek, in de dans en in de harmonie van de wiskunde”.

Tegenover een gecentraliseerde bewakingsstaat die een onbeweeglijke en valse orde en een illusoir geluk oplegt in naam van een utilitaire calculus van “rechtvaardigheid”, concludeert Basile, ziet Zamyatin een andere utopie: “In feite kan alleen binnen het ‘hier en nu’ van de schoonheid de vergelijking van geluk als volledig geverifieerd worden beschouwd”. De mens zal nooit ophouden met het zoeken naar schoonheid, benadrukt Zamyatin, omdat hij mens is. Ze zullen elke poging om hun verlangens te herordenen volgens de logica van de machines afwijzen en vernietigen.

Een nationaal of wereldwijd surveillancenetwerk dat weldoende algoritmen gebruikt om menselijke gedachten en acties een nieuwe vorm te geven op een manier die volgens de elites rechtvaardig of nuttig is voor de hele mensheid, is nauwelijks de weg naar een nieuw Eden. Het is de weg naar een gevangenenkamp. De vraag is nu, net als in eerdere dergelijke momenten, hoe lang het zal duren voordat we toegeven dat het raadsel van het menselijk bestaan niet het antwoord is op een vergelijking. Het is iets dat we allemaal voor onszelf moeten maken, voortdurend, van onze eigen materialen, in momenten waarvan de duurzaamheid slechts een droom is.

Bron:

IS BIG TECH MERGING WITH BIG BROTHER? KINDA LOOKS LIKE IT

David Samuels is a contributing writer at The New York Times Magazine. He is a longtime contributor to Harper’s, N+1 and The New Yorker.

Meld je aan voor onze nieuwsbrief:

[newsletter_form button_label=”Abonneer!”]

[newsletter_field name=”email” label=”Email”]

[/newsletter_form]