Onder invloed van de klimaatverandering en intelligente technologieën verandert de democratische rechtsstaat. Natuur en technologie sturen het beleid en nemen beslissingen voor ons. Het is de vraag of we zelf ons gedrag nog kunnen blijven normeren.
Te veel kennis over de toekomst dreigt bij deskundigen en aan universiteiten te blijven hangen. Het is tijd die kennis daar op te halen en een publiek gesprek te voeren over de veranderingen die op ons afkomen.
Let’s bring this new reality to the problems we face – and they aren’t technical problems, they are societal problems. Let’s include more – many more – than the usual suspects at a conference on the future of AI.
Kostte me 50% minder (Engelstalige editie), is vele malen beter geschreven, intelligenter, vollediger, interessanter, grappiger, besteedt aandacht aan alle aspecten van AI, en de gevolgen ervan, sleept klimaatverandering en klimaatactivisten er NIET met de haren bij, is beter doordacht, biedt stof tot nadenken op tal van terreinen.
Ík kan helaas mijn 14 euro niet meer terugkrijgen, maar kan wel iedereen, die geïnteresseerd is en meer wil weten van AI en de gevolgen van het inzetten van AI (op tal van gebieden), de tip geven om die euro's in 12 Bytes (Twaalf bytes: Heden en toekomst van kunstmatige intelligentie) te steken. De rest van Doe zelf normaal, dat niet AI-gerelateerd is, is net zomin interessant, omdat Februari simpelweg niets zinnigs meldt.
Wie zich zorgen maakt over het rechtstelsel, maar tegelijkertijd de rechtsgang van klimaatactivisten veroordeelt (die het beu zijn dat de overheid wel wetten verzint en soms in werking laat treden, maar vervolgens gewoon doorgaat met gedogen van het overtreden van die en eerder aangenomen wetten) is wat mij betreft af.
Wie zijn boek begint met het aanhalen van een artikel van meer dan honderd jaar geleden dat waarschuwt voor klimaatverandering en in de rest van het boek klimaatverandering presenteert als een probleem dat plotseling dringend is en niet snapt dat het eigenlijke probleem de wijze is waarop onze politici al decennialang hun oren laten hangen naar het bedrijfsleven én zich daar meer en meer mee vermengen (en oa daarom nalaten om maatregelen te nemen), in plaats van het naar de rechter stappen van klimaatsactivisten, kan ik niet serieus nemen.
En dan heb ik het nog maar niet over het gegeven dat Maxim totaal vergeten lijkt te zijn dat de coronamaatregelen, zeker in eerste instantie, werden genomen omdat er alleen al in Noord-Brabant honderden coronadoden per week vielen en de lijken zowat op straat lagen (in sommige delen van de wereld letterlijk). En ja, het toonde aan dat via technologie snel controles op beperkingen zouden hebben kunnen worden uitgevoerd (hoewel...). Was het een goed idee? Werkte het? Daar kan geen antwoord op gegeven worden, want het is nooit helemaal uitgevoerd.
Alleen maar 'nee' zeggen, zonder daar iets anders dan 'we moeten onze conflicten bediscussiëren en uitpraten en in drie alinea's een aantal alternatieven daarvoor wegvegen', is niet heel erg overtuigend en in ieder geval niet interessant genoeg om tot overpeinzing aan te zetten. Bovendien, was het Einstein niet die meldde dat insanity is doing the same thing over and over and expecting a different result?
En nee, Maxim, inderdaad... het was en is geen goed idee om ons maar over te geven aan de Google's van deze wereld, maar dat weet iedereen met meer dan drie hersencellen, zeker na het lezen van Twaalf bytes. Ik vermoed dat zelfs onze politici dat - diep in hun hart - wel weten.
Het Wereld Economisch Forum werkt samen met Stanford University aan de ontwikkeling van AI for the Earth. Tegen 2040 wil het over een systeem van monitoring, modellering en beheer van de hele aarde beschikken dat bepaalt welke acties er ondermeer op het vlak van landbouw, waterwinning, visserij en bosbeheer moeten ondernomen worden om de planeet te redden. Mensen zullen er niet aan te pas komen. Alles zal beslist worden door computers. Machtig, zal u nu misschien denken, waartoe de mensheid zoal in staat is, maar niet zo de Nederlandse essayist en rechtsfilosoof Maxim Februari. We moeten de planeet niet redden, schrijft hij in het essay Doe zelf normaal, die zorgt wel voor zichzelf. De grootste bekommernis zouden we moeten hebben voor de mens. Want de combinatie van de klimaatcrisis en de belofte dat AI alles zal oplossen zorgt ervoor dat onze democratie en grondrechten steeds meer in de verdrukking komen. Een gedigitaliseerd informatiesysteem is immers geen verbeterde versie van de mens. Het dreigt politiek te herleiden tot een dashboard, aldus Februari. We leven in een wereld waarin het steeds makkelijker is om data te verzamelen en dus te weten te komen wat mensen doen en denken. Die laten immers overal sporen na, via zoekmachines natuurlijk, maar ook via klanten- en lidmaatschapskaarten. We worden gevolgd door slimme camera’s en slimme vuilnisemmers houden bij wat we weggooien. Op basis daarvan is het dus mogelijk om het profiel van de modale Vlaming, Belg of Europeaan te bepalen en deze op zijn wenken te bedienen. Hoe wil hij dat het beschikbare overheidsgeld gespendeerd wordt? Daar valt best een gemiddelde in te vinden, wat AI vandaag trouwens al doet, maar leidt dit ook tot een rechtvaardig systeem waarbij voor iedereen gezorgd wordt, ook voor de kleine minderheid? Algoritmes doen wat hen opgedragen wordt, en zij doen dit heel secuur en strikt. Gevoel hebben ze niet en uitzonderingen op de regel kennen ze niet. Bovendien worden ze ook nogal eens door privéfirma’s ontwikkeld, waardoor de overheid steeds meer geprivatiseerd wordt en stadsambtenaren geen idee hebben waarom bepaalde zaken gedaan of gelaten worden. Ze doen gewoon wat de computer hen zegt. Een samenleving bestaat bij conflict en discussie, aldus Februari, en laat het nu net deze twee zaken zijn die zowel klimaatwetenschap als AI willen uitbannen. Doe zelf normaal is een bijzonder overtuigende en erudiete waarschuwing voor de mensheid. Geef je rechten niet uit handen, bezweert het essay de burger, maar zoals we met het grote succes van de Covid Safe-app zagen, is die maar al te bereid zijn grondrechten in te leveren voor een paar zilverlingen.
Er zijn kinderen die op dit eigenste moment buiten een sneeuwman aan het maken zijn, volwassenen scheppen dan weer het sneeuw van voor hun deur. Ik hou mezelf lekker warm binnen en heb besloten dat ik me vanaf nu de komende maanden naast mediatheorie bezig zal houden met technologiefilosofie. Iedereen houdt zich op zijn/haar manier bezig.
De reden dat ik me de komende maanden meer wil bezig houden met een uitermate spannend onderwerp als technologiefilosofie is dit boek van filosoof-essayist Maxim Februari.
Ik leerde Februari kennen in een interview in de Knack die vorig jaar uitkwam rond de kerstperiode. Sindsdien heb ik, omdat ik het artikel zo interessant vond, dit boek altijd in het achterhoofd gehouden en nu heb ik het dus ook daadwerkelijk gelezen. Het is goed. Niet exceptioneel, gewoon goed. De sterkte zit ‘m niet in het feit dat Februari hier gigantisch inzichtvolle stellingen poneert, want dat doet hij niet, hij geeft eerder een soort zetje om zelf verder na te denken, geeft ons de ruimte om zelf onze meningen te vormen. Dat apprecieer ik en ik ga dan ook gretig gebruik maken van alle ruimte om na te denken die meneer Februari me gegeven heeft en ik zal er waarschijnlijk ook wel het één en het ander over schrijven naarmate ik me meer in het onderwerp van de verhouding tussen technologie en maatschappij verdiep, mede aan de hand van de bronnen die de auteur hier aanreikte en die gretig opgeschreven en omcirkeld werden in mijn notitieboekje, The Onlife Manifesto lijkt vooral interessant, het staat zelfs volledig online in een pdf, maar het online lezen is geen optie, want ik ben principieel tegen digitaal boeken lezen, mensen die uitsluitend via e-readers lezen zijn gestoord en moeten naar de hel gaan.
“De geschiedenis van de mensheid is een aanhoudend belichaamd gesteggel over de normering en regulering van gedrag, over waarden en de beslechting van conflicten erover. We kunnen dat gesprek op dit moment van de geschiedenis stopzetten maar ik ben daar niet voor. Zolang er nog een menselijke samenleving is, is het van belang dat de mensen zich verhouden tot elkaar en tot de wet.
(…)
Het boek is uit en u wilt op de valreep nog snel een oplossing van mij: een antwoord op alle vragen. Is er geen app? Helaas, nee, geen app. Er is een politieke gemeenschap, een rechtsgemeenschap, die digitaal wakker moet worden.”
Een goed en belangrijk essay/boek. De invloed van AI op onze samenleving en rechtsstaat is/wordt veel groter dan we ons nu beseffen. Waarom dan toch maar 3 sterren? Omdat het voor mij, met weinig kennis van recht en niet veel meer over AI en klimaatverandering, erg lastig is om te volgen soms. Bovendien is de schrijfstijl C2+. De schrijver is ongetwijfeld enorm intelligent en gebruikt niet met opzet moeilijke woorden om interessant te doen, maar ik moet af en toe de van Dale raadplegen. Dat haalt het leestempo er toch een beetje uit ;-)
Dit boek had ik nooit gelezen als ik het niet als tip van Tom de Ket had gekregen. Een essay over de rechtstaat? Wil ik daar iets over weten? Maar ja daar wil ik dus wel wat over weten want ik heb dit boek met veel plezier gelezen. Regels afdwingen met behulp van IT leek me altijd een heel goed idee maar ik volg Maxim als hij laat zien dat daar grote gevaren aan zitten. Het heeft zelfs tot aanpassingen in ons gezin geleid. In plaats van afgedwongen maximale schermtijd voor onze kids leide een goed gesprek tot mooie nieuwe afspraken en af en toe controle ipv een knetterharde deadline van 30 min. YouTube per dag.
Maxim Februari in optima forma. Complexe materie die Maxim duidelijk uitlegt. Het is voor mij moeilijk om de inhoud in 1 of 2 zinnen samen te vatten. Komt erop neer dat door de technologie en AI de democratie afbrokkelt en dat democratie juist nodig is bij belangrijke vraagstukken als de klimaatcrisis. En bij crisissen is dan juist weer een snellere besluitvorming nodig dan democratie biedt. Als je van nadenken houdt dan is dit boek een aanrader.
Vlugschrift met interessante verkenningen op het terrein van klimaat, technologie, democratie en burgerschap. Kun je democratische besluitvorming uitbesteden aan AI en wat zijn hiervan de gevaren? Februari betoogt overtuigend dat wij ons als samenleving hier veel te weinig mee bezighouden. Politiek herleiden tot een dashboard dat werkt met big data en algoritmes haalt de factor mens uit democratie en grondrechten: dat is vast efficiënt maar slecht nieuws voor een groot deel van de mensheid.
In deze fase van de 21ste eeuw heeft de mensheid te maken met twee grote systemen. De aarde, de natuur, het klimaat, recent een Covid-epidemie, een systeem dat zich van de mensheid weinig aantrekt. En kunstmatige intelligentie, data-informatiesystemen, algoritmen, de technologische infrastructuur die door mensen is ontwikkelt maar door digitalisering zelfstandiger wordt. Met name dit tweede systeem krijgt steeds meer invloed op onze samenleving, op het bestuur en op de manier waarop het recht wordt toegepast. Waarbij de macht om menselijk gedrag af te dwingen van de wetgevende en rechterlijke macht kan verschuiven naar de uitvoerende macht en naar bedrijven die systemen bouwen, algoritmes vaststellen en data beheren.
Maxim Februari stelt in zijn essay dat deze ontwikkelingen niet alleen een brede ontwikkeling van AI-deskundigheid vraagt, maar vooral een nieuwe oriëntatie op de democratische rechtstaat. Waarbij een keuze moet worden gemaakt om systemen van intelligente technologiën transparant te maken en ook te onderwerpen aan beginselen van recht en moraal. Het alternatief is een vorm van besturen waarbij data in een dashboard tot besluiten en sturen van gedrag gaan leiden. Dit vereist een nieuwe, ethische theorie waar informatietechnologie in wordt opgenomen. Die verder gaat dan John Rawls en zijn rechtvaardigingsprincipes.
En nee! Er is geen app. Er is een politieke gemeenschap en een rechtsgemeenschap die digitaal wakker moeten worden.
Dit boek leest lekker weg en zet aan het denken. Ik ben het eens met Februari op veel punten en vind zijn schrijfstijl charmant en vaak grappig. En op momenten was ik gegrepen en geïnspireerd, vooral als hij schrijft over het rechtssysteem en de invloed van digitalisering en vernetwerking daarop.
Op andere momenten was ik gefrustreerd en een beetje boos. Het ontbreekt namelijk nogal eens aan onderbouwing: een voetnoot met een enkele verwijzing is niet genoeg om grote claims over kunstmatige intelligentie, verandering van het recht, of meta-ethiek te legitimeren. Op een gegeven moment schrijft hij zonder blikken of blozen: “Langzamerhand willen de machines, de robots, ook rechten”, en stond ik op het punt het boek uit het raam te gooien.
Ik heb een vriendin die heel pragmatisch is, veel meer dan ik, en die zou nu denken: godallemachtig dat eeuwige gezeik over onderbouwing ook altijd. En ze zou misschien zeggen: dit is geen wetenschappelijke publicatie, dit is een essay. Het moet behapbaar blijven voor het publiek en het publiek is over het algemeen niet geïnteresseerd in de details. Februari wil mensen wakker schudden — kijk en zie hoe ons rechtssysteem voor onze ogen verandert — en daarin slaagt hij.
Dat is zo. Maar toch. Toch is het ook, of misschien wel juist, in zo’n essay belangrijk om feit en fictie te scheiden voor zover dat kan, en nauwkeurig te zijn in wat we roepen. Juist als het gaat om AI, big data etc., richten grandioze en ongefundeerde claims meer schade aan (angst, onwetendheid, misinformatie; gebrek aan weerbaarheid en geïnformeerde besluitvorming) dan dat ze goeddoen. Nuance doet niet af aan de boodschap. Sterker nog, nuance ís de boodschap, wat mij betreft.
Uiteindelijk toont dit boek voor mij dus vooral de noodzaak van gedegen interdisciplinair onderzoek. Dit onderwerp vraagt om boeken die juridisch, stilistisch, filosofisch én technisch goed in elkaar zitten, en op die twee laatste vlakken schiet dit boek helaas vaak net (en soms heel erg) tekort.
Door computers verhouden mensen zich anders tot wetten en de rechtstaat. Het wordt moeilijker om je niet aan de wet te houden. Lijkt mij minder een probleem dan hoe Februari het schetst.
Citaten (met soms mijn reactie):
Al met al stuurt code ons gedrag effectiever dan een wet ook als die code zelf niet in strikte zin een wet is. p14
De meest tragische miskleunen, schrijft Scott (Seeing Like a State), kwamen voort uit een gevaarlijke combinatie van elementen. Ten eerste was er die overtrokken ambitie om de wereld langs rationele weg te ontwerpen en de natuur langs rationale weg te ordenen en te onderwerpen. Ten tweede maakte de staat ongebreideld gebruik van zijn macht om de doelen te bereiken. En ten derde had je te maken met een samenleving die hier niet tegenop kon. p28
Maar als die nood-breekt-wetaanpak inbreuk maakt op grondrechten, als hij democratische legitimatie mist, omdat hij is opgesteld door bestuurders die daarmee te veel macht opeisen en daarover te weinig verantwoording afleggen, als je kortom de hele infrastructuur van de democratische rechtsstaat overboord zet, geef je wel erg snel erg veel gewonnen aan de virussen en ecosystemen die ons bedreigen. p37
Mag je iemand vermoorden die de levens van anderen in gevaar brengt? Eigenlijk niet. (Karel van het Reve) De dubbelzinnigheid van dit woord 'eigenlijk' is precies waar de ethische reflectie op normen om draait: dat 'eigenlijk' stuwt het eeuwenoude gesprek binnen de mensheid voort; de interpretatieproblemen erom- heen los je in deze eenentwintigste eeuw niet opeens op met een verzameling gegevens en een rekenmodel. p42
Bij de Amerikaanse verkiezingen van 2016 oefende het bedrijf Cambridge Analytica invloed uit via profielen van Facebook-gebruikers; op grote schaal kre- gen de gebruikers gepersonaliseerde advertenties toegestuurd, waardoor Donald Trump won, zoals we allemaal weten. p52 (Causaal verband, “waardoor”, dat er helemaal niet was)
Het droombeeld van het besturen met data past goed in de toenemende kwantificering van de maatschappij. Je meet gedragJe beweert te weten wat je meet, en alles wat je niet meet, bestaat niet. p63
Of die patronen zinvol zijn of niet, interesseert de machines ook al niet. Volgens hun berekeningen loop je meer kans in een zwembad te verdrinken in een jaar waarin een film met Nicolas Cage uitkomt dan in een jaar zonder Nicolas Cage. Datawetenschappers gebruiken dit voorbeeld om te laten zien dat er 'onzinverbanden' opduiken uit grote bakken met data. p73 (Die correlatie komt hier vandaan https://www.tylervigen.com/spurious-c.... En daar heb je niet een enorme machine voor nodig, dus dat “volgens hun berekeningen” vind ik nogal tendentieus)
Techbedrijven maken regels en kunnen die dwingend op- leggen: ze oefenen staatsmacht uit over de burger doordat beslissingen al zitten ingebakken in de systemen waarmee overheden de samenleving besturen. p103
Er komt een dashboard in plaats van een constitutie. p118
Ofwel je besteedt het normeren van gedrag uit aan een technologische infrastructuur die grotendeels in private handen is. Ofwel je ziet de bevolking als een politieke gemeen- schap, een rechtsgemeenschap, die zichzelf normeert, regu- leert, en die erover beraadslaagt wat goed en wenselijk is. In het hedendaagse bestuurlijke denken staan deze twee vormen van ethiek tegenover elkaar en beide hebben ze hun pleitbezorgers en hun aanhang. p124
Een heel relevant boek waarin Maxim Februari waarschuwt voor de risico’s van de vernetwerkte samenleving. We staan nu nog aan het roer, zegt hij, maar straks kan dat zomaar niet meer zo zijn, omdat de technologie met ons aan de haal gaat. En degenen die NU moeten handelen, vindt hij, zijn vooral de mensen die deel uitmaken van de politieke en rechtsgemeenschap.
Zelfs als je afzonderlijke algoritmes vertrouwt, stelt hij, dan weet je nog niet wat de effecten zullen zijn van het samenspel van al die met elkaar pratende bronnen of ‘smart’ technologieën. “Technologieën zijn niet geïnteresseerd in hoedjes, ridderzalen of grondwetten.” (...) “Ze vormen geen morele gemeenschap met ons.” En dat is het gevaar. Hij geeft beeldende (echt bestaande) voorbeelden zoals wagentjes die niet meer buiten het supermarktterrein kunnen rijden. Ook niet als je auto toevallig aan overkant staat! Dan moet je al je boodschappen eerst eruit halen. De mens heeft op deze momenten geen morele keuze meer om zo’n wagentje terug te brengen of niet. De keuze wordt door de technologie (en de bazen daarvan) voor hem gemaakt en dat maakt ook zijn geweten ‘lui’. Op deze manier is Februari ook kritisch over het gevolgde coronabeleid van de Nederlandse overheid en op de risico-indicatoren die diezelfde overheid gebruikt heeft om ‘mogelijke’ uitkeringsfraude of andere fraude op te sporen. Het zorgt voor uitsluiting van groepen, omdat de algoritmes geen moreel besef hebben. “Het wantrouwen gaat in feite vooraf aan het ontwerp van zo’n systeem” ,schrijft hij.
Februari geeft aan dat we steeds meer afscheid aan het nemen zijn van oude democratische instituties, omdat burgers dingen ‘onderling’ willen regelen en niet meer via de oude kanalen. “Oude begrippen zijn niet meer toereikend om de nieuw ontstane werkelijkheid te beschrijven.” Hij waarschuwt daarom de politici en rechtsgeleerden dat er een fundamenteel andere inrichting nodig is van de wereld en het rechtssysteem vanwege de steeds verder gaande digitalisering. Hij schetst om dit zichtbaar te maken bepaalde doemscenario’s (of toekomstscenario’s?) van een democratie die totaal gecomputeriseerd zal zijn en die ook data zal bevatten van ongeborenen en niet menselijke entiteiten (zoals de natuur). Die worden dan meegenomen in bepaalde berekeningen, die tot bepaalde beslissingen leiden. Hij noemt deze vorm van samenleving postelectoraal. Alleen, waarschuwt hij: zo’n netwerk is geen demos meer, want het is geen morele gemeenschap. Het is dan eigenlijk postdemocratisch geworden, oftewel: een datacratie.
Door dit soort beelden te schetsen, probeert Februari nieuwe denkkaders te creëren, waarmee verder gewerkt kan worden om de steeds maar toenemende technologie en vernetwerking het hoofd te kunnen bieden, voordat het niet meer te overzien is. Het is de hoop dat de mensen die hij voor ogen heeft het boek zullen lezen.
Hoe gaat de mensheid verder, ingeklemd tussen het natuurgeweld dat het gevolg is van klimaatverandering en de ongecontroleerde ontwikkeling van datatechnologie? Zijn we in staat AI te ‘constitutionaliseren’, te onderwerpen aan onze democratische (dus menselijke) rechtsregels en grondrechten? Kunnen we onze ‘oude’ manieren aan AI opleggen, kunnen we zorgen dat in alle gevallen echte mensen ‘accountable’ zijn voor de bedoelde en onbedoelde gevolgen van AI? Gaat dat nog lukken, of passen onze oude denkstructuren en rechtsregels niet op de nieuwe datagedreven werkelijkheid, waarbij AI zelfs ons gedrag gaat beïnvloeden en we daardoor in de algoritmes gevangen raken? Al zouden we het willen, zijn we nog in staat om te constitutionaliseren (en de EU doet moedige pogingen om met wetgeving te komen), of kun je de nieuwe werkelijkheid niet meer stroomlijnen op basis van de aloude methodes? Veel informatie stroomt buiten de kanalen van onze traditionele democratische rechtstaat. Krijgen we dat weer terug?
Maxim Februari stelt belangrijke vragen. Daaronder ligt de vraag welk risico we lopen als menselijke intelligentie - die sterk verbonden is met ons lichaam, de medemens en onze omgeving - moet (over)leven in een wereld waar rekenregels steeds meer de dienst uitmaken en data onze keuzevrijheid zal beperken of zelfs overbodig zal maken. En daaronder ook nog de vraag of we aankijken tegen de illusie van vrije wil en de vraag of we ‘bewustzijn’ kunnen loskoppelen van de mens als fysiek, biologisch wezen. Filosofische kwesties die opeens zeer actueel worden. Vragen die ongemak oproepen en waar we wel iets mee moeten, willen ongeschonden tussen de kliffen van klimaatverandering en technologische ontwikkeling door laveren naar een nieuw evenwicht in de menselijke ontwikkeling. Grote woorden en belangrijke vragen.
Belangrijk boek over een belangrijk onderwerp. Met veel kennis van zaken geschreven. Toch maar drie sterren omdat het uiteindelijk toch vooral blijft overtuigen dat het belangrijk is dat we beseffen dat technologie en AI de democratische rechtstaat veranderen. Dat besef had ik al en ik denk velen van de doelgroep, de vraag is wat we kunnen doen om daar zo goed mogelijk mee om te gaan. Als zelfs denkers als Maxim Februari daar niet meer suggesties voor kunnen geven vind ik het wel zorgelijk worden. Zo ben ik het bijvoorbeeld eens dat het eng was dat we met QR codes en de app een nieuwe manier van denken hebben geïntroduceerd. Maar als er geen suggesties zijn hoe je direct op dat moment in hoog tempo daar een goede maatschappelijke discussie over kan voeren kan een maatschappij bijna niet anders dan het maar in te voeren. Het roepen dat het gevaarlijk is is gewoon niet genoeg. Daarnaast wordt het gevaar wel opgeblazen. Bij diverse voorbeelden heb ik de indruk dat de werkelijke reden dat het zo gaat een andere is dan wat Maxim aanneemt. Het is lang niet altijd vanwege efficientie of gemak, maar omdat in de praktijk zonder inzet van technologie ook al veel misbruik of misstanden zitten die om een oplossing vragen. Er zitten wel grote risico’s aan het inzetten van technologie, maar er zitten ook grote risico’s aan het niet inzetten ervan. En dat besef mis ik in het boek.
Vanwege die twee gevoelens geef ik het niet meer dan drie sterren. Als je echter je nog afvraagt of het wel gevaarlijk is wat we momenteel doen raad ik het boek van harte aan.
Weet niet zo goed wat ik van dit essay moet vinden. Pas tegen het einde vond ik het een beetje goed worden, maar het slot vond ik dan weer waardeloos. Alsof Maxim Februari dacht: "Oh, shit, ik zit aan m'n gestelde woordlimiet, tabee, ik sluit even af met een alinea die nergens op slaat."
Er worden wel veel verschillende kanten van AI en datasturing benoemd en hoe dat de rechten van de mens en de democratische rechtsstaat ondermijnt. Dat is interessant om te lezen. Onder andere het voorbeeld van de corona-QR, waar ik me toen het ingevoerd werd ook het een en ander over afvroeg. Want ja: volledig digitaal, de menselijke maat wordt niet meer meegenomen, één vinkje kan al zorgen voor 'computer says no', de mens is fout by default.
Maxim Februari kaart serieuze thema's aan in dit essay, het had naar mijn mening nog iets dieper en duidelijker uitgewerkt mogen worden. Wel een goed boek om te lezen, past ook erg goed bij de minor die ik vorig jaar gevolgd heb over privacy en informatieveiligheid.
This entire review has been hidden because of spoilers.
I know Februari as a columnist in a Dutch newspaper called NRC and always find his columns thought-provoking. He's one of the people who makes me enjoy changing my mind about a topic. This collection of essays revolves around the fact that we, as citizens, are losing our moral independence to toothbrushes, shopping carts, and GPS-controlled speed limited cars.
Because rules are enforced by machines, reasonable exceptions to them are impossible. Because rules are drawn up by machines, which rely on the data that the same toothbrushes send to them for our preferences, we replace the rule of law with a nanny-state (my words). The well-intentioned attempts of governments to create the perfect conflict-free world ignores the fact that people are different and that is precisely why we had set up the rule of law and democracy.
Everyone should read this. Especially people who think computers will save us.
In dit essay betoogt Maxim Februari dat niet alleen de klimaatverandering maar ook de zich snel ontwikkelende technologie onze democratie in gevaar brengt. Door de stortvloed aan veranderingen die op ons afkomen, is men geneigd de techbedrijven de ruimte te geven om oplossingen te bieden, maar daardoor komt het recht onder druk te staan. Ondanks haar relativerende toon wijst Februari op het indringende gevolg daarvan, dat al tijdens de corona epidemie zichtbaar werd: een technologisch model zoals men dat in China met succes toepast maar dat de mens ondergeschikt maakt aan zijn data. Het is tijd om ons niet te laten overspoelen door de technologische vernieuwing, maar wakker te worden en te vechten voor onze vrijheid.
De overheid besteedt allerlei taken uit aan systemen die zogenaamd slim zijn en werken met algoritmes. Maar welke data erin gaan en wat de algoritmes doen, wordt steeds oncontroleerbaarder. Niet alleen voor de burgers, zelfs voor de bouwers van die systemen. Als die systemen steeds meer de norm bepalen waaraan wij moeten voldoen, ontstaat er een soort extra entiteit waar wetgevende, uitvoerende noch controlerende macht greep op hebben. Dat is potentieel ondermijnend voor de democratie. Tel daarbij op dat we sinds corona weten hoe een overheid zich kan opstellen in tijden van crisis, en de wens van sommigen om bijvoorbeeld de klimaatcrisis aan te pakken door normen te stellen – die je zou kunnen handhaven met behulp van systemen die mensen in hun gedrag begrenzen – en je ziet voor je hoe we, als we niet oppassen, onszelf overgeven aan een maatschappij waar niemand meer controle heeft over de controle. (En ’t stomme is: als je dit zegt, schaar je jezelf in de hoek van de wappies. Dat wil ik ook niet, maar dat lijkt me onvoldoende reden om het dan maar te laten gebeuren.)
Ingenieus boek over de digitalisering van de maatschappij en de staat en de gevolgen die dat heeft voor de democratie en vooral het individu. Geen eenvoudige kost met geen simpele antwoorden. Wel duidelijker dan ooit: laat je niet door technocratische argumenten (als die zich nog voordoen als zodanig) in de luren leggen, ontmythologiseer ze en neem de tijd om de discussie aan te gaan over de grondbeginselen van ons samenleven en de keuzes voor de toekomst. Ook al vragen talrijke crises om haast en snelle antwoorden.
Dit is zo'n boek waarvan je hoopt dat veel bestuurders, politici, beleidsmakers, juristen en wie dan ook het zullen lezen, omdat het stemt tot nadenken over belangrijke thema's waaraan nu nog te weinig aandacht lijkt te zijn besteed.
Ik denk niet dat het een spoiler is om te zeggen dat Februari niet met al te veel antwoorden komt, maar hij komt in ieder geval met de vragen die gesteld moeten worden en enkele mogelijke oplossingsrichtingen. Eindelijk een "ik stel alleen maar vragen" in de goede betekenis :)
Zou verplichte koste moeten zijn op zowel middelbare scholen, in de Tweede Kamer als op menig minsterieel bureau. Je hebt wel eens trollende twitteraars die zich verschuilen achter 'ik stel gewoon maar een vraag!' maar Maxim Februari laat zien hoe dat echt moet, goede vragen stellen. Het is een spoedcursus vragen stellen over hoe crisissen (en de manier waarop politiek daarmee omgaat) en AI/algoritmes de menselijke maat langzaam maar zeker verdringen van het bestuurlijke en rechterlijke speelveld.
De auteur laat je nadenken over het ontstaan van wetten. Je hoopt dat de makers van wetten mensen zijn, maar steeds meer lijkt de mens buitenspel te worden gezet door computers, data, AI. En het erge is dat er weinig debat lijkt te ontstaan in de samenleving (over de vorming van wetten).
Ik vind het een beetje jammer dat Februari voor zijn doen helder en begrijpelijk schrijft. Zijn columns voor NRC (die hij helaas niet meer schrijft) begreep ik meestal maar half, ze waren wel een feest om te lezen.
Sterk betoog voor het blijven voeren van gesprekken over de plaats van technologie in onze onder druk staande samenleving. Ik herken veel van mijn bedenkingen bij AI en technologie toepassingen, zeker ook omdat dit essay niet per se tegen ze is, maar vooral motiveert om deze niet (alleen) in handen te laten van tech bedrijven en andere ondernemingen die weinig nadenken over de impact van technologie op de samenleving.
Goed om nog eens te lezen over een jaartje denk ik.
Rizzelt van namen, citaten, aangehaalde onderzoeken of gebeurtenissen - en daardoor eigenlijk weinig eigen gedachten van Februari eruit te destilleren. Boeiende materie, maar geen lekker lezend betoog. Ik had graag meer in depth uitgewerkte gedachten en argumenten in dit essay gezien. Maar daarover zegt de auteur zelf "dat hij het ook niet weet", en "de tijd hem ontbreekt"... Dat noem ik nou een gemiste kans. Go big or go home, zoiets.
Ik vind de observaties sterk en relevant voor onze tijd: de vernetwerkte samenleving, een overheid die steunt op systemen, voorspelling van gedrag op basis van informaitestromen etc. - het vergeet dat ons huidig democratisch systeem is op menselijke, lijfelijke dialoog; praten met elkaar. Van daaruit komen normen en die blijven onderwerp van gesprek.
Dat schuurt.
Maar hoe we dat bij elkaar brengen is de auteur nog niet uit. Helaas :-)
Belangrijke vragen stelt Maxim Februari. Actuele ook. Wat doet de noodzaak ferm op te treden in deze klimaatcrisis met de democratie en het rechtstelsel? Idem, wat doet de razendsnel voortschrijdende tech-ontwikkelong met de democratie en het rechtstelsel. Moeilijke vragen verwoord in een aanstekelijk essay. Helaas zijn de antwoorden minder makkelijk.