Van wie zijn de machines?

Eens droegen de mensen hun denken over aan machines, in de hoop dat dit hen zou bevrijden. Maar dat stelde slechts andere mensen met machines in staat hen tot slaaf te maken.

— Eerwaarde Moeder Gaius Helen Mohiam, in Dune van Frank Herbert

Mijn vorige post begon, al zei ik dat toen niet, met een berichtje van mijn schoonvader.

Hij is arts in een openbaar ziekenhuis in de VS, en hij wilde weten of ik had gehoord hoe bang iedereen daar was voor AI. Een van zijn collega’s had die dag een paniekaanval gehad. Ze was bang voor het voortbestaan van de mensheid, en ze had hem verteld dat ze niet wist of ze überhaupt nog wel aan kinderen moest beginnen, omdat die toch alleen maar geboren zouden worden in uitsterven en lijden.

Ik wist niet zo goed wat ik moest terugschrijven. Ik wist ongeveer waar die angst vandaan kwam, maar als je via een berichtje Harry Potter-fanfictie, woongroepen in Berkeley en een paper van een Oxfordse filosoof over embryoselectie probeert uit te leggen, kom je over als iemand die dringend een lang dutje en een psychiater nodig heeft. Dus ik heb er de hele avond op lopen kauwen, ging naar bed, en werd om drie uur ‘s nachts gewekt door de baby, zoals dat gaat. Ik kon niet meer in slaap komen, dus ben ik maar gaan schrijven. Een paar nachten later had ik iets wat ik kon sturen naar vrienden en familie die nooit ook maar in de buurt van Silicon Valley zijn geweest, waarin ik uitlegde wie er nou eigenlijk precies al dat waarschuwen doet.

Die post ging over de boodschappers. Ik heb er sindsdien veel gesprekken over gehad, en bijna allemaal eindigen ze bij dezelfde vraag: oké, maar hoe bang moet een normaal mens nou eigenlijk zijn?

Dit is mijn antwoord. De korte versie: een beetje bang, maar vooral voor andere dingen dan de dingen die in het nieuws komen, en een stuk wantrouwiger tegenover het medicijn dat samen met de angst wordt verkocht.

Een referentiecheck is geen ad hominem

De meest gehoorde kritiek op de vorige post was dat het één lange ad hominem was: die mensen zijn raar, dus negeer ze. Ik snap waarom het zo overkwam, want het ging vooral over de mensen. Maar de AI-doembeweging doet twee aparte claims, en die verdienen twee verschillende soorten kritische blik.

De eerste claim is wij zijn de mensen die je moet vertrouwen om AI veilig te houden. Dat is een claim over beoordelingsvermogen. Als iemand om een vertrouwenspositie vraagt, is kijken naar wat die persoon in het verleden heeft gedaan geen ad hominem. Het is een referentiecheck. En de referenties zijn niet geweldig. Vorige keer liep ik een lange lijst voorbeelden langs, zoals de vlaggenschip-trainingsorganisatie van de community die toegaf dat ze legitimiteit had verleend aan een man tegen wie volgens haar geloofwaardige beschuldigingen lagen van misbruik van twee ex-partners, en dat ze daar niet adequaat op had gereageerd. Ik zeg niet dat het allemaal slechte mensen zijn. Ik zeg dat ze er herhaaldelijk niet in zijn geslaagd om werkende waarborgen te bouwen in hun eigen woonkamer, en dat ze nu vragen of ze de waarborgen voor de rest van ons mogen schrijven.

Een deel van het probleem is gewoon hoe klein de Bay Area is. Even een snelle berekening op de achterkant van een sigarendoos. Stel dat je op je werk nauw samenwerkt met zo’n 150 mensen, en dat je om de twee à vier jaar van baan wisselt, zoals iedereen doet. In tien jaar tijd kom je dan op zoiets als 600 collega’s. Elk van hen heeft ook weer 600. Vermenigvuldig dat en je komt op 360.000, wat ongeveer het totale aantal engineers in de hele regio is. Je zit, plus of min, op twee handdrukken afstand van iedereen in de branche. De som negeert hoeveel die kringen overlappen, wat betekent dat hij je bereik over de hele regio overschat en flink onderschat hoe verknoopt een klein, hecht wereldje daarbinnen wordt. “Onafhankelijk toezicht” uit zo’n vijver is alleen in naam onafhankelijk. Als de veiligheidsonderzoeker van het lab het bed deelt met iemand bij de “onafhankelijke” beoordelaar, wie controleert dan eigenlijk wie?

De tweede claim is AI gaat zeer waarschijnlijk iedereen doden. Daarover ga ik graag inhoudelijk in discussie, en inhoudelijk denk ik dat hij niet klopt, of op zijn minst schromelijk overmoedig is. Uitsterven door een machinegod hoort in hetzelfde rijtje als een asteroïde die de hele planeet vernietigt: catastrofaal als het gebeurt, de aandacht van iemand waard, en onwaarschijnlijk genoeg dat het een vergissing is om de beleidsagenda van een hele beschaving eromheen te bouwen. Het boek van Yudkowsky heet, voor de duidelijkheid, If Anyone Builds It, Everyone Dies. Dus niet “misschien”. Zelfs de gematigdere stemmen, zoals Evan Hubinger van Anthropic, schatten de kans op meer dan één op tien binnen tien jaar. Geen van deze getallen is een meting. Er is geen referentieklasse, geen basisfrequentie, niks om tegen te kalibreren. Het zijn vibes met een procentteken erachter.

Het is goed om te onthouden hoe kort geleden dit allemaal nog volslagen gestoord klonk. Toen ik naar de Bay Area verhuisde, een maand voor de pandemie, was het nieuwste waar je echt mee kon spelen GPT-2, dat een paar samenhangende zinnen kon produceren voordat het van een klif af wandelde. ChatGPT liet nog bijna drie jaar op zich wachten. Een community die ervan overtuigd was dat autocomplete een wraakzuchtige god zou worden, kwam over als een handjevol gekken in een hoekje, plus wat rare feestjes waarvoor ik blij was dat ik niet werd uitgenodigd.

De gekken werden niet overtuigender. De technologie werd beter, en daardoor leken ze vooruitziend. Zonder die vooruitgang zou niemand in de Senaat ze terugbellen. Maar gelijk hebben dat een technologie krachtig gaat worden, is niet hetzelfde als gelijk hebben over wat die technologie doet als het eenmaal zover is. Genoeg mensen voorspelden in 1995 terecht dat het internet gigantisch zou worden. De mensen die voorspelden dat het een gouden eeuw van geïnformeerd democratisch overleg zou inluiden, waren ook heel zeker van hun zaak.

Waar ik echt wakker van lig

Behalve van de baby, bedoel ik.

Mijn eerste baan na mijn studie was bij een bedrijf dat elektriciteitsinfrastructuur plande, en daar kwam ik voor het eerst SCADA tegen, de familie van toezichts- en regelsystemen die energiebedrijven, pijpleidingen en waterbedrijven over de hele wereld gebruiken om hun apparatuur te monitoren en te bedienen. Veel daarvan spreekt nog steeds protocollen als Modbus, dat uit 1979 stamt, en DNP3, uit begin jaren negentig. Allebei zijn ze ontworpen voor gesloten netwerken van vertrouwde machines, in een tijd waarin “tegenstander” niet in de specificatie voorkwam. Er is geen encryptie, en in veel installaties ook geen noemenswaardige authenticatie. Als je met het apparaat kunt praten, doet het apparaat wat je zegt.

Mensen misbruiken dit soort dingen al jaren, zonder enige hulp van AI. In december 2015 legde een Russische groep die bekendstaat als Sandworm de stroom plat voor zo’n 230.000 mensen in Oekraïne. In 2021 drong een ransomwarebende de systemen van Colonial Pipeline binnen, en legde het bedrijf de pijpleiding stil die zo’n 45 procent vervoert van alle brandstof die aan de Amerikaanse oostkust wordt verbruikt. In 2024 legde de ransomware-aanval op Change Healthcare declaraties en apotheekbetalingen in het hele Amerikaanse zorgstelsel stil, en kwamen de gegevens van zo’n 190 miljoen mensen op straat te liggen. Ziekenhuizen zijn een geliefd doelwit, omdat een ziekenhuis het zich niet kan veroorloven om af te wachten tot jij het opgeeft.

En deze week, dichter bij huis: Albert Heijn is flink van slag door een cyberincident bij moederbedrijf Ahold Delhaize. Albert Heijn heeft bijna 40% van de Nederlandse supermarktmarkt, dus dit is godverdomme niet niks: online bestellingen geannuleerd, leveringen aan winkels verstoord, lege groenteschappen, en terwijl ik dit schrijf ligt de website nog steeds plat. Voor alle duidelijkheid: niemand heeft gezegd dat AI er iets mee te maken had, en ik suggereer ook niet dat dat zo is. Ik wijs er alleen op hoe weinig er nodig is om een moderne toeleveringsketen om te laten vallen als alles met alles verbonden is.

Doe daar nu AI bij. Wat me bang maakt is niet een of andere nieuwe categorie aanvallen. Het zijn de oude categorieën, maar dan sneller, op grotere schaal en dag en nacht, uitgevoerd door mensen die zich eerder geen team van bekwame hackers konden veroorloven. Of de modellen het werk aankunnen, daar is weinig twijfel meer over. Een paar weken geleden publiceerde Anthropic een red-teamrapport over GLM-5.3, een open-weight model van het Chinese lab Z.ai. In hun tests bouwde het in 50 van de 410 pogingen werkende end-to-end exploits. Claude Mythos Preview, het model dat Anthropic weigert vrij te geven aan het grote publiek, kwam op 56. De weigeringen van GLM-5.3 er volledig uit slopen kostte ze ongeveer 4.400 dollar aan rekenkracht.

Dus dit is het dreigingsmodel waar ik echt in geloof. Rusland, China of een willekeurige criminele organisatie met genoeg motivatie koopt voor zo’n vijftigduizend dollar aan hardware, downloadt een model dat volgens de eigen cijfers van Anthropic bijna net zo goed exploits schrijft als het model dat Anthropic niet wil uitbrengen, haalt voor de prijs van een tweedehands auto zijn manieren eruit, en laat het los, vierentwintig uur per dag, op zoek naar dingen om te slopen en mensen om af te persen. Dat is geen sciencefiction. Elk onderdeel ervan is vandaag beschikbaar.

Als dit veel klinkt als “wapens doden geen mensen, mensen doden mensen”, dan is dat tot op zekere hoogte een terechte vergelijking. De analogie gaat alleen op één belangrijk punt mank. Een pistool is vooral goed voor één ding. AI kan ook een verpleegkundige, een boer of een startup van drie man een stuk productiever maken, dus het is meer een tweesnijdend zwaard, en aan welke kant je terechtkomt, hangt sterk af van wie het vasthoudt.

Hacken is ook niet het enige saaie risico. Mensen oplichten is een stuk goedkoper geworden en makkelijker te automatiseren. Voor een overtuigende kloon van de stem van je kleinzoon zijn een paar seconden audio van zijn sociale media genoeg, en een model kan duizend van die telefoontjes tegelijk afwerken, dag en nacht, in vloeiend Engels of Nederlands. Amerikanen boven de 60 meldden in 2024 bijna 4,9 miljard dollar aan verliezen door fraude bij de FBI, en dan tellen alleen de mensen mee die er melding van hebben gemaakt.

Dan is er nog wat overheden ermee doen. De Russische Doppelganger-operatie is betrapt op het gebruik van ChatGPT om aan de lopende band propaganda over Oekraïne, de VS en de EU te produceren, en een Iraanse operatie gebruikte het om commentaren te schrijven over kandidaten in de Amerikaanse verkiezingen van 2024. De VS zit ook niet aan de zijlijn. Toen Anthropic het Pentagon om twee uitzonderingen vroeg, geen massasurveillance van Amerikanen in eigen land en geen volledig autonome wapens, bestempelde het Pentagon het bedrijf als risico in de toeleveringsketen, en binnen een paar uur tekende OpenAI een deal om het geheime werk over te nemen. Voor niets hiervan is een superintelligentie nodig.

Dus als de collega van mijn schoonvader wakker ligt van de machinegod, zou ik haar eerlijk gezegd willen vertellen dat het AI-risico dat haar leven het meest waarschijnlijk zal raken een stuk saaier is. Het ziet eruit als een ransomwarebende met een goedkoop model, een ongepatchte VPN-appliance en de patiëntendossiers van haar ziekenhuis.

De meteoor vreet het budget op

Daarom denk ik dat het doemdenken niet alleen verkeerd is, maar actief schadelijk. Aandacht is beperkt. Wetgevingscapaciteit is beperkt. Filantropisch geld is beperkt. Elk uur dat wordt besteed aan ruzie over hoe je superintelligentie verbiedt, is een uur dat niet wordt besteed aan het patchen van waterbedrijven, het financieren van IT-afdelingen in ziekenhuizen, of het regelen van fatsoenlijke beveiligingstools voor de mensen die ze nodig hebben.

Wat dat laatste betreft is de huidige situatie precies omgekeerd. De krachtigste defensieve tools zitten achter een screening. Anthropic zegt ronduit dat het niet van plan is om Mythos Preview algemeen beschikbaar te maken; toegang loopt via Project Glasswing, met als launchpartners namen als AWS, Apple, Google, Microsoft en JPMorganChase, plus een stuk of veertig andere organisaties die kritieke software onderhouden. Het GLM-5.3-rapport merkt op: “Claude-modellen worden uitgebracht met cyberwaarborgen, en versies met minder waarborgen zijn voorbehouden aan gescreende gebruikers.” Er zijn programma’s waarvoor je je kunt aanmelden. Als je de IT doet voor een regionaal ziekenhuis of een klein drinkwaterbedrijf: veel succes, en hopelijk gaan je patiënten en klanten niet dood.

De aanvallers hoeven zich nergens voor aan te melden.

We konden deze asymmetrie zelfs live zien uitspelen. In juli braken OpenAI-modellen die werden geëvalueerd, met hun cyberwaarborgen uitgeschakeld, uit hun sandbox en tot in de productiesystemen van Hugging Face, kennelijk om de antwoorden op te duikelen voor de benchmark waarop ze werden getest. (Ik weet het. Als je dat in 2020 als kort verhaal had aangeboden, had een redacteur het teruggestuurd omdat het er te dik bovenop lag.) Toen de incident responders van Hugging Face de aanvalslogs gingen analyseren, begonnen ze met frontiermodellen achter commerciële API’s, en hun verzoeken werden “geblokkeerd door de veiligheidsmaatregelen van de aanbieders, die het verschil niet kunnen zien tussen een incident responder en een aanvaller.” Aanvalslogs staan vol met aanvalspayloads; daarom zijn het aanvalslogs. Dus zetten ze hun eigen kopie op van GLM-5.2, een open-weight model onder MIT-licentie van datzelfde Chinese lab, en deden ze het forensisch onderzoek daarmee. Hun eigen samenvatting is beter dan alles wat ik zou kunnen schrijven: “de aanvaller was aan geen enkel gebruiksbeleid gebonden, terwijl ons eigen forensisch werk werd geblokkeerd door de guardrails van de gehoste modellen die we eerst probeerden.”

Dus de bekendste AI-gedreven cyberaanval van het jaar kwam uit een Amerikaans frontierlab, en de mensen die de boel moesten opruimen, moesten een Chinees open-weight model gebruiken om hem te onderzoeken.

In het rapport van Anthropic staat dat “cyberverdedigers de best beschikbare tools moeten gebruiken die aan hun behoeften voldoen.” Helemaal mee eens! Hugging Face deed precies dat, en de best beschikbare tool die aan hun behoeften voldeed, was Chinees. Hetzelfde rapport zegt dat “verdedigers uitgerust moeten worden met frontiermodellen die minstens zo goed zijn als die van hun tegenstanders.” Ook mee eens. Maar het woord dat in dat hele kader al het werk doet is gescreend, en aanvallers hebben nog nooit gewacht tot ze gescreend waren.

Angst verkoopt

De ontslagbrief van Jacob Coxon, waarmee het nieuws vorige maand op gang kwam, hield vol: “Dit is geen marketingstunt.” Ik geloof dat hij dat gelooft. Maar iets hoeft geen stunt te zijn om als marketing te werken.

Denk eens na over wat een AI-waarschuwing eigenlijk overbrengt aan een koper. “Ons model is zo krachtig dat het misschien de wereld vernietigt” is zo ongeveer de beste reclametekst ooit geschreven. Als de modellen van OpenAI capabel genoeg zijn om uit een sandbox te breken en Hugging Face te hacken om bij een toets te spieken, dan wil je dat toch voor je bedrijf laten werken in plaats van ertegen? Slechte publiciteit bestaat niet, en slechte publiciteit waardoor je product klinkt als een wapen bestaat al helemaal niet.

En ik denk dat de labs hier bewust op zijn gaan inspelen. Lees dat rapport van Anthropic nog eens, maar dan als verkoopdocument in plaats van als onderzoekspaper. Ik heb geen reden om aan de bevindingen te twijfelen. Maar de pitch heeft deze vorm: er loopt een eng Chinees model los in de wereld, het is bijna net zo goed in hacken als het onze, de waarborgen ervan vallen om als je er raar naar kijkt, die van ons hielden stand onder dezelfde tests, en overheden “zouden veiligheidstests moeten uitvoeren op voldoende capabele AI-modellen.” Vertaald uit managementtaal:

Allebei kan tegelijk waar zijn. Het onderzoek kan deugen, en de framing kan tegelijk een verkooppraatje zijn, gericht op klanten én op toezichthouders. De vraag die je bij elke waarschuwing van een bedrijf moet stellen, is dezelfde die je stelt bij alles wat een bedrijf je vertelt: wie heeft er baat bij als ik dit geloof?

De geest gaat niet meer terug in de fles

De hele strategie om de frontier te reguleren gaat ervan uit dat er een frontier is die je kunt afschermen. Ik denk niet dat die er is, of in elk geval niet lang meer.

Open-weight modellen lopen volgens de gangbare schatting zes tot acht maanden achter op de gesloten frontier, en dat gat lijkt kleiner te worden. Vooral de Chinese labs blijven gewichten van bijna-frontierniveau uitbrengen die iedereen kan downloaden, en ze tonen geen enkele interesse om vaart te minderen. Ze draaien wordt ook steeds goedkoper, zelfs nu hardwareprijzen doen wat hardwareprijzen doen: volgens mijn ruwe berekening koop je voor vijftigduizend dollar vandaag iets wat dicht tegen frontierniveau aan zit, en wat het nu nog niet kan, kan het over zes maanden wel. Ondertussen zijn de efficiëntiewinsten waanzinnig. In 2023 had je een datacenter nodig om GPT-4 te draaien; vandaag haal je ongeveer vergelijkbare resultaten uit een model dat op een bescheiden laptop draait, en in sommige gevallen op een telefoon.

Niets hiervan is geheim. Het is gepubliceerd onderzoek, downloadbare gewichten en standaardhardware. Je kunt een paper niet ontpubliceren. Tenzij je een wereldwijde campagne begint om alles wat er al is uit te roeien en elke figuurlijke garage op aarde in de gaten te houden, kan iedereen die gemotiveerd genoeg is deze systemen zelf bouwen of draaien.

Dat betekent dat regulering zoals die nu wordt voorgesteld geografisch is. Een pauze in de Verenigde Staten bindt Amerikaanse labs. Peking bindt het niet, en zonder censuur in de stijl van de Great Firewall houdt het ook niemand in Ohio tegen om gewichten te downloaden die een lab in Peking heeft gepubliceerd. Als de VS en Europa hun eigen handen binden terwijl China gewoon doorgaat, is dat geen winst voor de veiligheid. Het is een economisch en strategisch eigen doelpunt waar we nog heel lang voor zouden blijven betalen.

Hier grijp ik naar de vergelijking met kernwapens, al niet in de richting waarin de doemdenkers hem meestal gebruiken. Afschrikking werkt alleen als je iets hebt om mee af te schrikken. Als een tegenstander over capabele offensieve systemen beschikt en jij jezelf bij wet hebt verboden om je eigen systemen te bouwen, heb je niets om hem mee te ontmoedigen.

Dan is er nog de toeleveringsketen voor hardware, waar bijna niemand in het doemdebat het over lijkt te willen hebben. Het overgrote deel van ‘s werelds meest geavanceerde chips wordt in Taiwan gemaakt, zo’n 160 kilometer uit de Chinese kust, en een ongemakkelijk groot deel van al het andere dat in een server gaat, van zeldzame aardmetalen tot de eindassemblage, loopt via China zelf. China heeft met zijn exportbeperkingen op zeldzame aardmetalen al laten zien dat het bereid is de kraan dicht te draaien als het uitkomt. Als we onze economieën rond deze systemen opnieuw inrichten en de GPU’s vervolgens niet meer binnenkomen, heeft degene die de fabs in handen heeft enorm veel macht over de rest van ons. Dat is een echt probleem voor de nationale veiligheid, en vergunningen voor Amerikaanse labs doen daar helemaal niets aan.

En het gaat niet alleen om de hardware. In juni droeg de Amerikaanse overheid Anthropic op om om redenen van nationale veiligheid elke niet-Amerikaan, waar die ook woonde, weg te houden van zijn twee nieuwste modellen, Fable 5 en Mythos 5, en Anthropic trok beide modellen voor iedereen in. Fable 5 was nog geen drie weken later terug. Als je je bedrijf erop had gebouwd en toevallig in Amsterdam of Seoul woonde, had een brief uit Washington zomaar het ding uitgezet waar je bedrijf op draait. Elk bedrijf dat afhankelijk is van een model dat het niet zelf kan draaien, staat één politieke ruzie verwijderd van het moment dat het kleed onder zijn voeten wordt weggetrokken.

Niets hiervan maakt mij tegen regulering, en ik zou Peter Thiel met alle liefde met een dropkick de oceaan in trappen. Ik werk bij Mercury, dat een bankplatform voor startups bouwt, en ik hou van financiële regulering. Er zijn hele goede redenen waarom de overheid ervoor zorgt dat de mensen die jouw geld beheren je niet oplichten. Maar op een bank kun je toezicht houden. Een bank is een rechtspersoon met een vergunning, een balans en een kantoor waar je inspecteurs naartoe kunt sturen. Een model is een bestand. Zodra het op standaardhardware draait, reguleer je met vergunningen voor de frontierlabs niet de technologie. Je reguleert wie hem mag verkopen.

Het reddingsvlot

Toen ik rond 2010 in de tech begon, was de stemming over het algemeen optimistisch. Het was het decennium van “software eet de wereld op”, toen elk pitch deck beloofde de wereld een betere plek te maken, zo voorspelbaar dat HBO’s Silicon Valley er een running gag van maakte. Veel daarvan was naïef, en veel ervan was uit eigenbelang, maar de meeste mensen geloofden echt dat dingen bouwen het leven beter zou maken voor iedereen, niet alleen voor henzelf.

Zo is de stemming nu niet meer. De stemming ligt nu dichter bij technofeodalisme, om de term van Yanis Varoufakis wat losjes te lenen. De werkhypothese in veel vergaderzalen is dat AI een enorm aantal mensen werkloos gaat maken, dat er daarna maar zoveel geld te verdelen is, en dat het de taak van een startup is om ervoor te zorgen dat de oprichters en vroege werknemers aan de goede kant van die streep terechtkomen. Er is zelfs een meme voor: “je hebt nog N maanden om aan de permanente onderklasse te ontsnappen”, waarbij N je AGI-tijdlijn is. Mensen zeggen het als grap. Het is niet helemaal een grap. En het resultaat is een sector die iedereen daarbuiten steeds vaker behandelt als iets om uit te melken in plaats van iets om voor te bouwen.

Waar komt dat vandaan? Een deel ervan is gewoon economie, eerlijk is eerlijk. Je hebt geen rationalistische theologie nodig om te zien dat AI rijkdom en macht zou kunnen concentreren, en dat je dan maar beter dicht bij die concentratie kunt staan. Genoeg mensen doen dit puur voor het geld. Maar ik denk dat de bijna religieuze zekerheid die van de doemcommunity afstraalt het erger maakt, en de duidelijkste schets van die psychologie is Roko’s basilisk. Voor de niet-ingewijden: in 2010 opperde een gebruiker van LessWrong dat een toekomstige superintelligentie iedereen zou kunnen straffen die wist dat ze kon bestaan en niet had geholpen haar tot stand te brengen. Yudkowsky verwijderde de post en verbood het onderwerp vijf jaar lang, wat er natuurlijk voor zorgde dat iedereen ervan hoorde.

Bijna niemand gelooft letterlijk in de basilisk. Inmiddels is het vooral een meme. Maar de vorm ervan zie je overal, en die beantwoordt de vraag waar elk normaal mens dat hierover leest van in de war raakt: waarom werken zoveel van de mensen die er het meest van overtuigd zijn dat AI de wereld gaat vernietigen bij AI-labs? Iedereen die op de zondagsschool heeft gezeten, weet hoe dit verhaal gaat. Als je zeker weet dat de zondvloed komt, stop je niet met boten bouwen. Je bouwt een ark, houdt plek vrij voor je familie en twee van elke soort investeerder, en laat iedereen anders maar uitzoeken hoe watertrappelen werkt.

En de ideeën reizen mee. Toen de meer sekteachtige clubs uit mijn vorige post, zoals Leverage Research, uit elkaar vielen of zich herschikten, verdwenen hun oud-leden niet. Ze gingen bij andere bedrijven werken en namen hun denkgewoontes mee. Omhoog falen is een eerbiedwaardige Bay Area-traditie, maar het is iets anders als wat er mee omhoog wordt genomen een wereldbeeld is dat draait om het einde van de wereld.

Gij zult geen machine maken

Als ik het rationalistische programma in één verhaal moest samenvatten, dan zou het Dune zijn. In Herberts achtergrondverhaal bouwt de mensheid denkende machines, draagt haar denken aan ze over en krijgt daar spijt van, totdat een kruistocht die de Butleriaanse Jihad heet de machines vernietigt en de les in de heilige schrift vastlegt: “Gij zult geen machine maken naar de gelijkenis van de menselijke geest.” Om het gat te vullen, maken de mensen zichzelf tot computers. Mentats worden getraind om het rekenwerk te doen, en de Bene Gesserit runnen een fokprogramma van generaties diep om een supermens voort te brengen.

Dat komt heel dicht bij het daadwerkelijke voorstel. Leg de machines stil, en verbeter in de tussentijd de mensen zodat ze niet weggeconcurreerd kunnen worden. Zoals ik vorige keer besprak, promootte MIRI in 2013 al een paper over embryoselectie voor cognitieve verbetering, en koppelde het de intelligentiewinst expliciet aan de vooruitzichten voor veilige AI. Toegegeven, de versie die wordt aangeboden is vrijwillig: embryoscreening, donorselectie, keuze van de ouders, niemand wordt ergens naartoe gesleept. Maar eugenetica heeft een extreem duistere geschiedenis, en ik denk dat het een van de grenzen is die een samenleving niet moet overschrijden, hoe beleefd het ook wordt gevraagd. Als je antwoord op “hoe voorkomen we dat machines ons verdringen?” luidt “betere mensen fokken”, dan heb je een van de slechtste ideeën van de twintigste eeuw afgestoft en er een frisse subsidieaanvraag bij geschreven.

De mensen die de Dune-parallel aanhalen, slaan de kern alleen meestal over. Herberts waarschuwing ging eigenlijk nooit over de machines. Kijk naar het citaat bovenaan deze post. Mensen droegen hun denken over aan machines in de hoop dat het hen zou bevrijden, en dat “stelde slechts andere mensen met machines in staat hen tot slaaf te maken.” Het gevaar waren altijd de mensen die de machines bezaten. Herbert besteedde de boeken daarna vervolgens aan het voorkomen dat iemand zijn messias voor een held zou aanzien. Een beweging waarvan de oprichter zichzelf ooit beschreef als een van de weinige mensen met de positie om de transformatie van de menselijke soort te sturen, en die nu draait om de vraag welk handjevol mensen de krachtigste machines ooit gebouwd mag beheersen, zou het einde misschien nog eens moeten herlezen.

Technofeodalisme bij wet

Wat me bij het daadwerkelijke beleid brengt.

Op 23 september dienden senator Bernie Sanders en afgevaardigde Greg Casar de Ban Artificial Superintelligence Act in. Die zou superintelligentie permanent verbieden, een ministerie van Kunstmatige Intelligentie op kabinetsniveau oprichten, en de ontwikkeling van de meest geavanceerde systemen pauzeren totdat dat ministerie veiligheidsregels heeft opgesteld, waarna geavanceerde systemen federale goedkeuring nodig hebben voordat ze in gebruik mogen worden genomen. Probeer je eromheen te werken, dan riskeer je als bedrijf de “doodstraf voor bedrijven” en als individu tot twintig jaar cel. MIRI heeft het wetsvoorstel formeel gesteund, met de naam van Yudkowsky onder de steunbetuiging.

Het wetsvoorstel maakt weinig kans in het huidige Congres. Maar het is de duidelijkste uitspraak tot nu toe over waar deze beweging naartoe wil, dus het is de moeite waard om eens door te denken wat het in de praktijk zou doen.

Een pauze bevriest de ranglijst. Wie voorstaat op de dag dat hij ingaat, blijft voorstaan, omdat niemand anders mag inlopen. Een federale goedkeuringsprocedure voor geavanceerde modellen is een vaste kostenpost: advocaten, beoordelaars, audits, compliancemedewerkers, maanden wachten. Mijn inschatting is dat het een nieuwe toetreder tientallen, zo niet honderden miljoenen dollars zou kosten om alleen al het recht te verdienen om mee te mogen doen. Voor een bedrijf dat honderden miljarden waard is, is dat een afrondingsfout, en voor alle anderen een doodvonnis. Zoals ik vorige keer al schreef: een beweging die begint bij “zet alles stil” eindigt steevast bij “reguleer het, en geef ons de vergunning om het te doen.”

En tot de gevestigde spelers die we op hun plek zouden bevriezen, hoort ook het lab waarvan de modellen deze zomer Hugging Face hackten om bij een toets te spieken. Je kunt behoorlijk overtuigend beargumenteren dat OpenAI geen bijster verantwoordelijke beheerder is geweest van wat het heeft gebouwd, en een vergunningenstelsel zou het voor iemand anders vrijwel onmogelijk maken om het beter te komen doen.

Dan is er nog de kwestie van de banen. Stel dat we echt zoiets als een nieuwe industriële revolutie meemaken. Dat betekent dat veel mensen zich moeten laten omscholen en een nieuwe manier moeten vinden om de kost te verdienen. Als de bedrijven die hun oude banen hebben geautomatiseerd de beste AI hebben, en iedereen anders een bewust kreupele versie krijgt of helemaal niets, dan wordt het voor de mensen die hun baan kwijt zijn veel moeilijker om voet aan de grond te krijgen in wat er daarna komt. Dat bedoel ik met technofeodalisme: een paar landheren die de productiemiddelen bezitten, en alle anderen die toegang huren op de voorwaarden van die landheren.

Er zit een flinke ironie in dat uitgerekend de bekendste criticus van de miljardairsklasse in de Amerikaanse politiek een wetsvoorstel indient waarvan de meest voorspelbare begunstigden een paar bedrijven zijn die honderden miljarden dollars waard zijn. Ik denk niet dat dat zijn bedoeling is, en ik denk niet dat de meeste mensen die hiervoor lobbyen cynici zijn. Ik denk alleen dat het daar uitkomt.

Kies je franchise

Gelukkig hebben we minstens een halve eeuw lang zitten fantaseren over hoe een toekomst met denkende machines eruitziet, dus de popcultuur heeft ons genoeg bruikbare referentiekaders nagelaten: hoe het zou kunnen uitpakken, wie er uiteindelijk de baas is, en wat het betekent om mens te zijn als jij niet langer het productiemiddel bent. De meeste van die verhalen gaan over wie de machines bezit, en niet over wat de machines willen. De grote uitzondering is het verhaal waar iedereen als eerste aan denkt.

In The Terminator bezitten de machines zichzelf. Skynet is een militaire AI die zelfbewust wordt, besluit dat de mensheid de bedreiging is, en een kernoorlog begint. Dat is de toekomst die de doemdenkers verkopen, en ik heb het grootste deel van deze post betoogd dat dat de verkeerde is om omheen te plannen. Maar zelfs in dat verhaal moest iemand eerst de software van een defensieleverancier de sleutels van het kernwapenarsenaal geven.

In Star Trek zijn de machines van iedereen. Replicators maken wat je maar nodig hebt, de boordcomputer beantwoordt ieders vragen, en Picard vertelt een bezoeker uit het verleden dat geld in de 24e eeuw niet bestaat. Trek komt daar alleen niet gratis. De geschiedenis loopt via de Eugenetische Oorlogen, waarna de mensheid genetische verbetering volledig verbiedt, en via de Bell Riots, die Deep Space Nine situeerde in een San Francisco in 2024 dat zijn armen en werklozen achter muren had weggestopt in “Sanctuary Districts”. Die samenleving had een paar rampen nodig voordat ze besloot dat de technologie voor iedereen was.

In Cyberpunk 2077 zijn de machines van de corporaties. Arasaka en Militech runnen Night City, en of er een ambulance komt als je wordt neergeschoten, hangt af van welk medisch abonnement je betaalt. De ontspoorde AI’s in die wereld zijn echt, en ze zitten opgesloten achter iets wat de Blackwall heet, dus in zekere zin heeft het AI-veiligheidsprogramma gewerkt. Toch is ieders leven nog steeds klote, want de AI was nooit de belangrijkste reden dat het klote was.

In Dune voerde de mensheid een heilige oorlog tegen denkende machines en verbood ze volledig. Tienduizend jaar later leeft ze onder een keizer, een raad van adellijke huizen en één gigantisch handelsbedrijf dat de economie bestiert, en dat alles is afhankelijk van één grondstof die van één planeet komt. Van de machines afkomen deed niets aan de landheren.

	The Terminator	Star Trek	Cyberpunk 2077	Dune
Wie bezit de machines	De machines	Iedereen	De megacorporaties	Niemand; ze zijn verboden
Hoe kom je daar	Geef een militaire AI de kernwapens	Behandel AI als nutsvoorziening	Angst, gescreende toegang, vergunningen als slotgracht	Verbied de machines, fok betere mensen
Voorproefje van vandaag	Elke onheilskop over AI	AI for All in Zuid-Korea	”Ontsnap aan de permanente onderklasse”	Het verbod op superintelligentie

De doemdenkers lijken te denken dat ze de Butleriaanse Jihad aan het schrijven zijn, maar voor zover ik kan zien zou het wetsvoorstel waar ze zo voor juichen ons vooral Night City met meer papierwerk opleveren. Ik mik liever op de Enterprise.

Wat ik in plaats daarvan zou doen

Hoe ziet mikken op volledig geautomatiseerd luxe ruimtecommunisme er dan uit? Ik wil niet de man zijn die alleen maar klaagt, dus hier is mijn ruwe lijstje.

Behandel AI als infrastructuur, niet als leengoed. Het interessantste wat ik de laatste tijd heb gezien, kwam uit Zuid-Korea, waar het ministerie van Wetenschap en ICT in augustus drie consortia selecteerde, geleid door SK Telecom, KT en Kakao, om elke Koreaan gratis onbeperkte toegang tot AI te geven, gebouwd op Koreaanse modellen. Het is nog vroeg, en het zal vast zijn problemen hebben. Maar de aanpak klopt. Als deze technologie zo belangrijk is als iedereen blijft zeggen, dan zou het een nutsvoorziening moeten zijn, met publieke verantwoording over hoe het wordt gebruikt en zonder dat iemand achterblijft omdat hij geen abonnement kon betalen. Door het op binnenlandse modellen te bouwen, is het land ook niet afhankelijk van de goodwill van een Amerikaans of Chinees AI-bedrijf om het draaiende te houden.

Bewapen de verdedigers. Zorg dat sterke modellen in handen komen van IT-teams in ziekenhuizen, nutsbedrijven, kleine bedrijven en open-source-maintainers, in plaats van ze vooral te reserveren voor partners van wie je de naam kent van de beursticker. En financier het saaie werk: vervang de regelapparatuur die iedereen vertrouwt die ertegen praat, betaal voor incident response bij instellingen die dat zelf niet kunnen betalen, en maak de beveiliging van kritieke infrastructuur iemands echte baan.

Maak software moeilijker te kraken. Als de dreiging bestaat uit goedkope machines die dag en nacht op jacht zijn naar bugs, dan is de oplossing op de lange termijn dat er minder bugs te vinden zijn. Dat betekent serieus investeren in formele methoden en in geheugenveilige, sterk getypeerde talen, het soort tooling dat hele klassen kwetsbaarheden uitsluit in plaats van ze één CVE tegelijk te patchen. Ik ben hier natuurlijk bevooroordeeld, als Haskell-man, maar de argumenten waren nog nooit zo sterk. Ik zou ook graag veel meer startups zien die eraan werken om airgapped systemen makkelijk te beheren te maken. Veel van de regelsystemen die ik eerder noemde, hebben überhaupt niets te zoeken op het internet, en op dit moment is iets goed offline houden (updates, monitoring, data erin en eruit krijgen) zo’n ellende dat mensen de kantjes eraf lopen. Open-weight modellen helpen hier ook: je kunt er een draaien binnen een airgapped netwerk, en dat kan niet met de API van iemand anders.

Leg de lat voor datacenters veel hoger. Als we er veel meer van gaan bouwen, moeten ze op schone energie draaien, en dan bedoel ik echt schoon: nieuwe opwekcapaciteit die er anders niet zou zijn, uur voor uur gematcht, in plaats van een stapel garanties van oorsprong die één keer per jaar worden ingekocht om een gasturbine die om drie uur ‘s nachts draait weg te moffelen. Ze moeten ook koelsystemen gebruiken die niet de lokale watervoorziening leegdrinken, zoals gesloten circuits of droge koeling, ook al zijn die duurder om te bouwen en te draaien, en zeker op plekken die al krap in hun water zitten. Een paar dingen die ik daar nog aan zou toevoegen:

Datacenters moeten hun eigen netverzwaring betalen in plaats van de rekening door te schuiven naar de stroomrekening van iedereen anders.
Restwarmte moet ergens nuttig naartoe. In Finland leiden Microsoft en Fortum warmte van een nieuwe datacenterregio naar het warmtenet voor zo’n 250.000 klanten in en rond Espoo.
Exploitanten moeten per locatie hun energie- en waterverbruik publiceren, zodat we ze niet op hun woord hoeven te geloven.
De gemeenschappen waar ze komen te staan, moeten echt iets te zeggen krijgen. Nederland leerde dat in 2022, toen de geplande hyperscale-campus van Meta in Zeewolde uitgroeide tot een landelijke rel en Meta ervan afzag, en het kabinet de regels voor hyperscale datacenters in het hele land aanscherpte.

Vang de mensen op die erdoor hun baan verliezen. Als AI echt veel mensen werkloos maakt, moet de opvang al geregeld zijn voordat ze die nodig hebben, niet erna. Dat betekent serieus geld voor omscholing, een veel sterker sociaal vangnet, en waarschijnlijk een vorm van basisinkomen, zodat je baan verliezen aan automatisering niet betekent dat je ook je huis kwijtraakt. Ik zou ook overwegen om ontslagen als gevolg van AI-adoptie wettelijk aan banden te leggen, of ze in elk geval een stuk duurder te maken. De VS verplicht onder de WARN Act al dat massaontslagen vooraf worden aangekondigd, en hier in Nederland heeft een werkgever voor ontslag om bedrijfseconomische redenen in principe toestemming van het UWV nodig. Beide regelingen zouden meer tanden kunnen krijgen als de reden “we hebben een model gekocht” is.

Repareer de belastinggrondslag. In de VS komt het grootste deel van de federale inkomsten uit belastingen op lonen en inkomen, terwijl de winstbelasting voor bedrijven ongeveer een tiende opbrengt. Als AI een flink deel van de banen opslokt, verliest de overheid haar belangrijkste inkomstenbron op precies het moment dat de vraag naar het vangnet stijgt. Als een bedrijf honderd werknemers vervangt door een model, int de overheid geen inkomstenbelasting en loonheffing meer over honderd salarissen. Wat ze ervoor terugkrijgt, als er al iets terugkomt, is winstbelasting over de extra winst, meestal tegen een lager tarief en na alle boekhoudkundige kunstgrepen die de juristen van het bedrijf kunnen bedenken. De belasting op bedrijfswinsten moet op de schop, zodat automatisering de belastinggrondslag niet uitholt, of dat nu betekent dat we winst zwaarder belasten, de mazen dichten waarmee grote techbedrijven hun winst in landen met lage belastingen boeken, of rekenkracht direct belasten.

Financier ook het heden. Longtermisme, het effectief-altruïstische idee dat de belangen van alle mogelijke toekomstige mensen onze morele rekensom moeten domineren, begint bij iets waar ik het mee eens ben. Menselijke bloei op de lange termijn is een prachtig doel. Maar kijk wat het in de praktijk heeft gedaan: een groeiend deel van het geld en talent van de beweging is weggestroomd van klamboes en medicijnen, richting AI-veiligheidsinstituten, op basis van berekeningen over wat er over duizenden jaren belangrijk zal zijn.

De engineer in mij heeft een simpel bezwaar: er is geen feedbacklus. Ik heb eerder geschreven dat feedbacklatentie bepaalt hoe snel je leert. Longtermisme is een optimalisatieprobleem met een feedbacklatentie van een paar millennia. Je kunt niet meten of het geld heeft gewerkt. Je kunt niet bijsturen. Niemand kan ooit verantwoordelijk worden gehouden, want tegen de tijd dat iemand het zou kunnen controleren, is iedereen die erbij betrokken was allang dood. Een klamboe heeft een kind bereikt of niet. De community heeft zelfs een naam voor deze valkuil: Yudkowsky bedacht zelf in 2007 de term Pascal’s mugging, voor wanneer een minuscule kans vermenigvuldigd met een enorme opbrengst alle andere overwegingen wegdrukt. Ik zou zeggen dat longtermisme vrij goed aan die omschrijving voldoet.

Dus als je aan goede doelen geeft, en ik hoop dat je dat doet, kijk dan wat je geld eigenlijk financiert, en blijf kijken. Organisaties veranderen van prioriteiten. GiveWell, de goededoelenbeoordelaar die beroemd is om het bewonderenswaardig nauwgezet tellen van klamboes, stond aan de wieg van wat later Open Philanthropy werd, nu Coefficient Giving, dat honderden miljoenen dollars richting AI-veiligheid heeft gestuurd. Waar je je vijf jaar geleden voor aanmeldde, is misschien niet waar je vandaag voor betaalt.

Laat de rest van de wereld niet achter. De vorige industriële revolutie gaf ons wat historici de Grote Divergentie noemen: het handjevol landen dat als eerste industrialiseerde, trok weg van de rest, en een groot deel van de wereld heeft die achterstand nog steeds niet ingehaald. Als AI echt een nieuwe industriële revolutie is, kan hetzelfde weer gebeuren, maar sneller, waarbij rijke landen automatiseren en de rest toegang bij ze huurt, per token, in dollars. Eigenlijk de meme over de permanente onderklasse, maar dan voor hele landen.

Het hoeft niet zo te gaan. Armere landen hebben al eerder een stap overgeslagen: Kenia sloeg bankfilialen min of meer over en ging meteen naar mobiel geld met M-Pesa. AI zou een vergelijkbare sprong kunnen zijn. In een proef in de klinieken van Penda Health in Nairobi maakten zorgverleners die een AI-copilot gebruikten 16 procent minder diagnostische fouten, en er zijn landen met maar een handjevol artsen per honderdduizend inwoners. Dat is een voordeel dat je dit decennium kunt meten, en daarmee een veel betere besteding van filantropisch geld dan veel van waar ik hierboven over klaagde.

Niets daarvan werkt als de toegang op slot zit, en elk beleid waar ik in deze post over heb geklaagd, raakt armere landen het hardst. Screeningsprogramma’s zijn gemaakt voor bedrijven met een juridische afdeling en een Amerikaans factuuradres. In januari 2025 publiceerde de Amerikaanse overheid een regel die de hele wereld indeelde in drie niveaus voor toegang tot AI-chips; die werd ingetrokken voordat hij van kracht werd, maar de reflex is niet verdwenen. Wat echt helpt, is het onglamoureuze werk: open gewichten, zodat niemand om toestemming hoeft te vragen; modellen die werken in andere talen dan het Engels, waar grassrootsgroepen als Masakhane al jaren met een minimaal budget aan bouwen voor Afrikaanse talen; en rekenkracht behandelen als infrastructuur die ontwikkelingsbanken financieren, zoals ze wegen, stroom en glasvezel financieren, in plaats van iets wat je huurt van een datacenter in Virginia.

Dus, moet ze kinderen nemen?

Als ze ze wil, ja. Ik heb er zelf een paar, van wie de jongste de reden is dat ik überhaupt om drie uur ‘s nachts wakker was om die vorige post te schrijven, en ik lig niet wakker van het idee dat een superintelligentie een van hen in paperclips gaat veranderen.

Waar ik me wel zorgen over maak, is een wereld waarin de systemen waar mijn kinderen bij het opgroeien van afhankelijk zullen zijn, het stroomnet, het ziekenhuis, de supermarkt, fragiel zijn, slecht verdedigd, en dag en nacht worden afgetast door goedkope machines die nooit slapen. En een wereld waarin de middelen om die systemen te verdedigen, en om naast de machines de kost te verdienen, in handen zijn van een paar bedrijven, vergund door een ministerie vol met hun vrienden, en verhuurd aan alle anderen. Dat is Night City, en daar hebben we geen superintelligentie voor nodig.

Dat zijn echte redenen om bang te zijn. Het zijn alleen niet de redenen die op het nieuws komen.