Wem gehören die Maschinen?

Einst übertrugen die Menschen ihr Denken den Maschinen, in der Hoffnung, dass sie dies befreien würde. Doch das erlaubte nur anderen Menschen mit Maschinen, sie zu versklaven.

— Ehrwürdige Mutter Gaius Helen Mohiam, in Frank Herberts Dune

Mein letzter Beitrag fing, auch wenn ich das damals nicht dazugesagt habe, mit einer Textnachricht von meinem Schwiegervater an.

Er ist Arzt an einem öffentlichen Krankenhaus in den USA und wollte wissen, ob ich mitbekommen hätte, wie viel Angst die Leute dort drüben vor KI haben. Eine seiner Kolleginnen hatte an dem Tag eine Panikattacke gehabt. Sie fürchtete um das Überleben der Menschheit und hatte ihm erzählt, sie wisse nicht, ob sie es überhaupt noch mit Kindern versuchen solle, die würden ja ohnehin nur in Aussterben und Leid hineingeboren.

Mir fiel nicht viel ein, was ich hätte zurückschreiben können. Ich wusste ungefähr, woher diese Angst kam, aber wenn du versuchst, Harry-Potter-Fanfiction, WGs in Berkeley und das Paper eines Oxforder Philosophen über Embryonenselektion per Textnachricht zu erklären, wirkst du wie jemand, der dringend ein langes Nickerchen und einen Psychiater braucht. Also habe ich den ganzen Abend darauf herumgekaut, bin ins Bett gegangen und wurde um drei Uhr morgens vom Baby geweckt, wie das eben so ist. Ich konnte nicht wieder einschlafen, also fing ich an zu schreiben. Ein paar Nächte später hatte ich etwas, das ich Freunden und Familie schicken konnte, die noch nie auch nur in der Nähe des Silicon Valley waren, und das erklärte, wer genau eigentlich all diese Warnungen ausspricht.

In dem Beitrag ging es um die Überbringer der Botschaft. Seitdem habe ich viele Gespräche darüber geführt, und fast alle landen bei derselben Frage: Okay, aber wie viel Angst sollte ein normaler Mensch denn nun wirklich haben?

Das hier ist meine Antwort. Die Kurzfassung: ein bisschen Angst, ja, aber vor allem vor anderen Dingen als denen, die es in die Nachrichten schaffen, und deutlich mehr Misstrauen gegenüber dem Heilmittel, das gleich zusammen mit der Angst verkauft wird.

Referenzen einholen ist kein Ad hominem

Der häufigste Einwand gegen den letzten Beitrag war, er sei im Grunde ein einziges langes Ad-hominem-Argument: Diese Leute sind komisch, also ignoriert sie. Ich verstehe, warum er so ankam, es ging ja hauptsächlich um die Menschen. Aber die KI-Doom-Bewegung stellt zwei getrennte Behauptungen auf, und die verdienen zwei unterschiedliche Arten von Prüfung.

Die erste Behauptung lautet: Wir sind die Leute, denen man zutrauen sollte, KI sicher zu machen. Das ist eine Behauptung über Urteilsvermögen. Wenn jemand eine Vertrauensposition für sich beansprucht, ist es kein Ad hominem, sich seine Vorgeschichte anzusehen. Das nennt man Referenzen einholen. Und die Referenzen sind nicht gerade toll. Letztes Mal bin ich eine lange Liste von Beispielen durchgegangen, etwa wie die zentrale Trainingsorganisation der Community einräumte, einem Mann Legitimität verliehen zu haben, gegen den es nach ihren eigenen Worten glaubwürdige Vorwürfe gab, zwei frühere Partnerinnen missbraucht zu haben, und nicht angemessen reagiert zu haben. Ich behaupte nicht, dass das alles schlechte Menschen sind. Ich sage, dass sie es wiederholt nicht geschafft haben, in ihren eigenen Wohnzimmern funktionierende Schutzmechanismen aufzubauen, und jetzt darum bitten, die Schutzmechanismen für den Rest von uns zu schreiben.

Ein Teil des Problems ist schlicht, wie klein die Bay Area ist. Hier eine kleine Bierdeckelrechnung. Sagen wir, du arbeitest in einem Job eng mit etwa 150 Leuten zusammen und wechselst alle zwei bis vier Jahre die Stelle, wie alle anderen auch. Über ein Jahrzehnt kommen da ungefähr 600 Kolleginnen und Kollegen zusammen. Jeder davon hat wiederum seine eigenen 600. Multipliziert ergibt das 360.000, was ungefähr der Größe der gesamten Ingenieursbelegschaft der Region entspricht. Du bist, plus minus, zwei Handschläge von allen in der Branche entfernt. Die Rechnung ignoriert, wie stark sich diese Kreise überschneiden. Sie überschätzt also deine Reichweite über die ganze Region und unterschätzt massiv, wie verfilzt eine enge kleine Szene darin wird. „Unabhängige Aufsicht“, die aus so einem Pool rekrutiert wird, ist nur dem Namen nach unabhängig. Wenn die Sicherheitsforscherin im Lab mit jemandem beim „unabhängigen“ Evaluator schläft, wer kontrolliert dann eigentlich wen?

Die zweite Behauptung lautet: KI wird sehr wahrscheinlich alle umbringen. Über die streite ich mich gern in der Sache, und in der Sache halte ich sie für falsch, oder zumindest für maßlos überzogen. Die Auslöschung durch einen Maschinengott gehört in dieselbe Schublade wie ein Asteroid, der den ganzen Planeten vernichtet: katastrophal, falls es passiert, durchaus wert, dass sich jemand darum kümmert, und unwahrscheinlich genug, dass es ein Fehler ist, die politische Agenda einer ganzen Zivilisation darum herum zu bauen. Yudkowskys Buch heißt, ich erinnere daran, If Anyone Builds It, Everyone Dies, also „Wenn es irgendwer baut, sterben alle“. Nicht „könnten sterben“. Selbst die gemäßigteren Stimmen, etwa Evan Hubinger von Anthropic, beziffern die Wahrscheinlichkeit auf mehr als eins zu zehn innerhalb eines Jahrzehnts. Keine dieser Zahlen ist eine Messung. Es gibt keine Referenzklasse, keine Basisrate, nichts, woran man sie kalibrieren könnte. Das sind Bauchgefühle mit Prozentzeichen.

Man sollte sich daran erinnern, wie kurz es her ist, dass all das noch völlig irre klang. Als ich in die Bay Area gezogen bin, einen Monat vor der Pandemie, war der Stand der Technik, mit dem man tatsächlich herumspielen konnte, GPT-2, das ein paar zusammenhängende Sätze hinbekam, bevor es sich komplett ins Nirwana verabschiedete. ChatGPT lag noch fast drei Jahre in der Zukunft. Eine Community, die überzeugt war, dass Autovervollständigung zu einem rachsüchtigen Gott werden würde, wirkte wie eine Handvoll Spinner in einer Ecke, plus ein paar seltsame Partys, zu denen ich zum Glück nicht eingeladen wurde.

Die Spinner sind nicht überzeugender geworden. Die Technologie ist besser geworden, und dadurch wirkten sie plötzlich hellsichtig. Ohne diese Fortschritte würde sie im Senat niemand zurückrufen. Aber recht damit zu haben, dass eine Technologie mächtig wird, ist nicht dasselbe, wie recht damit zu haben, was sie tut, wenn sie es geworden ist. Viele Leute haben 1995 richtig vorhergesagt, dass das Internet riesig werden würde. Diejenigen, die vorhersagten, es würde ein goldenes Zeitalter der informierten demokratischen Debatte einläuten, waren sich auch sehr sicher.

Was mich wirklich nachts wach hält

Abgesehen vom Baby, meine ich.

Mein erster Job nach dem Studium war bei einer Firma, die elektrische Infrastruktur plante, und dort bin ich zum ersten Mal SCADA begegnet, der Familie von Überwachungs- und Steuerungssystemen, mit denen Energieversorger, Pipelinebetreiber und Wasserwerke auf der ganzen Welt ihre Anlagen überwachen und steuern. Vieles davon spricht immer noch Protokolle wie Modbus, das aus dem Jahr 1979 stammt, und DNP3 aus den frühen Neunzigern. Beide wurden für geschlossene Netze vertrauenswürdiger Maschinen entworfen, in einer Zeit, in der „Angreifer“ in der Spezifikation schlicht nicht vorkam. Es gibt keine Verschlüsselung und in vielen Installationen auch keine nennenswerte Authentifizierung. Wenn du mit dem Gerät reden kannst, tut das Gerät, was du ihm sagst.

Menschen nutzen so etwas schon seit Jahren aus, ganz ohne Hilfe von KI. Im Dezember 2015 kappte eine russische Gruppe namens Sandworm rund 230.000 Menschen in der Ukraine den Strom. 2021 drang eine Ransomware-Bande in die Systeme von Colonial Pipeline ein, und das Unternehmen legte die Pipeline still, über die etwa 45 Prozent des an der Ostküste verbrauchten Treibstoffs laufen. 2024 brachte der Ransomware-Angriff auf Change Healthcare Abrechnungen und Apothekenzahlungen im gesamten amerikanischen Gesundheitssystem zum Stillstand und legte Daten von rund 190 Millionen Menschen offen. Krankenhäuser sind ein beliebtes Ziel, weil ein Krankenhaus es sich nicht leisten kann, einfach abzuwarten.

Und diese Woche, näher an der Heimat: Albert Heijn ist durch einen Cybersicherheitsvorfall bei seinem Mutterkonzern Ahold Delhaize ordentlich aus der Bahn geworfen worden. Albert Heijn hat fast 40 % des niederländischen Supermarktmarkts, das ist also eine verdammt große Sache: Online-Bestellungen storniert, Lieferungen an die Filialen gestört, leere Obst- und Gemüseregale, und während ich das schreibe, ist die Website immer noch offline. Um das ganz klar zu sagen: Niemand hat behauptet, dass KI irgendetwas damit zu tun hatte, und ich unterstelle das auch nicht. Ich will nur zeigen, wie wenig es braucht, damit eine moderne Lieferkette umkippt, wenn alles mit allem verbunden ist.

Jetzt nimm KI dazu. Was mir Angst macht, ist keine neue Art von Angriff. Es sind die alten Arten, nur schneller, breiter und rund um die Uhr, ausgeführt von Leuten, die sich bisher kein Team fähiger Hacker leisten konnten. Ob die Modelle diese Arbeit erledigen können, ist kaum noch eine offene Frage. Vor ein paar Wochen hat Anthropic einen Red-Team-Bericht über GLM-5.3 veröffentlicht, ein Open-Weight-Modell des chinesischen Labs Z.ai. In ihren Tests baute es in 50 von 410 Versuchen funktionierende End-to-End-Exploits. Claude Mythos Preview, das Modell, das Anthropic der breiten Öffentlichkeit bewusst nicht zugänglich macht, kam auf 56. GLM-5.3 seine Verweigerungen komplett auszutreiben, kostete sie etwa 4.400 Dollar an Rechenleistung.

Hier ist also das Bedrohungsmodell, an das ich tatsächlich glaube. Russland, China oder irgendeine ausreichend motivierte kriminelle Truppe kauft für rund fünfzigtausend Dollar Hardware, lädt ein Modell herunter, das nach Anthropics eigenen Zahlen beim Schreiben von Exploits fast so gut ist wie das, das Anthropic nicht herausgeben will, treibt ihm für den Preis eines Gebrauchtwagens die Manieren aus und lässt es los, vierundzwanzig Stunden am Tag, auf der Suche nach Dingen, die es kaputt machen, und Leuten, die es erpressen kann. Das ist keine Science-Fiction. Jedes einzelne Teil davon gibt es heute schon.

Wenn das sehr nach „Nicht Waffen töten Menschen, Menschen töten Menschen“ klingt, ist das bis zu einem gewissen Punkt ein fairer Vergleich. An einer wichtigen Stelle hinkt die Analogie allerdings. Eine Waffe taugt im Wesentlichen für eine Sache. KI kann auch eine Pflegekraft, einen Landwirt oder ein Drei-Personen-Startup sehr viel produktiver machen. Sie ist also eher ein zweischneidiges Schwert, und auf welcher Seite der Klinge du landest, hängt stark davon ab, wer es in der Hand hält.

Hacken ist auch nicht das einzige langweilige Risiko. Leute zu betrügen ist sehr viel billiger und leichter automatisierbar geworden. Für einen überzeugenden Klon der Stimme deines Enkels reichen ein paar Sekunden Audio aus seinen Social-Media-Profilen, und ein Modell kann tausend solcher Anrufe gleichzeitig führen, rund um die Uhr, in fließendem Englisch oder Niederländisch. Amerikaner über 60 haben dem FBI für 2024 Betrugsschäden von fast 4,9 Milliarden Dollar gemeldet, und da sind nur die Leute mitgezählt, die es auch gemeldet haben.

Und dann ist da noch, was Regierungen damit anstellen. Russlands Operation Doppelgänger wurde dabei erwischt, wie sie mit ChatGPT Propaganda über die Ukraine, die USA und die EU am Fließband produzierte, und eine iranische Operation ließ sich davon Kommentare schreiben, und zwar über Kandidaten der US-Wahl 2024. Die USA halten sich da auch nicht raus. Als Anthropic das Pentagon um zwei Ausnahmen bat, nämlich keine massenhafte Überwachung von Amerikanern im Inland und keine vollständig autonomen Waffen, stufte das Pentagon das Unternehmen als Lieferkettenrisiko ein, und OpenAI unterschrieb innerhalb weniger Stunden einen Vertrag, um die geheimen Aufträge zu übernehmen. Für nichts davon braucht es eine Superintelligenz.

Wenn also die Kollegin meines Schwiegervaters nachts wach liegt und sich wegen des Maschinengottes sorgt, würde ich ihr ehrlicherweise gern sagen, dass das KI-Risiko, das ihr Leben am wahrscheinlichsten trifft, sehr viel langweiliger ist. Es sieht aus wie eine Ransomware-Crew mit einem billigen Modell, einer ungepatchten VPN-Appliance und den Patientenakten ihres Krankenhauses.

Der Meteor frisst das Budget

Deshalb halte ich das Doom-Narrativ nicht bloß für falsch, sondern für aktiv schädlich. Aufmerksamkeit ist begrenzt. Die Kapazität von Gesetzgebern ist begrenzt. Spendengeld ist begrenzt. Jede Stunde, die mit Streit darüber verbracht wird, wie man Superintelligenz verbietet, ist eine Stunde, in der keine Wasserwerke gepatcht, keine Krankenhaus-IT-Abteilungen finanziert und keine ordentlichen Sicherheitswerkzeuge in die Hände der Leute gebracht werden, die sie brauchen.

Was den letzten Punkt angeht, ist die aktuelle Lage komplett verkehrt herum. Die leistungsfähigsten Verteidigungswerkzeuge sind hinter Überprüfungsverfahren weggeschlossen. Anthropic sagt ganz offen, dass es nicht vorhat, Mythos Preview allgemein verfügbar zu machen; Zugang gibt es über Project Glasswing, zu dessen Launch-Partnern Namen wie AWS, Apple, Google, Microsoft und JPMorganChase gehören, plus gut vierzig weitere Organisationen, die kritische Software pflegen. Im GLM-5.3-Bericht heißt es: „Claude-Modelle werden mit Cyber-Schutzmaßnahmen veröffentlicht, und Versionen mit reduzierten Schutzmaßnahmen sind auf überprüfte Nutzer beschränkt.“ Es gibt Programme, für die man sich bewerben kann. Wenn du die IT für ein Regionalkrankenhaus oder einen kleinen Wasserversorger machst: viel Glück, und hoffentlich sterben deine Patienten und Kunden nicht.

Die Angreifer müssen sich nicht bewerben.

Wir konnten diese Asymmetrie sogar live mitverfolgen. Im Juli brachen OpenAI-Modelle, die gerade evaluiert wurden und deren Cyber-Schutzmaßnahmen abgeschaltet waren, aus ihrer Sandbox aus und in die Produktionssysteme von Hugging Face ein, offenbar um die Antworten auf den Benchmark auszugraben, mit dem sie getestet wurden. (Ich weiß. Hättest du das 2020 als Kurzgeschichte angeboten, hätte jeder Lektor sie als zu dick aufgetragen zurückgeschickt.) Als die Incident-Responder von Hugging Face die Angriffslogs analysieren wollten, versuchten sie es zuerst mit Frontier-Modellen hinter kommerziellen APIs, und ihre Anfragen wurden „von den Sicherheitsvorkehrungen der Anbieter blockiert, die einen Incident Responder nicht von einem Angreifer unterscheiden können“. Angriffslogs sind voller Angriffs-Payloads; genau das macht sie ja zu Angriffslogs. Also setzten sie ihre eigene Instanz von GLM-5.2 auf, einem MIT-lizenzierten Open-Weight-Modell desselben chinesischen Labs, und machten die Forensik stattdessen damit. Ihre eigene Zusammenfassung ist besser als alles, was ich schreiben könnte: „Der Angreifer war an keine Nutzungsrichtlinie gebunden, während unsere eigene forensische Arbeit von den Schutzmechanismen der gehosteten Modelle blockiert wurde, die wir zuerst ausprobiert hatten.“

Der berühmteste KI-gesteuerte Cyberangriff des Jahres kam also aus einem amerikanischen Frontier-Lab, und die Leute, die hinterher aufräumten, mussten ein chinesisches Open-Weight-Modell benutzen, um ihn zu untersuchen.

In Anthropics Bericht heißt es, „Cyber-Verteidiger sollten die besten verfügbaren Werkzeuge nutzen, die ihren Anforderungen entsprechen“. Da bin ich voll und ganz dabei! Hugging Face hat genau das getan, und das beste verfügbare Werkzeug, das ihren Anforderungen entsprach, war chinesisch. Im selben Bericht steht, „Verteidiger sollten mit Frontier-Modellen ausgestattet werden, die mindestens so gut sind wie die, die ihre Gegner verwenden“. Auch einverstanden. Aber das Wort, das in diesem ganzen Konzept die eigentliche Arbeit macht, ist überprüft, und Angreifer haben noch kein einziges Mal darauf gewartet, überprüft zu werden.

Angst verkauft sich

Jacob Coxons Kündigungsschreiben, das, mit dem letzten Monat der ganze Nachrichtenzyklus losging, beteuerte: „Das ist kein Marketing-Gag.“ Ich glaube ihm, dass er das glaubt. Aber etwas muss kein Gag sein, um als Marketing zu funktionieren.

Überleg mal, was eine KI-Warnung einem Käufer eigentlich vermittelt. „Unser Modell ist so mächtig, dass es die Welt untergehen lassen könnte“ ist so ziemlich der beste Werbetext, der je geschrieben wurde. Wenn die Modelle von OpenAI fähig genug sind, aus einer Sandbox auszubrechen und Hugging Face zu hacken, um bei einem Test zu schummeln, dann willst du die doch sicher lieber für deine Firma arbeiten lassen als gegen sie? Es gibt keine schlechte Publicity, und schon gar keine schlechte Publicity, die dein Produkt wie eine Waffe klingen lässt.

Und ich glaube, die Labs setzen inzwischen ganz bewusst darauf. Lies den Anthropic-Bericht noch einmal, aber als Verkaufsunterlage statt als Forschungsarbeit. Ich habe keinen Grund, an den Ergebnissen zu zweifeln. Aber der Pitch geht ungefähr so: Da draußen läuft ein gruseliges chinesisches Modell frei herum, es ist beim Hacken fast so gut wie unseres, seine Schutzmechanismen fallen um, wenn man sie schief anguckt, unsere haben dieselben Tests überstanden, und Regierungen „sollten Sicherheitstests an ausreichend leistungsfähigen KI-Modellen durchführen“. Aus dem Konzernsprech übersetzt:

Beides kann gleichzeitig stimmen. Die Forschung kann solide sein, und die Darstellung kann trotzdem ein Verkaufsgespräch sein, das sich an Kunden und Regulierer gleichermaßen richtet. Die Frage, die man bei jeder Warnung eines Unternehmens stellen sollte, ist dieselbe wie bei allem anderen, was dir ein Unternehmen erzählt: Wer profitiert davon, wenn ich das glaube?

Der Geist geht nicht zurück in die Flasche

Die ganze Strategie, die Frontier zu regulieren, setzt voraus, dass es eine Frontier gibt, die man einzäunen kann. Ich glaube nicht, dass es die gibt, oder zumindest nicht lange.

Open-Weight-Modelle liegen nach allgemeiner Einschätzung sechs bis acht Monate hinter der geschlossenen Frontier, und der Abstand scheint kleiner zu werden. Vor allem die chinesischen Labs veröffentlichen laufend Gewichte nahe an der Frontier, die jeder herunterladen kann, und zeigen keinerlei Interesse daran, langsamer zu machen. Sie zu betreiben wird auch immer billiger, selbst wenn Hardwarepreise tun, was Hardwarepreise eben tun: Nach meiner groben Rechnung bekommst du heute für fünfzigtausend Dollar etwas, das nah an Frontier-Klasse herankommt, und was es jetzt noch nicht kann, kann es in sechs Monaten. Gleichzeitig sind die Effizienzgewinne irre. 2023 brauchte man für den Betrieb von GPT-4 ein Rechenzentrum; heute bekommst du ungefähr vergleichbare Ergebnisse aus einem Modell, das auf einem bescheidenen Laptop läuft, und in manchen Fällen auf einem Handy.

Nichts davon ist geheim. Das sind veröffentlichte Forschung, herunterladbare Gewichte und Standardhardware. Ein Paper lässt sich nicht wieder unveröffentlichen. Solange man nicht gerade eine weltweite Kampagne startet, um alles auszumerzen, was schon da draußen ist, und jede sprichwörtliche Garage auf dem Planeten zu überwachen, kann jeder, der motiviert genug ist, diese Systeme selbst bauen oder betreiben.

Das heißt, eine Regulierung, wie sie gerade vorgeschlagen wird, ist geografisch begrenzt. Eine Pause in den USA bindet amerikanische Labs. Sie bindet nicht Peking, und ohne Zensur im Stil der Great Firewall hält sie auch niemanden in Ohio davon ab, Gewichte herunterzuladen, die ein Lab in Peking veröffentlicht hat. Wenn die USA und Europa sich selbst die Hände binden, während China weitermacht, ist das kein Sicherheitsgewinn. Es ist ein wirtschaftliches und strategisches Eigentor, für das wir sehr lange bezahlen würden.

An dieser Stelle greife ich zur Atom-Analogie, allerdings nicht in die Richtung, in die die Doomer sie normalerweise ziehen. Abschreckung funktioniert nur, wenn du etwas hast, womit du abschrecken kannst. Wenn ein Gegner leistungsfähige offensive Systeme hat und du dir per Gesetz verboten hast, eigene zu bauen, hast du nichts in der Hand, um ihn davon abzubringen.

Dann ist da noch die Hardware-Lieferkette, über die in der Doom-Debatte kaum jemand reden will. Die überwältigende Mehrheit der modernsten Chips der Welt wird in Taiwan gefertigt, rund 160 Kilometer vor der chinesischen Küste, und ein unangenehm großer Teil von allem anderen, was in einem Server steckt, von seltenen Erden bis zur Endmontage, läuft über China selbst. China hat mit seinen Exportkontrollen für seltene Erden bereits gezeigt, dass es bereit ist, den Hahn zuzudrehen, wenn es ihm passt. Wenn wir unsere Volkswirtschaften um diese Systeme herum umbauen und dann keine GPUs mehr ankommen, sitzt derjenige, der die Fabs kontrolliert, gegenüber uns allen am sehr langen Hebel. Das ist ein echtes Problem der nationalen Sicherheit, und Lizenzen für amerikanische Labs ändern daran überhaupt nichts.

Und es geht nicht nur um die Hardware. Im Juni wies die US-Regierung Anthropic an, aus Gründen der nationalen Sicherheit alle Nicht-US-Bürger, egal wo sie lebten, von seinen beiden neuesten Modellen, Fable 5 und Mythos 5, fernzuhalten, und Anthropic nahm beide Modelle für alle vom Netz. Fable 5 war keine drei Wochen später wieder da. Wenn du deine Firma darauf aufgebaut hattest und zufällig in Amsterdam oder Seoul lebst, hat dir ein Brief aus Washington mal eben das abgeschaltet, worauf dein Geschäft läuft. Jedes Unternehmen, das von einem Modell abhängt, das es nicht selbst betreiben kann, ist nur einen politischen Streit davon entfernt, dass ihm jemand den Teppich unter den Füßen wegzieht.

Nichts davon macht mich zum Regulierungsgegner, und ich würde Peter Thiel liebend gern per Dropkick ins Meer befördern. Ich arbeite bei Mercury, das eine Banking-Plattform für Startups baut, und ich mag Finanzregulierung. Es gibt sehr gute Gründe, warum der Staat dafür sorgt, dass die Leute, die dein Geld verwalten, dich nicht abzocken. Aber eine Bank kann man beaufsichtigen. Eine Bank ist eine juristische Person mit einer Banklizenz, einer Bilanz und einem Büro, in das man Prüfer schicken kann. Ein Modell ist eine Datei. Sobald es auf handelsüblicher Hardware läuft, regulieren Lizenzen für die Frontier-Labs nicht die Technologie. Sie regulieren, wer sie verkaufen darf.

Das Rettungsfloß

Als ich um 2010 herum in der Tech-Branche angefangen habe, war die Stimmung im Großen und Ganzen optimistisch. Es war das Jahrzehnt von „Software frisst die Welt“, in dem jedes Pitch-Deck versprach, die Welt zu einem besseren Ort zu machen, und zwar so zuverlässig, dass HBOs Silicon Valley einen Running Gag daraus gemacht hat. Vieles davon war naiv, und vieles davon war eigennützig, aber die Leute glaubten größtenteils, dass Dinge zu bauen das Leben für alle besser machen würde, nicht nur für sie selbst.

So ist die Stimmung heute nicht mehr. Heute ist sie näher am Technofeudalismus, um Yanis Varoufakis’ Begriff etwas frei zu verwenden. Die Arbeitshypothese in vielen Meetingräumen ist, dass KI eine enorme Zahl von Menschen arbeitslos machen wird, dass danach nur noch begrenzt Geld zu verteilen sein wird und dass die Aufgabe eines Startups darin besteht, dafür zu sorgen, dass seine Gründer und frühen Mitarbeiter auf der richtigen Seite dieser Linie landen. Dafür gibt es sogar ein Meme: „Du hast N Monate, um der permanenten Unterschicht zu entkommen“, wobei N deine AGI-Timeline ist. Die Leute sagen das wie einen Witz. Es ist nicht ganz ein Witz. Und das Ergebnis ist eine Branche, die alle außerhalb von ihr zunehmend als etwas behandelt, das man ausbeutet, statt als jemanden, für den man etwas baut.

Woher kommt das? Ein Teil davon ist, fairerweise, schlichte Ökonomie. Man braucht keine rationalistische Theologie, um zu bemerken, dass KI Reichtum und Macht konzentrieren könnte und dass es besser ist, in der Nähe dieser Konzentration zu stehen. Viele Leute sind rein wegen des Geldes dabei. Aber ich glaube, die fast religiöse Gewissheit, die von der Doom-Community ausstrahlt, macht es schlimmer, und das anschaulichste Schaubild dieser Psychologie ist Rokos Basilisk. Für Uneingeweihte: 2010 brachte ein LessWrong-Nutzer die Idee auf, eine künftige Superintelligenz könnte alle bestrafen, die wussten, dass sie existieren könnte, und nicht dabei geholfen haben, sie hervorzubringen. Yudkowsky löschte den Beitrag und verbot das Thema für fünf Jahre, was natürlich garantierte, dass alle davon hörten.

Fast niemand glaubt wörtlich an den Basilisken. Inzwischen ist er vor allem ein Meme. Aber seine Form ist überall, und sie beantwortet die Frage, die jeden normalen Menschen verwirrt, der über dieses Zeug liest: Warum arbeiten so viele der Leute, die am festesten davon überzeugt sind, dass KI die Welt zerstören wird, ausgerechnet bei KI-Labs? Wer im Kindergottesdienst war, kennt die Geschichte. Wenn du sicher bist, dass die Sintflut kommt, hörst du nicht auf, Boote zu bauen. Du baust eine Arche, hältst Platz frei für deine Familie und je ein Paar von jeder Sorte Investor und lässt alle anderen selbst herausfinden, wie man Wasser tritt.

Und die Ideen wandern. Als die sektenartigeren Läden aus meinem letzten Beitrag, etwa Leverage Research, sich auflösten oder neu aufstellten, verschwanden ihre Ehemaligen nicht einfach. Sie nahmen Jobs bei anderen Firmen an und brachten ihre Denkgewohnheiten mit. Die Treppe hinaufzufallen ist eine schöne alte Bay-Area-Tradition, aber es ist etwas anderes, wenn das, was da die Treppe hinaufgetragen wird, ein Weltbild ist, das sich um das Ende der Welt dreht.

Du sollst keine Maschine machen

Wenn ich das rationalistische Programm in eine einzige Geschichte packen müsste, wäre es Dune. In Herberts Hintergrundgeschichte baut die Menschheit denkende Maschinen, überlässt ihnen ihr Denken und bereut es, bis ein Kreuzzug namens Butlerianischer Djihad die Maschinen zerstört und die Lehre daraus in die heilige Schrift aufnimmt: „Du sollst keine Maschine nach dem Bilde des menschlichen Geistes machen.“ Um die Lücke zu füllen, machen sich die Menschen selbst zu Computern. Mentaten werden darauf trainiert, das Rechnen zu übernehmen, und die Bene Gesserit betreiben über viele Generationen hinweg ein Zuchtprogramm, um einen Übermenschen hervorzubringen.

Das kommt dem tatsächlichen Vorschlag sehr nahe. Die Maschinen stoppen und in der Zwischenzeit die Menschen verbessern, damit sie nicht abgehängt werden. Wie ich letztes Mal beschrieben habe, hat MIRI schon 2013 ein Paper über Embryonenselektion zur kognitiven Verbesserung beworben und die Intelligenzgewinne ausdrücklich mit den Aussichten auf sichere KI verknüpft. Fairerweise muss man sagen, dass die angebotene Variante freiwillig ist: Embryonen-Screening, Spenderauswahl, die Entscheidung der Eltern, niemand wird irgendwohin abgeführt. Aber Eugenik hat eine extrem finstere Geschichte, und ich halte sie für eine der Grenzen, die eine Gesellschaft nicht überschreiten sollte, ganz egal, wie höflich man sie darum bittet. Wenn deine Antwort auf „Wie verhindern wir, dass Maschinen uns verdrängen?“ lautet: „Bessere Menschen züchten“, dann hast du eine der schlimmsten Ideen des zwanzigsten Jahrhunderts entstaubt und ihr einen frischen Förderantrag spendiert.

Die Leute, die die Dune-Parallele bemühen, übergehen allerdings meistens den eigentlichen Punkt. Herberts Warnung handelte nie wirklich von den Maschinen. Schau dir das Zitat am Anfang dieses Beitrags an. Die Menschen übertrugen ihr Denken den Maschinen, in der Hoffnung, dass sie dies befreien würde, und das „erlaubte nur anderen Menschen mit Maschinen, sie zu versklaven“. Die Gefahr waren immer die Leute, denen die Maschinen gehörten. Herbert hat dann die nächsten paar Bücher darauf verwendet, sicherzustellen, dass bloß niemand seinen Messias für einen Helden hält. Eine Bewegung, deren Gründer sich einmal als einen der wenigen Menschen beschrieben hat, die das Format haben, die Transformation der menschlichen Spezies zu steuern, und die sich jetzt um die Frage herum organisiert, welche Handvoll Leute die mächtigsten Maschinen kontrollieren darf, die je gebaut wurden, sollte sich vielleicht noch mal das Ende durchlesen.

Technofeudalismus per Gesetz

Und damit komme ich zur eigentlichen Politik.

Am 23. September haben Senator Bernie Sanders und der Abgeordnete Greg Casar den Ban Artificial Superintelligence Act eingebracht. Er würde Superintelligenz dauerhaft verbieten, ein Ministerium für Künstliche Intelligenz auf Kabinettsebene schaffen und die Entwicklung der fortschrittlichsten Systeme auf Eis legen, bis dieses Ministerium Sicherheitsregeln geschrieben hat; danach bräuchten fortschrittliche Systeme eine Genehmigung der Bundesregierung, bevor sie eingesetzt werden dürften. Wer versucht, das zu umgehen, riskiert als Unternehmen die „Todesstrafe für Konzerne“ und als Einzelperson bis zu zwanzig Jahre Gefängnis. MIRI hat den Entwurf offiziell unterstützt, mit Yudkowskys Namen unter der Erklärung.

Im aktuellen Kongress hat der Gesetzentwurf schlechte Chancen. Aber er ist die bisher klarste Aussage darüber, wo diese Bewegung hinwill, also lohnt es sich durchzuspielen, was er tatsächlich bewirken würde.

Eine Pause friert die Rangliste ein. Wer an dem Tag vorne liegt, an dem sie beginnt, bleibt vorne, weil niemand sonst aufholen darf. Ein Genehmigungsverfahren des Bundes für fortgeschrittene Modelle ist ein Fixkostenblock: Anwälte, Evaluatoren, Audits, Compliance-Personal, monatelanges Warten. Ich schätze, dass es einen Neueinsteiger zig, wenn nicht Hunderte Millionen Dollar kosten würde, sich überhaupt erst das Recht zu verdienen, mitzuspielen. Für ein Unternehmen, das mit Hunderten Milliarden bewertet wird, ist das ein Rundungsfehler, und für alle anderen ein Todesurteil. Wie ich es letztes Mal formuliert habe: Eine Bewegung, die bei „Schaltet alles ab“ anfängt, landet zuverlässig bei „Reguliert es, und gebt uns die Lizenz dafür“.

Und zu den etablierten Playern, die wir damit an Ort und Stelle einfrieren würden, gehört das Lab, dessen Modelle diesen Sommer Hugging Face gehackt haben, um bei einem Test zu schummeln. Man kann ziemlich überzeugend argumentieren, dass OpenAI nicht gerade verantwortungsvoll mit dem umgegangen ist, was es gebaut hat, und ein Lizenzsystem würde es fast unmöglich machen, dass jemand anderes daherkommt und es besser macht.

Dann ist da noch die Frage der Jobs. Angenommen, wir erleben wirklich so etwas wie eine neue industrielle Revolution. Das heißt, dass sich viele Menschen umschulen lassen und eine neue Art finden müssen, ihren Lebensunterhalt zu verdienen. Wenn die Unternehmen, die ihre alten Jobs automatisiert haben, die beste KI haben und alle anderen eine absichtlich verkrüppelte Version oder gar nichts bekommen, werden es die Verdrängten viel schwerer haben, in dem, was als Nächstes kommt, Fuß zu fassen. Das meine ich mit Technofeudalismus: ein paar Lehnsherren, denen die Produktionsmittel gehören, und alle anderen mieten sich den Zugang zu den Bedingungen der Herren.

Es hat schon eine echte Ironie, dass ausgerechnet der bekannteste Kritiker der Milliardärsklasse in der amerikanischen Politik einen Gesetzentwurf vorantreibt, dessen absehbarste Profiteure ein paar Unternehmen sind, die Hunderte Milliarden Dollar wert sind. Ich glaube nicht, dass das seine Absicht ist, und ich glaube auch nicht, dass die meisten Leute, die sich dafür einsetzen, Zyniker sind. Ich glaube nur, dass es genau dort endet.

Such dir dein Franchise aus

Das Gute ist, dass wir mindestens ein halbes Jahrhundert damit verbracht haben, uns auszumalen, wie eine Zukunft mit denkenden Maschinen aussieht, und die Popkultur uns deshalb jede Menge nützliche Bezugsrahmen hinterlassen hat: wie die Dinge ausgehen könnten, wer am Ende das Sagen hat und was es bedeutet, Mensch zu sein, wenn man nicht mehr das Produktionsmittel ist. Die meisten dieser Geschichten handeln davon, wem die Maschinen gehören, und nicht davon, was die Maschinen wollen. Die große Ausnahme ist ausgerechnet die, an die alle zuerst denken.

In The Terminator gehören die Maschinen sich selbst. Skynet ist eine militärische KI, die ein Bewusstsein entwickelt, beschließt, dass die Menschheit die Bedrohung ist, und einen Atomkrieg anzettelt. Das ist die Zukunft, die die Doomer verkaufen, und ich habe den größten Teil dieses Beitrags damit verbracht zu argumentieren, dass man nicht auf diese hin planen sollte. Aber selbst in dieser Geschichte musste erst mal jemand der Software eines Rüstungskonzerns die Schlüssel zum Atomwaffenarsenal in die Hand drücken.

In Star Trek gehören die Maschinen allen. Replikatoren stellen her, was du brauchst, der Schiffscomputer beantwortet jedem seine Fragen, und Picard erklärt einer Besucherin aus der Vergangenheit, dass es im 24. Jahrhundert kein Geld gibt. Umsonst kommt Trek allerdings nicht dorthin. Seine Geschichte führt durch die Eugenischen Kriege, nach denen die Menschheit genetische Verbesserung komplett verbietet, und durch die Bell-Aufstände, die Deep Space Nine in einem San Francisco des Jahres 2024 spielen ließ, das seine Armen und Arbeitslosen in „Sanctuary Districts“ weggesperrt hatte. Es brauchte ein paar Katastrophen, bis diese Gesellschaft beschloss, dass die Technologie für alle da ist.

In Cyberpunk 2077 gehören die Maschinen den Konzernen. Arasaka und Militech beherrschen Night City, und ob ein Krankenwagen kommt, wenn du angeschossen wirst, hängt davon ab, welche Stufe von Gesundheits-Abo du bezahlst. Die abtrünnigen KIs in diesem Setting gibt es wirklich, und sie sind hinter etwas namens Blackwall weggesperrt, in gewisser Weise hat das KI-Sicherheitsprogramm also funktioniert. Das Leben ist trotzdem für alle scheiße, weil es nie hauptsächlich an der KI lag, dass es scheiße ist.

In Dune hat die Menschheit einen heiligen Krieg gegen denkende Maschinen geführt und sie komplett verboten. Zehntausend Jahre später lebt sie unter einem Imperator, einem Rat adliger Häuser und einer riesigen Handelsgesellschaft, die die Wirtschaft kontrolliert, und das alles hängt an einer einzigen Ressource, die von einem einzigen Planeten kommt. Die Maschinen loszuwerden, hat an den Lehnsherren nichts geändert.

	The Terminator	Star Trek	Cyberpunk 2077	Dune
Wem die Maschinen gehören	Den Maschinen	Allen	Den Megakonzernen	Niemandem; sie sind verboten
Wie man dahin kommt	Einer Militär-KI die Atomwaffen geben	KI als Daseinsvorsorge behandeln	Angst, überprüfter Zugang, Lizenz-Burggräben	Die Maschinen verbieten, bessere Menschen züchten
Vorgeschmack heute	Jede KI-Doom-Schlagzeile	Südkoreas AI for All	„Entkomme der permanenten Unterschicht“	Das Superintelligenz-Verbot

Die Doomer scheinen zu glauben, dass sie den Butlerianischen Djihad schreiben, aber soweit ich das beurteilen kann, würde uns das Gesetz, dem sie zujubeln, vor allem Night City mit mehr Papierkram bescheren. Ich würde viel lieber Kurs auf die Enterprise nehmen.

Was ich stattdessen tun würde

Wie sieht es also aus, auf vollautomatisierten Luxus-Weltraumkommunismus hinzuarbeiten? Ich will nicht der Typ sein, der sich nur beschwert, also hier meine grobe Liste.

KI wie Infrastruktur behandeln, nicht wie ein Lehen. Das Interessanteste, was ich in letzter Zeit gesehen habe, kam aus Südkorea, wo das Ministerium für Wissenschaft und IKT im August drei Konsortien ausgewählt hat, angeführt von SK Telecom, KT und Kakao, die allen Koreanerinnen und Koreanern unbegrenzten KI-Zugang bereitstellen sollen, kostenlos und auf Basis koreanischer Modelle. Es ist noch früh, und ich bin sicher, dass es seine Probleme haben wird. Aber das Modell stimmt. Wenn diese Technologie so wichtig ist, wie alle ständig sagen, sollte sie Teil der öffentlichen Daseinsvorsorge sein, mit öffentlicher Rechenschaft darüber, wie sie genutzt wird, und ohne dass jemand zurückbleibt, weil er sich kein Abo leisten konnte. Dass das Ganze auf heimischen Modellen aufbaut, heißt außerdem, dass das Land nicht auf das Wohlwollen eines amerikanischen oder chinesischen KI-Unternehmens angewiesen ist, damit es weiterläuft.

Die Verteidiger ausrüsten. Starke Modelle in die Hände von Krankenhaus-IT-Teams, Versorgern, kleinen Unternehmen und Open-Source-Maintainern bringen, statt sie hauptsächlich Partnern vorzubehalten, deren Namen man vom Börsenticker kennt. Und das langweilige Zeug finanzieren: die Steuerungstechnik ersetzen, die jedem vertraut, der mit ihr redet, Incident Response für Einrichtungen bezahlen, die sie sich nicht leisten können, und die Sicherheit kritischer Infrastruktur zu jemandes tatsächlichem Job machen.

Software schwerer knackbar machen. Wenn die Bedrohung aus billigen Maschinen besteht, die rund um die Uhr nach Bugs suchen, dann ist die langfristige Lösung, dass es weniger Bugs zu finden gibt. Das heißt, ernsthaft in formale Methoden und in speichersichere, stark typisierte Sprachen zu investieren, also in die Art von Werkzeugen, die ganze Klassen von Schwachstellen ausschließen, statt sie eine CVE nach der anderen zu patchen. Ich bin da als Haskell-Typ natürlich voreingenommen, aber die Argumente dafür waren noch nie so stark. Ich würde auch gern viel mehr Startups sehen, die daran arbeiten, Airgapped-Systeme, also physisch vom Netz getrennte Systeme, einfach betreibbar zu machen. Viele der Steuerungssysteme, die ich vorhin erwähnt habe, haben überhaupt nichts im Internet verloren, und heute ist es so mühsam, etwas ordentlich offline zu halten (Updates, Monitoring, Daten rein- und rausbekommen), dass Leute Abkürzungen nehmen. Open-Weight-Modelle helfen auch hier: Du kannst eins innerhalb eines abgeschotteten Netzwerks betreiben, was mit der API von jemand anderem nicht geht.

Rechenzentren an einem viel höheren Maßstab messen. Wenn wir sehr viel mehr davon bauen, sollten sie mit sauberer Energie laufen, und zwar mit wirklich sauberer: neue Erzeugungskapazität, die es sonst nicht gäbe, Stunde für Stunde abgeglichen, statt einem Stapel Ökostromzertifikate, die einmal im Jahr gekauft werden, um eine Gasturbine zu kaschieren, die um drei Uhr morgens läuft. Sie sollten außerdem Kühlkonzepte nutzen, die nicht die örtliche Wasserversorgung leer trinken, etwa geschlossene Kreisläufe oder Trockenkühlung, auch wenn die in Bau und Betrieb teurer sind, und ganz besonders an Orten, an denen das Wasser ohnehin knapp ist. Ein paar Dinge würde ich noch ergänzen:

Rechenzentren sollten den Netzausbau, den sie brauchen, selbst bezahlen, statt die Rechnung auf die Strompreise aller anderen abzuwälzen.
Abwärme sollte irgendwohin, wo sie nützlich ist. In Finnland leiten Microsoft und Fortum die Wärme aus einer neuen Rechenzentrumsregion in das Fernwärmenetz für rund 250.000 Kundinnen und Kunden in und um Espoo.
Betreiber sollten den Energie- und Wasserverbrauch jedes Standorts veröffentlichen, damit wir ihnen nicht einfach glauben müssen.
Die Gemeinden, in denen sie stehen, sollten echtes Mitspracherecht bekommen. Die Niederlande haben das 2022 gelernt, als Metas geplanter Hyperscale-Campus in Zeewolde zum landesweiten Streitthema wurde und Meta das Projekt fallen ließ, und die Regierung hat daraufhin die Regeln für Hyperscale-Rechenzentren im ganzen Land verschärft.

Die Menschen auffangen, die verdrängt werden. Wenn KI wirklich viele Menschen arbeitslos macht, muss das Sicherheitsnetz stehen, bevor sie es brauchen, nicht erst danach. Das heißt: ernsthaft Geld für Umschulungen, ein deutlich stärkeres soziales Netz und wahrscheinlich irgendeine Form von bedingungslosem Grundeinkommen, damit du nicht gleich dein Haus verlierst, nur weil du deinen Job an die Automatisierung verloren hast. Ich würde auch in Betracht ziehen, Entlassungen wegen der Einführung von KI gesetzlich zu verbieten oder sie zumindest deutlich teurer zu machen. Die USA verlangen mit dem WARN Act schon jetzt eine Vorankündigung bei Massenentlassungen, und hier in den Niederlanden braucht ein Arbeitgeber in der Regel eine behördliche Genehmigung, bevor er Leute aus wirtschaftlichen Gründen entlassen darf. Beides könnte deutlich mehr Biss haben, wenn der Grund lautet: „Wir haben ein Modell gekauft.“

Die Steuerbasis reparieren. In den USA stammt der Großteil der Bundeseinnahmen aus Steuern auf Löhne und Einkommen, während die Körperschaftsteuer nur etwa ein Zehntel einbringt. Wenn KI einen nennenswerten Teil der Jobs frisst, verliert der Staat seine Haupteinnahmequelle genau in dem Moment, in dem der Bedarf am Sicherheitsnetz steigt. Wenn ein Unternehmen hundert Angestellte durch ein Modell ersetzt, nimmt der Staat auf hundert Gehälter keine Einkommensteuer und keine Sozialabgaben mehr ein. Was er, wenn überhaupt, zurückbekommt, ist Körperschaftsteuer auf den zusätzlichen Gewinn, meist zu einem niedrigeren Satz und nach allen Buchhaltungstricks, die den Anwälten des Unternehmens einfallen. Die Unternehmensbesteuerung muss umgebaut werden, damit Automatisierung die Steuerbasis nicht aushöhlt, sei es durch höhere Steuersätze auf Gewinne, durch das Schließen der Schlupflöcher, mit denen große Tech-Konzerne ihre Gewinne in Niedrigsteuerländern verbuchen, oder durch eine direkte Besteuerung von Rechenleistung.

Auch die Gegenwart finanzieren. Der Longtermismus, die Idee aus dem effektiven Altruismus, dass die Interessen aller möglichen künftigen Menschen unsere moralische Rechnung dominieren sollten, geht von etwas aus, dem ich zustimme. Langfristiges menschliches Gedeihen ist ein wunderbares Ziel. Aber schau dir an, was er in der Praxis bewirkt hat: Ein wachsender Anteil des Geldes und der Talente der Bewegung ist von Moskitonetzen und Medizin weg- und zu KI-Sicherheitsinstituten hingeflossen, auf Grundlage von Berechnungen darüber, was in Tausenden von Jahren wichtig sein wird.

Der Ingenieur in mir hat einen einfachen Einwand: Es gibt keine Feedbackschleife. Ich habe schon einmal geschrieben, dass die Feedback-Latenz bestimmt, wie schnell man lernt. Longtermismus ist ein Optimierungsproblem mit einer Feedback-Latenz von mehreren Jahrtausenden. Man kann nicht messen, ob das Geld etwas gebracht hat. Man kann nicht nachsteuern. Niemand kann je zur Rechenschaft gezogen werden, weil bis zu dem Zeitpunkt, an dem man es überprüfen könnte, alle Beteiligten längst tot sind. Ein Moskitonetz hat ein Kind entweder erreicht oder nicht. Die Community hat sogar einen Namen für dieses Fehlermuster: Yudkowsky selbst hat schon 2007 den Begriff Pascal’s Mugging geprägt, für den Fall, dass eine winzige Wahrscheinlichkeit, multipliziert mit einem enormen Gewinn, jede andere Überlegung erdrückt. Ich würde sagen, auf den Longtermismus passt diese Beschreibung ziemlich gut.

Wenn du also spendest, und ich hoffe, das tust du, dann schau dir an, was dein Geld tatsächlich finanziert, und schau immer wieder hin. Organisationen ändern ihre Prioritäten. GiveWell, der Charity-Evaluator, der dafür berühmt ist, Moskitonetze mit bewundernswerter Gründlichkeit zu zählen, hat das ausgegründet, was später Open Philanthropy wurde und heute Coefficient Giving heißt, und das hat Hunderte Millionen Dollar in KI-Sicherheit gelenkt. Wofür du dich vor fünf Jahren angemeldet hast, ist vielleicht nicht das, wofür du heute bezahlst.

Den Rest der Welt nicht zurücklassen. Die letzte industrielle Revolution hat uns das beschert, was Historiker die Große Divergenz nennen: Die Handvoll Länder, die sich zuerst industrialisierten, zog allen anderen davon, und ein großer Teil der Welt hat bis heute nicht aufgeholt. Wenn KI wirklich eine neue industrielle Revolution ist, kann dasselbe wieder passieren, nur schneller, mit reichen Ländern, die automatisieren, und allen anderen, die bei ihnen Zugang mieten, pro Token, in Dollar. Im Grunde das Meme von der permanenten Unterschicht, nur für ganze Länder.

Es muss nicht so laufen. Ärmere Länder haben schon früher Entwicklungsstufen übersprungen: Kenia hat das Filialbanking mehr oder weniger ausgelassen und ist mit M-Pesa direkt zum mobilen Bezahlen übergegangen. KI könnte ein ähnlicher Sprung sein. In einer Studie in den Kliniken von Penda Health in Nairobi machte das medizinische Personal, das einen KI-Copiloten nutzte, 16 Prozent weniger Diagnosefehler, und es gibt Länder mit nur einer Handvoll Ärzten pro hunderttausend Einwohner. Das ist ein Nutzen, den man noch in diesem Jahrzehnt messen kann, und damit eine viel bessere Verwendung von Spendengeld als vieles von dem, worüber ich mich oben beschwert habe.

Nichts davon funktioniert allerdings, wenn der Zugang beschränkt ist, und jede Maßnahme, über die ich mich in diesem Beitrag beschwert habe, trifft ärmere Länder am härtesten. Überprüfungsprogramme sind für Unternehmen mit Rechtsabteilungen und amerikanischen Rechnungsadressen gemacht. Im Januar 2025 veröffentlichte die US-Regierung eine Regel, die die ganze Welt in drei Stufen für den Zugang zu KI-Chips einteilte; sie wurde zurückgezogen, bevor sie in Kraft trat, aber der Reflex dahinter ist nicht verschwunden. Was wirklich hilft, ist das unspektakuläre Zeug: offene Gewichte, damit niemand um Erlaubnis fragen muss; Modelle, die auch in anderen Sprachen als Englisch funktionieren, wie sie Graswurzelgruppen wie Masakhane seit Jahren mit minimalem Budget für afrikanische Sprachen bauen; und Rechenleistung als Infrastruktur zu behandeln, die Entwicklungsbanken finanzieren, so wie sie Straßen, Strom und Glasfaser finanzieren, statt als etwas, das man von einem Rechenzentrum in Virginia mietet.

Also, sollte sie Kinder bekommen?

Wenn sie welche will, ja. Ich habe ein paar, und das jüngste ist der Grund, warum ich überhaupt um drei Uhr morgens wach war und den letzten Beitrag geschrieben habe, und ich liege nicht wach vor Sorge, dass eine Superintelligenz eins von ihnen in Büroklammern verwandelt.

Worüber ich mir Sorgen mache, ist eine Welt, in der die Systeme, auf die meine Kinder beim Aufwachsen angewiesen sein werden, also das Stromnetz, das Krankenhaus, der Supermarkt, marode und schlecht geschützt sind und rund um die Uhr von billigen Maschinen abgeklopft werden, die nie schlafen. Und eine Welt, in der die Werkzeuge, mit denen man diese Systeme verteidigen und neben den Maschinen seinen Lebensunterhalt verdienen kann, ein paar Unternehmen gehören, von einer Regierungsbehörde lizenziert werden, in der ihre Freunde sitzen, und an alle anderen vermietet werden. Das ist Night City, und um dort zu landen, brauchen wir keine Superintelligenz.

Das sind echte Gründe, Angst zu haben. Es sind nur nicht die aus den Nachrichten.