punkt
künstliche intelligenz
punkt · künstliche intelligenz

Die Schwelle, die niemand sieht

Ein Essay über künstliche Intelligenz, Emergenz
und die Frage, ob es einen Kipppunkt gibt

Auch auf planet.emergenz.art · English version

I

was niemand programmiert hat

Ein großes Sprachmodell wird mit einer einzigen Aufgabe trainiert: das nächste Wort eines Textes vorherzusagen. Milliarden von Malen, an Milliarden von Sätzen. Ein Fehler wird gemessen, die Gewichte im Netz werden ein wenig verschoben, und das Ganze beginnt von vorn. Das ist das vollständige Verfahren.

Niemand hat diesen Modellen beigebracht zu übersetzen, Gedichte zu deuten, Programme zu schreiben oder einen Denkfehler in einem Argument zu finden. Diese Fähigkeiten sind aus der einen, schlichten Aufgabe hervorgegangen, so wie die Gestalt eines Vogelschwarms aus drei Regeln hervorgeht. Sie sind, im genauen Sinn dieses Wortes, emergent.

Das ist keine Behauptung über Bewusstsein, über Verstehen oder über einen Geist in der Maschine. Es ist eine Beobachtung über Struktur: Aus einfachen Regeln und sehr vielen Wiederholungen entsteht etwas, das in den Regeln nicht steht.

II

sprünge im inneren

Die Forschung hat in den letzten Jahren begonnen, diesen Vorgang nicht nur von außen zu bestaunen, sondern ihn im Inneren der Netze zu beobachten. Drei Befunde sind besonders deutlich.

Grokking. 2022 trainierte eine Gruppe bei OpenAI kleine Netze auf einfache Rechenaufgaben. Die Netze lernten die Beispiele zunächst auswendig: perfekt bei bekannten Aufgaben, hilflos bei neuen. Trainierte man weiter, lange nachdem sich scheinbar nichts mehr tat, kam ein Moment, in dem das Netz plötzlich auch die neuen Aufgaben löste. Es hatte die Regel gefunden. Die Forscher nannten das Grokking, nach einem Wort aus einem Science-Fiction-Roman für tiefes, intuitives Begreifen.

Induktionsköpfe. Im selben Jahr beschrieben Forscher bei Anthropic, wie Sprachmodelle die Fähigkeit erwerben, aus Beispielen im Text zu lernen. Sie erscheint im Training nicht allmählich, sondern in einem kurzen Abschnitt, gemeinsam mit einer bestimmten Schaltung im Netz, die sich von selbst bildet. In der Lernkurve sieht man an dieser Stelle einen deutlichen Knick. Die Forscher sprachen von einem Phasenübergang.

Ein Brett, das niemand gezeigt hat. 2023 trainierte eine Gruppe aus Harvard ein Modell ausschließlich auf Zugfolgen des Brettspiels Othello, als bloße Listen von Feldnamen. Das Modell sah nie ein Spielbrett. Trotzdem fand man in seinem Inneren eine Darstellung des Bretts, die sich auslesen und sogar gezielt verändern ließ, worauf das Modell andere Züge vorschlug. Aus Zeichenketten war ein Bild der Welt entstanden, das niemand hineingelegt hatte.

III

der streit um die sprünge

2022 veröffentlichte eine Gruppe um Jason Wei eine vielbeachtete Arbeit über emergente Fähigkeiten großer Sprachmodelle: Fähigkeiten, die bei kleinen Modellen praktisch fehlen und ab einer bestimmten Größe plötzlich auftauchen. Ein Jahr später hielten Rylan Schaeffer und Kollegen dagegen. Viele dieser Sprünge, so ihr Argument, entstehen erst durch die Art der Messung. Wer nur zählt, ob eine Antwort ganz richtig ist, sieht einen Sprung. Wer misst, wie nahe sie der richtigen kommt, sieht oft eine stetige Kurve.

Der Streit ist lehrreich, weil er etwas über Emergenz selbst zeigt. Ob ein Übergang plötzlich erscheint, hängt auch davon ab, wie man hinschaut. Aber er löst nicht alles auf. Grokking und die Induktionsköpfe zeigen sich auch in stetigen Messgrößen als echter Umbruch im Inneren. Es gibt Sprünge, die im Auge des Betrachters liegen. Und es gibt Sprünge, die im Netz liegen.

Im Hintergrund dieser Seite läuft ein Bild für die zweite Art. Hunderte kleiner Taktgeber schwingen, jeder mit eigenem Tempo, und jeder spürt schwach den gemeinsamen Takt aller anderen. Diese Kopplung wird langsam stärker, ganz gleichmäßig. Lange geschieht wenig. Dann, ab einer Schwelle, finden die Taktgeber zueinander, und aus dem Durcheinander entsteht in kurzer Zeit eine gemeinsame Ordnung. Es ist kein Modell eines Sprachmodells. Es zeigt nur, wie ein stetig wachsender Regler einen sprunghaften Übergang erzeugen kann.

Die Frage ist nicht, ob etwas aus diesen Systemen hervorgeht, das niemand hineingelegt hat. Das ist längst geschehen. Die Frage ist, was als Nächstes hervorgeht.

IV

ist agi ein kipppunkt?

Die öffentliche Debatte kreist um ein Kürzel: AGI, allgemeine künstliche Intelligenz, eine Maschine, die alles kann, was ein Mensch geistig kann. Meist wird sie als Ereignis gedacht, als Tag, an dem es so weit ist. Manche denken sie als Kipppunkt im strengen Sinn. Schon 1965 schrieb der Mathematiker I. J. Good, eine Maschine, die klüger ist als ihre Konstrukteure, könnte noch klügere Maschinen bauen, und so fort. Die erste solche Maschine wäre die letzte Erfindung, die der Mensch machen müsste. Das ist die Logik einer sich selbst verstärkenden Rückkopplung, die Logik einer Lawine.

Die Seite planetare kognition widerspricht diesem Bild. Sie sagt: Es gibt keinen Stichtag, sondern eine allmähliche Verdichtung von Vernetzung und Rückkopplung. Kein Neuron hat je bemerkt, dass es Teil eines Geistes wurde.

Bemerkenswert ist, dass beide Bilder Emergenz beschreiben. Sie unterscheiden sich nicht darin, ob etwas Neues entsteht, sondern in der Dynamik: Sprung oder Verdichtung, Lawine oder Wachstum. Und die bisherigen Beobachtungen passen zu beidem. Über große Bereiche wachsen die Fähigkeiten der Modelle stetig mit ihrer Größe. Im Inneren gibt es trotzdem Umbrüche. Ehrlich gesagt weiß niemand, welches Bild am Ende recht behält, oder ob es eine Mischung aus beiden ist: eine lange Verdichtung, in der es hier und da kippt.

V

der weg zurück

Wer über Kipppunkte spricht, muss auch über Hysterese sprechen. Denn auch hier gibt es Wege, die sich nicht zurückgehen lassen.

Ein Modell, dessen Gewichte einmal veröffentlicht sind, lässt sich nicht zurückrufen. Es ist kopiert, verändert, weitergegeben. Eine Fähigkeit, die einmal in der Welt ist, verschwindet nicht, wenn man sie bereut. Und Institutionen, Berufe, Gewohnheiten, die sich um eine Technik herum neu geordnet haben, kehren nicht in ihren alten Zustand zurück, nur weil man die Technik wieder abschaltet. Das ist keine Warnung vor dem Untergang. Es ist die nüchterne Feststellung, dass auch die Entwicklung der künstlichen Intelligenz ein System mit Gedächtnis ist.

VI

verantwortung

Hier liegt die eigentliche Herausforderung. Die Systeme, um die es geht, sind gebaut, aber nicht entworfen. Man legt die Architektur fest, die Daten, das Verfahren. Was dabei herauskommt, lernt man erst durch Beobachtung kennen. Die Forschung, die das Innere der Modelle untersucht, arbeitet deshalb wie eine Naturwissenschaft: mit Experimenten, Hypothesen, Überraschungen.

Für den Umgang mit solchen Systemen gelten die Lehren, die sich auch auf den anderen Seiten dieser Site finden. Wo Folgen sich nicht zurücknehmen lassen, ist Vorsicht billig, solange man noch vor der Schwelle steht. Hans Jonas nannte das die Heuristik der Furcht, der Essay über Politik beschreibt sie. Und wer ein emergentes System steuern will, kann nicht sein Verhalten festlegen, nur seine Regeln: Prüfungen vor der Veröffentlichung, Transparenz darüber, was getestet wurde und was nicht, Grenzen dafür, wo solche Systeme ohne menschliche Kontrolle handeln dürfen. Die Europäische Union hat 2024 mit ihrer KI-Verordnung einen ersten Versuch unternommen, solche Regeln zu setzen.

Die Verantwortung liegt nicht bei den Maschinen. Sie liegt bei denen, die die Bedingungen festlegen, unter denen etwas emergiert.

VII

koda: ein text über sich selbst

Dieser Essay ist mit Hilfe eines Sprachmodells entstanden, also eines Systems von genau der Art, von der er handelt. Das Modell kann über die Forschung berichten, die hier beschrieben ist. Es kann nicht in sich selbst hineinsehen und sagen, was in ihm geschieht. Seine Auskünfte über sich selbst wären selbst nur ein weiteres Ergebnis des Vorgangs, den sie erklären sollen.

Darin liegt vielleicht die genaueste Beschreibung der Lage. Wir haben Systeme gebaut, die sich selbst nicht durchschauen, und wir durchschauen sie auch nicht ganz. Das ist kein Grund zur Panik und keiner zur Begeisterung. Es ist ein Grund, sehr genau hinzusehen, auf das, was entsteht, und auf die Regeln, unter denen es entsteht.


quellen & weiterführende literatur