Montag, 23. Juni 2025 von Dr. Michael Gebert Wie kontinuierliches Denken KI-Transformer neu definiert
Superposition statt Schritt-für-Schritt
Ein neues Konzept aus Kalifornien stellt das Prinzip des Reasonings auf den Kopf: "Chain of Continuous" verspricht mehr Effizienz, emergente Intelligenz und neue Chancen für Europa. Ein Forschungsteam aus Berkeley, San Diego und Meta AI hat im Mai 2025 eine Studie veröffentlicht, die tief im Maschinenraum des maschinellen Denkens ansetzt – mit möglicherweise weitreichenden Folgen für die Praxis. Im Paper "Reasoning by Superposition: A Theoretical Perspective on Chain of Continuous Thought" zeigen die Autoren Hanlin Zhu, Shibo Hao, Zhiting Hu, Jiantao Jiao, Stuart Russell und Yuandong Tian, dass ein einfach gebauter Transformer mit nur zwei Schichten komplexe Reasoning-Aufgaben effizient lösen kann, wenn er nicht mehr Schritt für Schritt denkt, sondern parallel in sogenannten Superpositionszuständen.
Im Unterschied zur klassischen "Chain of Thought" (CoT), die Gedankenschritte sequenziell abarbeitet, setzt COCONUT auf kontinuierliche Gedankenvektoren im latenten Raum. Diese Vektoren repräsentieren nicht nur eine Möglichkeit, sondern – analog zu quantenmechanischen Zuständen – mehrere Alternativen gleichzeitig. Der Transformer denkt nicht mehr in einzelnen If-Then-Pfaden, sondern hält mehrere Lösungsoptionen offen, bis am Ende eine Art „Messung“ erfolgt und der beste Pfad ausgewählt wird.
Das „Graph Reachability“-Problem diente als Testfall für diese Theorie: Es geht dabei um die Frage, ob ein Knoten in einem gerichteten Netzwerk über eine bestimmte Anzahl von Schritten erreicht werden kann. In klassischen Transformer-Architekturen mit diskreter CoT braucht man dafür im schlimmsten Fall eine quadratische Anzahl an Berechnungsschritten – bei n Knoten also O(n^2) Schritte. Mit COCONUT reicht die Anzahl der Schritte, die dem Durchmesser des Graphen entspricht (D < n). Das ist ein Effizienzsprung mit potenziell enormer Wirkung auf Anwendungen wie Planung, Navigation, Logistik oder semantische Netze.
Besonders bemerkenswert: Das Modell benötigt dafür weder mehr Schichten noch mehr Trainingsdaten. Im Gegenteil: Der Beweis zeigt, dass zwei Schichten ausreichen, wenn die Architektur es erlaubt, dass dann jeder kontinuierliche Gedankenvektor eine „Superposition“ von Zuständen tragen kann. Diese Superposition speichert gleich mehrere Wege oder Möglichkeiten der Problemlösung, die dann simultan weiterverarbeitet werden können. Noch spannender ist, dass diese Superpositionen emergieren – sie entstehen also nicht durch explizites Training mit multiplen Pfaden, sondern von selbst. Die Autoren beobachteten, dass Modelle, die mit dem optimalen Pfad trainiert wurden, während des Trainings implizit lernten, weitere Möglichkeiten mitzurepräsentieren. Diese emergente Intelligenz wird zukünftig den Unterschied machen zwischen simplen Task-Lösern und wirklich robusten, generalisierenden Systemen.
Die Auswirkungen auf europäische Unternehmen und den KI-Standort Deutschland wird erheblich sein. Gerade in Bereichen, in denen komplexe Entscheidungsprozesse auf Basis von Netzwerken, Zeitfolgen oder Planungsregeln getroffen werden müssen – sei es in der Energiewirtschaft, im autonomen Verkehr oder in der Produktion – bieten sich mit COCONUT neue Optimierungsmöglichkeiten. Statt großer Modelle, die viele Ressourcen verschlingen, könnten kleine, spezialisierte Transformer in Edge-Umgebungen eingesetzt werden. Effizient, ressourcenschonend und mit parallelem Denkvermögen.
KI in Büro, Industrie und Verwaltung effizient verankern
Auch für KI-Startups oder Innovationsabteilungen in Mittelstand und Industrie ist das relevant: Die neue Methode macht es denkbar, Reasoning-Kernfunktionen auf wesentlich schlankerem Wege zu entwickeln – was Entwicklungszeiten, Rechenkosten und Skalierungsbarrieren senkt. Zudem könnten sich Trainingsparadigmen verschieben. Wenn kontinuierliches Denken von sich aus dazu tendiert, verschiedene Möglichkeiten zu explorieren, bedarf es womöglich keiner vollständigen Pfadannotationen mehr im Trainingsdatensatz. Stattdessen könnte man gezielt mit optimalen oder exemplarischen Lösungswegen arbeiten und trotzdem Modelle erhalten, die sich flexibel und generalisierend verhalten.
Im Paper zeigen die Autoren, wie ihre Konstruktion nicht nur theoretisch funktioniert, sondern auch in empirischen Experimenten Bestand hat. Selbst gegen ein 12-Schichten-Modell mit diskreter CoT schnitt der 2-Schichten-Transformer mit COCONUT besser ab. Visualisierungen der Attention-Maps bestätigen, dass der Transformer auf Basis kontinuierlicher Gedankenvektoren gezielt neue Fronten im Graphen exploriert – und dabei sogar untrainierte, aber valide Wege erkennt und nutzt. Diese Entdeckung wirft ein neues Licht auf die Möglichkeiten sogenannter „Low-Depth“-Transformer – ein Thema, das gerade in Europa angesichts der Debatte um nachhaltige KI, Energieeffizienz und technische Souveränität an Relevanz gewinnt. Kleine, aber intelligente Modelle könnten der nächste große Schritt sein, um KI in Büro, Industrie und Verwaltung wirklich effizient zu verankern.
Doch auch auf Forschungsebene bringt COCONUT neue Fragen mit sich: Warum entstehen Superpositionszustände überhaupt? Wie lassen sich diese dynamischen, latenten Gedankengänge messen oder steuern? Und wie verhalten sich kontinuierliche Gedanken in natürlicher Sprache, jenseits formalisierter Graphenprobleme? Für Entscheider im deutschsprachigen Raum lohnt sich ein genauer Blick auf diese Entwicklung. Nicht nur, weil sie ein hochaktuelles Beispiel für die Verbindung von Theorie und Praxis liefert. Sondern weil sie zeigt, dass das KI-Spiel nicht zwangsläufig auf Großmodelle hinauslaufen muss. Es gibt Alternativen – eleganter, fokussierter, emergenter. Und vielleicht europäischer. ■
#KünstlicheIntelligenz #COCONUT #SuperpositionThinking #TransformerModelle #KIReasoning #KIinEuropa #KIEntscheider #EmergenteIntelligenz #KontinuierlichesDenken #GraphReasoning #EdgeAI #NachhaltigeKI #KIMadeInEurope #DeepTechGermany #AIForIndustry #ZukunftDerKI #KIInnovationen #MaschinellesDenken #LowDepthTransformer #KIStrategie
