Ein Risiko, das niemand versichern will

Die Versicherungswirtschaft, sonst geübt im Umgang mit Katastrophen, steht vor einem Problem: unbekannte Wahrscheinlichkeiten, potentiell unermessliche Schäden. OpenAI konnte bislang nur rund 300 Millionen US-Dollar Versicherungsschutz für KI-Risiken sichern – bei möglichen Schadenssummen im Milliardenbereich. Anthropic musste 2025 1,5 Milliarden US-Dollar für eine Sammelklage wegen Urheberrechtsverletzungen zahlen. Kein Versicherer wollte das Risiko voll abdecken.

Aon-Manager Kevin Kalinich bringt die Lage nüchtern auf den Punkt: „Der Versicherungsmarkt verfügt schlicht nicht über ausreichende Kapazitäten für KI-Modellanbieter.“ Weil niemand historische Schadensdaten kennt, verweigern klassische Versicherer Deckung. OpenAI denkt inzwischen über eine „Captive Insurance“, also Eigenversicherung, nach – ein Zeichen dafür, dass der Markt versagt.

In den 1950er-Jahren stand die Kernenergie vor demselben Problem: enorme Chancen, unkalkulierbare Risiken, keine Versicherbarkeit. Die Antwort hieß 1957 "Price-Anderson Act". Der US-Kongress schuf damals ein mehrstufiges Haftungssystem: Pflicht zur privaten Höchstversicherung, gemeinschaftlicher Branchenfonds als zweite Schicht und staatlicher Rückhalt als letzte Instanz. Der Haftungsrahmen wurde begrenzt, aber nicht aufgehoben. Betreiber blieben verantwortlich, der Staat sicherte die öffentliche Seite ab. Bis heute hat das System funktioniert – kein einziger Schadensfall überstieg die gedeckten Fonds.

Forscher schlagen nun vor, diese Architektur auf KI zu übertragen: mit einer „AI Liability Insurance“ für sogenannte Critical AI Occurrences – also Ereignisse, die massiven wirtschaftlichen, sozialen oder biologischen Schaden anrichten könnten. Der Aufwand scheint berechtigt, weil KI-Systeme Risiken erzeugen, die nicht lokal, sondern global korreliert sind. Ein fehlerhaftes Modell kann in Sekundenbruchteilen Milliardenprozesse beeinflussen – in Finanzsystemen, in Versorgungsketten, in der öffentlichen Kommunikation. Versicherung aber beruht auf der Annahme, dass Risiken unabhängig voneinander auftreten. KI bricht dieses Prinzip. Noch gravierender sind bio-technologische Eskalationsrisiken. OpenAI stufte seine eigenen Modelle 2025 als „hochfähig“ im Bereich biologischer Gefahren ein – offenbar ein Euphemismus für das, was Kritiker „Biowaffen-Assistenz“ nennen.

Anthropic aktivierte daraufhin die höchste Sicherheitsstufe für seine Systeme, weil es die Risiken nicht mehr ausschließen konnte. Die Vorstellung, dass ein Sprachmodell einem Studenten beim Bau eines Pathogens hilft, ist keine Science-Fiction mehr, sondern Gegenstand realer Evaluierungen. Bengio warnte: „Wenn KI beim Bau neuer Biowaffen eingesetzt wird, dann ist das keine Frage der Ethik mehr, sondern des Überlebens.“

Die bisherigen „Responsible Scaling Policies“ der großen KI-Anbieter sind allerdings noch freiwillig. 2023 verpflichteten sich OpenAI, Anthropic und Google in Washington gegenüber dem Weißen Haus, Sicherheitsmaßnahmen zu verstärken. Doch wie die ehemaligen OpenAI-Direktorinnen Helen Toner und Tasha McCauley später betonten, fehlte jede Durchsetzungsmacht: „Diese Unternehmen können sich nicht selbst regulieren.“

Und auch politisch bleibt das Bild zersplittert. In Kalifornien scheiterte 2024 ein Gesetz, das Haftungs- und Sicherheitspflichten für Hochleistungs-Sprschmodelle eingeführt hätte. Gouverneur Gavin Newsom legte sein Veto ein - aus Angst, die Innovationskraft zu bremsen. Bengio, Hinton und Elon Musk appellierten vergeblich.

In den USA dominiert weiter die freiwillige Selbstbindung und der EU AI Act sieht ebenfalls bislang keine Versicherungspflicht vor. Eine mögliche Haftung bleibt damit ungewiss. Ein verpflichtendes Versicherungsmodell, so Fürsprecher, hätte einen doppelten Effekt. Zum einen sorgt es für finanzielle Kompensation, wenn das Unerwartete eintritt. Zum anderen schafft es eine quasi-regulatorische Instanz, denn Versicherer werden zu Akteuren der Sicherheit: Sie verlangen Prüfberichte, Audit-Prozesse, Nachweise von Red-Teaming-Ergebnissen. Wer keine Deckung bekommt, verliert die Lizenz zum Operieren.

So wie die Nuklearversicherer eigene Pools und Fachgremien gründeten, könnten auch KI-Risikopools entstehen – Konsortien aus Rückversicherern, technischen Prüfern und Regulatoren. Das Kapital dafür ist vorhanden: Der globale Rückversicherungsmarkt soll bis 2033 über 600 Milliarden Dollar erreichen. Doch ohne staatlichen Zwang will kein Unternehmen freiwillig den ersten Schritt machen – zu groß wäre der Wettbewerbsnachteil.

Kritiker der Forderung warnen, Pflichtversicherungen könnten Innovation abwürgen. Der Price-Anderson-Act bewies aber, dass klare Haftungsgrenzen Investitionen fördern, weil sie Planungssicherheit schaffen. Wer weiß, wie hoch sein maximales Risiko ist, investiert eher. Ohne solche Grenzen drohen heute unkalkulierbare Exposures: Urheberrechtsklagen in Milliardenhöhe, Infrastruktur-Ausfälle, vielleicht irgendwann Katastrophen mit Menschenleben. Der Markt kann mit unendlicher Haftung nicht umgehen – also braucht er regulierte Verantwortung. Versicherungen sind in diesem Sinne Innovationstreiber, keine Bremsen. Sie zwingen Unternehmen, Sicherheitsprozesse messbar zu machen. Sie schaffen Benchmarks, Standards, Daten. Jede Police wäre ein Stück Regulierung, finanziell abgesichert.

Seit der Bletchley-Erklärung im Jahr 2023 und der Seoul-Erklärung im letzten Jahr, haben 30 Staaten und Organisationen, darunter die EU, die USA, Japan und Südkorea, eine gemeinsame Sicherheitsagenda formuliert. Allerdings blieben diese Abkommen unverbindlich. Ein globales AI-Insurance-Framework, davon sind Experten überzeugt, könnte Abhilfe schaffen – analog zu den internationalen Atomhaftungsabkommen. Staaten könnten Mindeststandards für Deckung, Prüfverfahren und Haftungsgrenzen vereinbaren. Das wäre marktbasierte Harmonisierung statt politischer Zersplitterung. Die OECD-KI-Prinzipien, inzwischen von der G20 übernommen, liefern dafür die normative Grundlage: Sicherheit, Robustheit, Verantwortlichkeit. Eine Versicherungspflicht würde diese Prinzipien ökonomisch operationalisieren.

Die lauter werdende Debatte dreht sich um das Risiko eines weiteren Oppenheimer-Moment. Neben Bengio formuliert auch Fei-Fei Li die moralische Dimension: „Verantwortliche KI ist ein kollektives Projekt – nicht das Privileg einiger Ingenieure.“ Freiwilligkeit endet dort, wo das Risiko existenziell wird. Noch ist es möglich, den Kurs zu ändern, bevor die Systeme autonom und selbstoptimierend werden. Doch die Warnungen mehren sich, und die ökonomischen Signale sind unüberhörbar. Die Copyright-Klage gegen Anthropic war nur ein Vorgeschmack. Was, so die Sorge, wenn der nächste „Vorfall“ nicht ein Buch betrifft, sondern ein Kraftwerk, eine Notaufnahme oder ein biologisches Labor?

Bengio will seinen Ruf nach einer Pflichtversicherung für KI nicht als Alarmismus verstanden wissen, sondern im Gegenteil als Pragmatismus. Aber auch seine Unterstützer sind skeptisch, ob die Politik schnell genug seine Argumente aufgreift. ■