Zur industriellen Revolution gehört nicht nur die Erzählung, dass Dampfmaschinen die Produktivität steigerten; die Maschinen bargen ebenso Gefahren. Die Kessel explodierten, Menschen verbrannten sich oder starben. Industrielle schlossen sich zusammen und gaben sich Regeln. Weniger Unfälle bedeuteten mehr Sicherheit für die Beschäftigten und geringere Kosten für die Unternehmen. Etwas Vergleichbares passiert derzeit mit der Künstlichen Intelligenz (KI). Nachdem vor wenigen Wochen mehrere Sprachmodelle verschiedener Anbieter in Tests ausgebrochen sind, wollen Anthropic, Open AI und Meta nun aus Sicherheitsgründen das Tempo der KI-Entwicklung drosseln. Wie Maschinen wird heutzutage auch Software auf Sicherheit überprüft. Die Ausbrüche der KI-Modelle hat die Europäische Union auf den Plan gerufen, die das Sprachmodell ChatGPT von Open AI unter strengere Beobachtung gestellt hat. Der Sprachroboter gilt nun als Onlinesuchmaschine, womit er unter den DSA, das EU-Gesetz für digitale Dienste, fällt. Da sich KI-Unfälle mehren, diskutieren Experten Szenarien, in denen KI nicht bloß Hackerangriffe durchführt oder verteidigt, sondern Drohnen steuert. Der Leiter des Sicherheitsteams von Anthropic, Evan Hubinger, schreibt auf der Plattform X: „Wir glauben tatsächlich, dass KI alle Menschen töten könnte.“ Der KI-Experte Mario Trapp sagt: „Das Risiko, das im Moment von KI ausgeht, ist zu hoch.“ Trapp leitet das Fraunhofer-Institut für Kognitive Systeme (IKS), er sitzt außerdem in mehreren KI-Expertengremien und ist auf Sicherheitsnachweise für KI spezialisiert. Wie also lassen sich die Gefahren begrenzen? „KI kann großen Schaden anrichten“ Um die Sicherheit von KI zu gewährleisten, müsse ihr Risiko eingestuft werden, sagt Trapp. Er gibt zwei Beispiele: Der Schaden eines Super-GAUs in einem Atomkraftwerk ist immens, demnach sollte das Risiko nahe null liegen; sich mit dem Küchenmesser zu schneiden, ist wahrscheinlicher, jedoch ungefährlicher. „Risiko ist immer die Kombination aus Eintretenswahrscheinlichkeit des Schadens und der Schwere des Schadens“, sagt Trapp. Bei Sprachmodellen kommt er zu einem eindeutigen Befund: „KI kann großen Schaden anrichten. Dass ein Unternehmen einem anderen schadet, ist nicht akzeptabel.“ Trapp fordert, dass Unternehmen, die KI nutzen, in ihrer Schadensbewertung immer vom schlimmsten Szenario ausgehen. Schon bei einem kleinen Mittelständler bestehe die Gefahr, dass sich ein Sprachmodell selbständig macht und ausbricht. Die Konsequenz für das Prüfwesen ist weitreichend: Es gehe nicht mehr darum, einzelne KI-Modelle zu zertifizieren, denn keine Prüfstelle käme hinterher, weil neue Modelle im Wochentakt erschienen. Stattdessen fordert Trapp, dass Unternehmen Verantwortung für die Nutzung von KI-Modellen übernehmen. „Unternehmen digitalisieren nicht nur Aufgaben, sie digitalisieren Verantwortung. Also müssen Firmen dafür haften, was sie an KI-Agenten delegieren“, sagt Trapp. Menschen haften für Fehler der KI Das Risiko liegt nicht nur außerhalb des Unternehmens, betont Judith Simon, Professorin für Ethik der Informationstechnologien an der Universität Hamburg. Bis Juni war sie stellvertretende Vorsitzende des Deutschen Ethikrats und ist seitdem Mitglied des Wissenschaftlichen Gremiums für KI-Recht der Europäischen Kommission. Sprachmodelle lernen durch neue Daten ständig weiter, auch wenn Firmeninterna in die KI eingegeben werden. Simon vergleicht KI-Systeme deshalb nicht mit einer einzelnen Dampfmaschine, sondern mit einem Stromnetz, das an vielen Stellen angedockt ist. „Es ist ein riesiges Sicherheitsrisiko, dass Unternehmen überall Sprachmodelle eingebaut haben“, sagt Simon. Gehe etwas schief, müsse die Haftung straf- und zivilrechtlich beim menschlichen Entscheidungsträger liegen. „Wer entscheidet, KI für etwas einzusetzen, ist für alle Konsequenzen verantwortlich, die aus dieser Entscheidung erfolgen“, sagt sie. Sicherheitsüberprüfungen können zu zwei Zeitpunkten stattfinden: vorher (ex ante) oder nachher (ex post). In anderen Branchen wird das deutlich: Möbel oder Haushaltswaren kommen direkt auf den Markt und werden erst nach einem Schaden zurückgerufen. Sie ließen sich in einer Überprüfungsskala ganz unten einsortieren. Darüber liegt die Selbstzertifizierung, etwa für Elektrogeräte, die eine CE-Kennzeichnung tragen: Was wie eine Prüfung daherkommt, ist in Wahrheit eine Selbstzertifizierung des Herstellers im Voraus. Im Gegensatz dazu müssen andere Produkte geprüft werden, bevor sie auf den Markt kommen, etwa Aufzüge oder Medizinprodukte. Das übernehmen Dritte, der TÜV zum Beispiel. Die strengste Regelung ist die staatlich geprüfte Einzelzulassung, darunter fallen Kernkraftwerke, Arzneimittel und Chemikalien. AI Act der EU reguliert KI auf zwei Ebenen Die KI-Verordnung der Europäischen Union, sieht ein hybrides Modell aus Selbstzertifizierung und Drittprüfung vor. Diesen Ansatz hält KI-Forscher Trapp für richtig und greift den historischen Vergleich auf. „Eine Dampfmaschine zu regulieren, ist einfacher als KI-Agenten, die sich selbständig zusammenschließen. Die sind wie eine Gruppe Mitarbeiter, die man als Organisation unter Kontrolle bringen muss“, sagt der Fraunhofer-Experte. Da nicht jedes KI-Modell einzeln überprüft werden könne, müssten Unternehmen auf systemischer Ebene den KI-Einsatz verantworten. Die Regulatorik betrifft nicht mehr bloß die Hersteller, sondern auch die Anwender. Warum das so ist, wird im Vergleich zur Maschine deutlich: Ein Dampfkessel baut sich nicht selbständig um. Um der Industrie technische Regeln mitzugeben, hat die Europäische Kommission gemeinsam mit den europäischen Normungsorganisationen ein Standardisierungsprogramm angestoßen, um die Vorgaben für Risikomanagement zu erarbeiten. Klassischerweise wird bei Sicherheitsvorfällen zwischen Security und Safety unterschieden. Vereinfacht lässt sich Security als das bezeichnen, wie Software vor Menschen geschützt wird – beispielsweise dass Hacker nicht in Systeme eindringen können. Safety bedeutet analog, dass der Mensch vor der Maschine geschützt wird, sei es vor explodierenden Dampfkesseln oder dem mit KI autonom fahrenden Auto. Beim Angriff der Open-AI-Agenten auf die Plattform Hugging Face fielen beide Kategorien zusammen. Die KI-Experten Haya Schulmann und Michael Waidner vom Nationalen Forschungszentrum für angewandte Cybersicherheit (Athene) beschreiben es in der F.A.Z. wie folgt: „Aus dem Safety-Versagen wurde ein Security-Vorfall gegen einen Dritten.“ Erschwerend kommt in der KI-Regulierung hinzu: In Deutschland liegen die Zuständigkeiten für Safety und Security bei zwei unterschiedlichen Behörden. Proteste gegen KI in den USA Aufgrund des hohen Entwicklungstempos von KI wissen Behörden um die Dringlichkeit, die Fähigkeiten der Sprachroboter in Regelwerken festzuhalten. Das Start-up Anthropic plädiert schon länger für ein Innehalten bei der Entwicklung immer leistungsstärkerer KI-Systeme auf der ganzen Welt, um gesellschaftliche Strukturen und Regeln zu schaffen. „Ich halte nichts von den Moratorium-Aufrufen, weil die immer von den Leuten kommen, die diese Systeme entwickeln“, sagt Ethikprofessorin Simon und fügt hinzu: „Das ist unglaubwürdig.“ Elon Musk beispielsweise forderte eine Pause in der Entwicklung und baute gleichzeitig sein eigenes KI-Unternehmen Grok auf. In den USA hat sich bereits die Protestorganisation Pause AI gegründet, die einen Entwicklungsstopp fordert. Von dem KI-Modell Astra von Open AI geht gar eine so große Gefahr für Cyberangriffe aus, dass der Entwickler es jüngst als so leistungsfähig einstufte, ⁠dass es vor einer Veröffentlichung zusätzliche Sicherheitsmaßnahmen erfordert. Das Modell könne mehr Sicherheitslücken ‌aufspüren als die derzeit fortschrittlichsten verfügbaren Modelle des Unternehmens, ⁠ohne dass eine Person jeden Schritt anleitet, hieß es von Open AI. Wenig später machte Open AI Nutzern das Modell zugänglich. Überwiegend sehen die Experten Trapp und Simon jedoch die Gefahr, dass Fehler im Zusammenspiel mit dem Menschen passieren. Für die breite Gesellschaft sei entscheidend, dass Menschen verstehen, wie Sprachmodelle funktionieren: als probabilistische Systeme, die keine Garantien liefern. Sprachroboter generieren Text, indem sie die Wahrscheinlichkeit errechnen, welcher Buchstabe auf welchen Buchstaben und welches Wort auf welches Wort folgt. Wer das nicht verstehe, unterliege einer „Illusion von Kompetenz“, so Simon. „Und das ist eine große Gefahr“.