Während die US-Regierung noch an einer Sicherheitseinschätzung zu den Gefahren der künstlichen Intelligenz arbeitet, hat der KI-Entwickler Anthropic ein dreistufiges Sicherheitsmodell vorgestellt. Dabei sollen externe Prüfer weitgehenden Zugang bekommen.

Wie Anthropic in einem Blogbeitrag  mitteilt, hat das »Onboarding« von sechs Mitarbeitern des auf KI-Modelle spezialisierten Beratungsunternehmens METR bereits begonnen. Es heißt, dass die Prüfer nicht nur Büros von Anthropic bekommen, sondern auch Firmen-Hardware und Zugang zu den internen Netzwerken. Damit haben sie ähnliche Einblicke in die aktuelle Entwicklung bei Anthropic wie die eigenen Angestellten des Unternehmens.

Anthropic zieht damit die Konsequenz aus einer Reihe von Sicherheitsvorfällen, die in den vergangenen Monaten bekannt wurden. Ende Juli musste der KI-Vorreiter etwa eingestehen, dass bei Tests neuer Modelle drei andere Firmen attackiert worden waren, was den Anthropic-Angestellten erst bei einer nachträglichen Prüfung aufgefallen war. Diese und andere Sicherheitspannen hatten weltweit eine Regulierungsdebatte zu den Gefahren von KI befeuert.

Streit über Transparenz und Geschäftsgeheimnisse

Das gemeinnützige Unternehmen METR hatte unter anderem den Einbruch von KI-Agenten des Anthropic-Konkurrenten OpenAI bei der KI-Plattform Hugging Face untersucht. Seine Prüfer gelten als technisch kompetent, allerdings wird METR eine große Nähe zu Anthropic vorgeworfen. (Mehr dazu lesen Sie hier. )

Wie Anthropic ankündigt, arbeitet das Unternehmen auch mit Prüfern der Firmen SecureBio und der Faculty zusammen. Außerdem soll es Gespräche mit weiteren Firmen geben, darunter Hugging Face.

Anthropic-Chef Dario Amodei hat schon länger Pläne für mehr Kontrolle bei der KI-Entwicklung. Streitpunkt war aber, wie transparent die Prüfer sein können, ohne Geschäftsgeheimnisse offenzulegen. Ein Insider sagte der Nachrichtenagentur Reuters jedoch, dass die Gespräche zuletzt gut vorangegangen seien und das Unternehmen offener ⁠geworden sei.

Laut der nun vorgestellten Regelung sind Kundendaten, rechtlich geschützte Informationen und die Modellarchitektur für die Prüfer tabu. Anthropic kann die Ergebnisse von METR etwa ‌zu Risiken und Vorfällen nicht per Veto blockieren, aber eng definierte Schwärzungen verlangen. METR kann diese Schwärzungsanträge öffentlich hinterfragen, ohne die zurückgehaltenen Informationen preiszugeben.