Die OpenAI-Richtlinien ermöglichen es Vorständen, CEOs von der Veröffentlichung neuer Modelle abzuhalten, um sich vor KI-Risiken zu schützen

Um die enormen Risiken zu vermeiden, die künstliche Intelligenz (KI) mit sich bringen kann, hat OpenAI beschlossen, dem Vorstand mehr Befugnisse zur Überwachung von Sicherheitsfragen zu geben und eine strenge Aufsicht über CEO Sam Altman durchzuführen, der letzten Monat gerade einen internen Kampf gewonnen hat

OpenAI hat am Montag, 18. Dezember EST, eine Reihe von Richtlinien veröffentlicht, die darauf abzielen, katastrophale Risiken zu verfolgen, zu bewerten, vorherzusagen und zu verhindern, die von immer leistungsfähigeren Modellen der künstlichen Intelligenz (KI) ausgehen. OpenAI definiert „katastrophales Risiko“ als jedes Risiko, das zu wirtschaftlichen Verlusten in Höhe von Hunderten von Milliarden Dollar oder zu schweren Verletzungen oder zum Tod mehrerer Menschen führen könnte

Der 27-seitige Leitfaden, bekannt als „Readiness Framework“, besagt, dass selbst wenn das Top-Management eines Unternehmens, einschließlich des CEO oder einer von der Führung benannten Person, davon ausgeht, dass ein zu veröffentlichendes KI-Modell sicher ist, der Vorstand des Unternehmens immer noch hat die Befugnis, die Veröffentlichung dieses Modells zu verschieben. Das bedeutet, dass der CEO von OpenAI zwar für die täglichen Entscheidungen verantwortlich ist, der Vorstand sich jedoch der Risikoergebnisse bewusst ist und die Macht hat, ein Veto gegen die Entscheidungen des CEO einzulegen

Das Readiness Framework von OpenAI empfiehlt die Verwendung eines Matrixansatzes zur Dokumentation des Risikoniveaus, das von hochmodernen KI-Modellen in mehreren Kategorien ausgeht, zusätzlich zu Bestimmungen für Unternehmensführung und Vorstandsbefugnisse. Zu diesen Risiken gehört, dass böswillige Akteure KI-Modelle nutzen, um Malware zu erstellen, Social-Engineering-Angriffe zu starten oder schädliche Informationen über nukleare oder biologische Waffen zu verbreiten

Konkret legt OpenAI Risikoschwellenwerte in vier Kategorien fest: Cybersicherheit, CBRN (chemische, biologische, radiologische, nukleare Bedrohungen), Überzeugung und Modellautonomie. Vor und nach der Implementierung von Risikominderungsmaßnahmen klassifiziert OpenAI jedes Risiko in vier Stufen: niedrig, mittel, hoch oder schwerwiegend

OpenAI legt fest, dass nur KI-Modelle eingesetzt werden dürfen, die nach der Risikominderung als „mittel“ oder niedriger eingestuft wurden, und dass nur Modelle, die nach der Risikominderung als „hoch“ oder niedriger eingestuft wurden, weiter entwickelt werden dürfen, wenn das Risiko nicht auf einen Wert unter „schwer“ reduziert werden kann Ebene wird das Unternehmen die Entwicklung des Modells einstellen. OpenAI wird außerdem zusätzliche Sicherheitsmaßnahmen für Modelle ergreifen, die als hohes Risiko oder schweres Risiko eingestuft werden, bis das Risiko gemindert ist

OpenAI teilt Sicherheitsproblembearbeiter in drei Teams ein. Das Team für Sicherheitssysteme konzentriert sich auf die Minderung und Bewältigung der Risiken, die von aktuellen Produkten wie GPT-4 ausgehen. Das Team von Super Alignment ist besorgt über die Probleme, die entstehen könnten, wenn zukünftige Systeme die menschlichen Fähigkeiten übersteigen. Darüber hinaus gibt es ein neues Team namens Prepare unter der Leitung von Aleksander Madry, Professor am Department of Electrical Engineering and Computer Science (EECS) am Massachusetts Institute of Technology (MIT)

Das neue Team wird die Entwicklung und Implementierung robuster Modelle bewerten. Sie werden insbesondere für die Überwachung der technischen Bemühungen und Betriebsstrukturen im Zusammenhang mit Sicherheitsentscheidungen verantwortlich sein. Sie werden die technische Arbeit vorantreiben, die Grenzen modernster Modellfunktionen überprüfen und Bewertungen und Syntheseberichte erstellen

Madry sagte, dass sein Team regelmäßig das Risikoniveau der fortschrittlichsten Modelle für künstliche Intelligenz von OpenAI, die noch nicht veröffentlicht wurden, bewerten und monatliche Berichte an die interne Security Advisory Group (SAG) von OpenAI übermitteln werde. SAG wird die Arbeit von Madrys Team analysieren und Empfehlungen an CEO Altman und den Vorstand des Unternehmens richten

Laut dem am Montag veröffentlichten Leitliniendokument können Altman und seine Führung auf der Grundlage dieser Berichte entscheiden, ob sie ein neues KI-System veröffentlichen, aber der Vorstand behält sich die Macht vor, ihre Entscheidung aufzuheben

Derzeit besteht Madrys Team nur aus vier Leuten, aber er arbeitet hart daran, weitere Mitglieder zu rekrutieren. Es wird erwartet, dass die Teammitglieder 15 bis 20 Personen umfassen werden, was dem bestehenden Sicherheitsteam und dem Hyper-Alignment-Team ähnelt

Madry hofft, dass andere KI-Unternehmen die Risiken ihrer Modelle auf ähnliche Weise bewerten werden und glaubt, dass dies ein Modell für die Regulierung werden könnte

Das obige ist der detaillierte Inhalt vonDie OpenAI-Richtlinien ermöglichen es Vorständen, CEOs von der Veröffentlichung neuer Modelle abzuhalten, um sich vor KI-Risiken zu schützen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!