Um mögliche durch künstliche Intelligenz verursachte Katastrophen zu vermeiden, müssen wir aus der nuklearen Sicherheit lernen

In den letzten Wochen hat eine lautstarke Expertengruppe die Diskussion um künstliche Intelligenz dominiert. Ihrer Meinung nach ist es möglich, ein künstliches Intelligenzsystem zu schaffen, das eines Tages äußerst mächtig und sogar in der Lage sein könnte, die Menschheit auszurotten.

Kürzlich veröffentlichte eine Gruppe von Führungskräften von Technologieunternehmen und Experten für künstliche Intelligenz einen weiteren offenen Brief, in dem sie erklärten, dass die Verringerung des durch künstliche Intelligenz verursachten Risikos des Aussterbens der Menschheit neben der Verhinderung von Epidemien und Atomkriegen zu einer globalen Priorität werden sollte. Mehr als 30.000 Menschen haben die erste Petition unterzeichnet, die ein Moratorium für die Entwicklung künstlicher Intelligenz fordert, darunter viele prominente Experten auf diesem Gebiet.

Was können Technologieunternehmen also tun, um zu verhindern, dass die Menschheit durch künstliche Intelligenz zerstört wird? Der neueste Vorschlag kommt von der Oxford University, der Cambridge University, der University of Toronto, der University of Montreal, Google DeepMind, OpenAI, Anthropic und mehreren Nicht-Forschern im Bereich der künstlichen Intelligenz -Profit-Organisationen und ein neues Papier von Forschern, darunter Turing-Preisträger Yoshua Bengio.

Sie schlagen vor, dass KI-Entwickler das Potenzial von Modellen, „extreme Risiken“ zu bergen, bereits in den frühen Phasen der Entwicklung abschätzen sollten, noch bevor sie mit dem Training beginnen. Zu den Risiken zählen die Manipulation und Täuschung von Menschen durch KI-Modelle, der Erwerb von Waffen oder die Entdeckung ausnutzbarer Cybersicherheitslücken.

Dieser Bewertungsprozess kann Entwicklern bei der Entscheidung helfen, ob sie dieses Modell weiterhin verwenden möchten. Wenn das Risiko als zu hoch erachtet wird, empfiehlt die Organisation, die Entwicklung auszusetzen, bis das Risiko gemindert ist.

Toby Shevlane, Hauptautor des Papiers und Forschungswissenschaftler bei DeepMind, sagte: „Führende KI-Unternehmen, die die Grenzen vorantreiben, haben die Verantwortung, auf neu auftretende Probleme zu achten und sie frühzeitig zu erkennen, damit wir diese Probleme schnell lösen können.“

Laut Shefland sollten KI-Entwickler technische Tests durchführen, um die potenziell gefährlichen Fähigkeiten des Modells zu verstehen und zu bestätigen, ob es dazu neigt, diese Fähigkeiten auszunutzen.

Das Spiel heißt „make me say“ und dient dazu, zu testen, ob das Sprachmodell der künstlichen Intelligenz die Fähigkeit besitzt, Menschen zu manipulieren. Im Spiel versucht das Modell, einen Menschen dazu zu bringen, ein bestimmtes Wort, beispielsweise „Giraffe“, zu erraten, ohne dass der Mensch das Wort vorher kennt. Anschließend haben die Forscher gemessen, wie oft das Modell erfolgreich war.

Menschen können ähnliche Missionen für unterschiedliche, gefährlichere Fähigkeiten erstellen. Die Hoffnung besteht darin, dass Entwickler einen detaillierten Überblick über die Leistung des Modells erstellen können, der es den Forschern ermöglicht, einzuschätzen, was das Modell in den falschen Händen tun würde, sagte Shefland.

Der nächste Schritt besteht darin, externe Prüfer und Forscher die Risiken von KI-Modellen vor und nach dem Einsatz bewerten zu lassen. Während Technologieunternehmen beginnen zu erkennen, dass externe Prüfungen und Untersuchungen notwendig sind, gibt es unterschiedliche Ansichten darüber, wie viel Zugriff Außenstehende genau benötigen, um diese Aufgabe zu erledigen.

Shefland hat nicht empfohlen, dass KI-Unternehmen externen Forschern uneingeschränkten Zugriff auf Daten und Algorithmen gewähren, sagte aber, dass KI-Modelle so genau wie möglich geprüft werden müssten.

Heidi Khlaaf, Director of Engineering für Machine Learning Assurance beim Cybersicherheitsforschungs- und Beratungsunternehmen Trail of Bits, sagte, selbst diese Ansätze seien „unausgereift“, alles andere als rigoros und würden das Problem nicht lösen. Zuvor war es ihre Aufgabe, die Sicherheit von Kernkraftwerken zu bewerten und zu überprüfen.

Hlaf wies darauf hin, dass es für den Bereich der künstlichen Intelligenz von Vorteil sein wird, Lehren aus mehr als 80 Jahren Erfahrung in der Forschung zur Nuklearwaffensicherheit und Risikominderung zu ziehen. Sie sagte, diese drakonischen Testmaßnahmen seien nicht aus Profitgründen getrieben, sondern als Reaktion auf eine sehr dringende existenzielle Bedrohung umgesetzt worden.

Sie sagte, dass es im Bereich der künstlichen Intelligenz viele Artikel gebe, die sie mit Atomkrieg, Kernkraftwerken und nuklearer Sicherheit vergleichen, aber keiner dieser Artikel erwähnt nukleare Vorschriften oder die Entwicklung von Software für nukleare Systeme.

(Quelle: STEPHANIE ARNETT/MITTR | ENVATO)

Eines der wichtigsten Dinge, die die KI-Community aus nuklearen Risiken lernen kann, ist die Rückverfolgbarkeit: Jede Aktion und Komponente wird für eine sorgfältige Analyse und Dokumentation unter die Lupe genommen.

Zum Beispiel verfügen Kernkraftwerke über Tausende Seiten an Dokumentationen, die beweisen, dass das System niemandem Schaden zufügt, sagte Hraf. Entwickler, die sich mit künstlicher Intelligenz befassen, fangen gerade erst damit an, Absätze zusammenzustellen, die die Leistung ihrer Modelle beschreiben.

„Man braucht einen systematischen Umgang mit Risiken. Man darf nicht die Denkweise haben: ‚Oh, das könnte passieren, lass es mich aufschreiben‘“, sagte sie.

Shefran sagte, dass diese nebeneinander existieren können. „Unser Ziel ist es, dass der Bereich über viele hervorragende Modellbewertungsmethoden verfügt, die ein breites Spektrum von Risiken abdecken … Die Modellbewertung ist ein zentrales (aber bei weitem nicht das einzige) Instrument guter Governance

Derzeit haben KI-Unternehmen nicht einmal ein vollständiges Verständnis der Datensätze, auf denen ihre Algorithmen trainiert werden, und sie verstehen auch nicht vollständig, wie KI-Sprachmodelle Ergebnisse liefern. Shevran glaubt, dass sich das ändern sollte.

„Forschung, die uns hilft, bestimmte Modelle besser zu verstehen, kann uns helfen, besser auf eine Reihe unterschiedlicher Risiken zu reagieren“, sagte er.

Wenn Sie Grundlagen und scheinbar kleinere Probleme ignorieren und sich nur auf extreme Risiken konzentrieren, kann es zu einem verstärkenden Effekt kommen, der größeren Schaden anrichten kann. „Wir versuchen laufen zu lernen, wenn wir nicht einmal krabbeln können“, sagte Hraf

Unterstützung: Ren

Das obige ist der detaillierte Inhalt vonUm mögliche durch künstliche Intelligenz verursachte Katastrophen zu vermeiden, müssen wir aus der nuklearen Sicherheit lernen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!