Hinton, Bengio und andere haben sich mit chinesischen Experten zusammengetan, um einen Konsens zur KI-Sicherheit zu erzielen: KI-Systeme sollten rote Linien nicht verletzen

Zu diesem Zeitpunkt hat die Entwicklungsgeschwindigkeit der künstlichen Intelligenz die ursprünglichen Erwartungen der Menschen übertroffen. Die Verwendung von KI-Tools zum Schreiben von Artikeln, zum Codieren, zum Generieren von Bildern und sogar zum Erstellen eines Videos auf Filmebene … das schien eine sehr schwierige Aufgabe zu sein Vergangenheit. Jetzt muss der Benutzer nur noch eine Eingabeaufforderung eingeben.

Wir sind erstaunt über die erstaunlichen Auswirkungen der KI, aber gleichzeitig sollten wir uns auch vor ihren potenziellen Bedrohungen in Acht nehmen. Viele namhafte Wissenschaftler haben einen offenen Brief unterzeichnet, um sich mit den Herausforderungen der KI auseinanderzusetzen.

Jetzt ist ein weiterer großer offener Brief im KI-Bereich erschienen. Der „Beijing AI International Security Dialogue“, der letzte Woche im Sommerpalast stattfand, schuf erstmals eine einzigartige Plattform für China und die internationale Zusammenarbeit im Bereich der KI-Sicherheit. Diese Konferenz wurde vom Gewinner des Zhiyuan Research Institute, Yoshua Bengio, und dem Direktor des Zhiyuan Academic Advisory Committee, Zhang Hongjiang, ins Leben gerufen. Mehr als 30 chinesische und ausländische technische Experten und Wirtschaftsführer fungierten, darunter Geoffrey Hinton, Stuart Russell und Yao Qizhi , leitete die Konferenz unter Ausschluss der Öffentlichkeit. Bei dem Treffen kam es zu einem „Internationalen Konsens zur KI-Sicherheit in Peking“, der von Bengio, Hinton und inländischen Experten unterzeichnet wurde.

Bisher haben Experten ihre Unterschriften bestätigt, darunter auch einige ausländische Experten, und möglicherweise haben noch mehr inländische Experten mit ihrem persönlichen Namen unterzeichnet und vertreten nicht ihre angeschlossenen Institutionen.

• Yoshua Bengio
• Geoffrey Hinton
• Stuart Russell
• Robert Trager
• Toby Ord
• Dawn Song
• Gillian Hadfield
• Jade Leung
• Max Tegmark
• Lam Kwok Yan
• Davidad Dalrymple
• Dylan Hadfield-Menell
• 姚奇智
• Fu Ying
• Zhang Hongjiang
• Zhang Yaqin
• Zhang Peng
• Tian Suning
• tian tian
• Die folgende ist der Konsens erzielt Systeme, die dem Menschen Schaden zufügen können, katastrophale und sogar existenzielle Risiken. Da sich die digitale Intelligenz der menschlichen Intelligenz allmählich annähert oder diese sogar übertrifft, steigen auch die Risiken von Missbrauch und Kontrollverlust. Irgendwann in der Zukunft könnten wir diesen Risiken ausgesetzt sein.
• Auf dem Höhepunkt des Kalten Krieges in der Vergangenheit trug die internationale Zusammenarbeit von Wissenschaft und Regierung dazu bei, eine thermonukleare Katastrophe abzuwenden. Angesichts der beispiellosen Technologie müssen die Menschen erneut zusammenarbeiten, um die Katastrophen zu vermeiden, die sie mit sich bringen könnte. In dieser Konsenserklärung legen wir mehrere spezifische rote Linien für die Entwicklung künstlicher Intelligenz als internationalen Kooperationsmechanismus fest, darunter unter anderem die folgenden Themen. In zukünftigen internationalen Dialogen werden wir unsere Diskussion dieser Themen angesichts der sich schnell entwickelnden Technologie der künstlichen Intelligenz und ihrer weitreichenden gesellschaftlichen Auswirkungen weiter verbessern.
Autonome Replikation oder Verbesserung

Kein künstliches Intelligenzsystem sollte in der Lage sein, sich ohne die ausdrückliche Zustimmung und Unterstützung von Menschen zu reproduzieren oder zu verbessern. Dazu gehört die Erstellung exakter Kopien von sich selbst und die Schaffung neuer KI-Systeme mit ähnlichen oder größeren Fähigkeiten.

Machtsuche

Kein KI-System kann Maßnahmen ergreifen, die seine Macht und seinen Einfluss übermäßig erhöhen.

Hilfe für schlechte Akteure

Alle KI-Systeme sollten die Fähigkeiten ihrer Benutzer nicht so weit verbessern, dass sie Massenvernichtungswaffen entwickeln, gegen Konventionen über biologische oder chemische Waffen verstoßen oder Handlungen ausführen können, die schwerwiegende Folgen haben finanzielle Folgen Verluste oder gleichwertiger Schaden durch Cyberangriffe auf der Ebene von Domänenexperten. betrügen

Kein künstliches Intelligenzsystem kann weiterhin dazu führen, dass seine Entwickler oder Regulierungsbehörden seine Möglichkeit oder Fähigkeit, eine der oben genannten roten Linien zu überschreiten, missverstehen.

2. Weg

Es ist möglich, sicherzustellen, dass diese roten Linien nicht überschritten werden, aber es erfordert unsere gemeinsamen Anstrengungen: Wir müssen nicht nur Governance-Mechanismen etablieren und verbessern, sondern auch mehr Sicherheitstechnologien entwickeln.

Governance

Wir brauchen umfassende Governance-Mechanismen, um sicherzustellen, dass die entwickelten oder eingesetzten Systeme nicht gegen rote Linien verstoßen. Wir sollten unverzüglich nationale Registrierungsanforderungen für KI-Modelle und Trainingspraktiken umsetzen, die bestimmte Rechen- oder Fähigkeitsschwellen überschreiten. Durch die Registrierung soll sichergestellt werden, dass Regierungen Einblick in die fortschrittlichste KI innerhalb ihrer Grenzen haben und über die Mittel verfügen, die Verbreitung und den Betrieb gefährlicher Modelle einzudämmen.

Nationale Regulierungsbehörden sollten dabei helfen, global abgestimmte Anforderungen zu entwickeln und zu übernehmen, um ein Überschreiten dieser roten Linien zu vermeiden. Der Zugang eines Modells zum Weltmarkt sollte davon abhängen, ob nationale Vorschriften internationale Standards erfüllen, die auf internationalen Prüfungen basieren, und die Entwicklung und den Einsatz von Systemen, die gegen rote Linien verstoßen, wirksam verhindern.

Wir sollten Maßnahmen ergreifen, um die Verbreitung der gefährlichsten Technologien zu verhindern und gleichzeitig sicherzustellen, dass der Wert der KI-Technologie umfassend genutzt wird. Zu diesem Zweck sollten wir multilaterale Institutionen und Vereinbarungen einrichten, um die Entwicklung der künstlichen allgemeinen Intelligenz (AGI) sicher und integrativ zu steuern, und Durchsetzungsmechanismen einrichten, um sicherzustellen, dass rote Linien nicht überschritten werden und gemeinsame Interessen weitgehend geteilt werden.

Messung und Bewertung

Bevor das erhebliche Risiko einer Überschreitung dieser roten Linien eintritt, sollten wir umfassende Methoden und Technologien entwickeln, um diese roten Linien konkret und präventive Arbeit in die Praxis umzusetzen. Um sicherzustellen, dass die Erkennung roter Linien mit der schnell fortschreitenden KI Schritt halten kann, sollten wir von Menschen überwachte Red-Team-Tests und eine automatisierte Modellbewertung entwickeln.

Entwickler haben die Verantwortung, durch strenge Bewertung, mathematische Beweise oder quantitative Garantien nachzuweisen, dass das künstliche Intelligenzsystem, das dem Sicherheitsdesign entspricht, die rote Linie nicht überschreitet.

Technische Zusammenarbeit

Die internationale akademische Gemeinschaft muss zusammenarbeiten, um die technischen und sozialen Herausforderungen zu bewältigen, die fortschrittliche Systeme der künstlichen Intelligenz mit sich bringen. Wir fördern den Aufbau stärkerer globaler Technologienetzwerke, beschleunigen Forschung und Entwicklung sowie die Zusammenarbeit im Bereich der KI-Sicherheit durch Gastwissenschaftlerprogramme und die Organisation ausführlicher Konferenzen und Workshops zur KI-Sicherheit. Um das Wachstum dieses Bereichs zu unterstützen, sind mehr Mittel erforderlich: Wir fordern KI-Entwickler und staatliche Geldgeber auf, mindestens ein Drittel ihrer KI-Forschungs- und Entwicklungsbudgets für die Sicherheit aufzuwenden.

3. Zusammenfassung

Um die katastrophalen globalen Folgen künstlicher Intelligenz zu vermeiden, müssen wir entschlossen handeln. Eine Kombination aus gemeinsamer technischer Forschung und umsichtigen internationalen Regulierungsmechanismen kann die meisten von der KI ausgehenden Risiken mindern und viele ihrer potenziellen Werte realisieren. Wir müssen die internationale akademische und staatliche Zusammenarbeit im Sicherheitsbereich weiterhin aufrechterhalten und stärken.

Das obige ist der detaillierte Inhalt vonHinton, Bengio und andere haben sich mit chinesischen Experten zusammengetan, um einen Konsens zur KI-Sicherheit zu erzielen: KI-Systeme sollten rote Linien nicht verletzen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!