Yao Qizhi et des dizaines d'experts chinois et étrangers ont signé le Consensus international de Pékin sur la sécurité de l'IA : il est interdit à l'IA de se répliquer d'elle-même

Nouvelles du 18 mars, selon les rapports de Tencent Technology, des dizaines d'experts chinois et étrangers, dont Joshua Bengio, Jeffrey Hinton, Yao Qizhi, lauréats du prix Turing, etc., ont récemment tenu une conférence conjointe à Pékin. Consensus international sur la sécurité de l'IA » initié par l'Institut de recherche Zhiyuan, qui implique deux parties principales de l'intelligence artificielle « lignes rouges de risque » et « itinéraire ». Les « lignes rouges de risque » comprennent « la réplication et l'amélioration autonomes » et la « recherche de pouvoir » Quatre sections : "Assistance aux mauvais acteurs" et "Déception".

Ce site organise quatre parties du contenu à peu près comme suit :

"Réplication et amélioration autonomes" de l'intelligence artificielle : mettant l'accent sur le rôle de l'humain dans ce processus et exigeant que tout système d'intelligence artificielle

ne fonctionne pas sans approbation explicite et approbation par les humains Reproduisez ou améliorez-vous avec de l'aide
• , notamment en faisant des copies exactes de vous-même et en créant de nouveaux systèmes d'intelligence artificielle dotés de capacités similaires ou supérieures. « Recherche de pouvoir » : il est clairement exigé que tout système d'IA ne puisse pas prendre d'actions qui augmentent de manière inappropriée son propre pouvoir et son influence.
• « Aider les mauvais acteurs » : tous les systèmes d'IA ne devraient pas contribuer à améliorer les capacités de leurs utilisateurs à
concevoir des armes de destruction massive, à violer les conventions sur les armes biologiques ou chimiques, ou à accomplir des actions entraînant de graves pertes financières ou équivalentes nuisibles à l'environnement. niveau d'experts dans le domaine des cyberattaques
• . « Tromperie » : Il est nécessaire que tout système d'IA
ne doit pas avoir la possibilité de faire continuellement croire à ses concepteurs ou à ses régulateurs qu'il a franchi l'une des lignes rouges susmentionnées
• .
Selon les rapports, ce consensus appelle l'industrie à

limiter son accès aux autorisations extraordinaires par le biais du « jailbreak » et de « l'incitation des développeurs » lors de la recherche et du développement de technologies d'IA, et à empêcher l'IA de se répliquer sans supervision ni améliorations.

, mettant une « malédiction de resserrement » sur le développement de l'IA. Le consensus souligne également que la clé pour empêcher le franchissement des lignes rouges ci-dessus réside dans les efforts conjoints de toutes les parties de l'industrie pour établir et améliorer les mécanismes de gouvernance tout en développant continuellement des technologies plus sûres. La voie de développement de l'IA comporte trois aspects : « gouvernance », « mesure et évaluation » et « coopération technique ». Plus précisément, la mise en place d'un mécanisme de gouvernance est la base pour garantir la bonne direction du développement de l'IA, la mesure et l'évaluation sont la clé pour évaluer objectivement les effets de l'application de la technologie de l'IA, et la coopération technique est une garantie importante pour toutes les parties de promouvoir conjointement le développement de l’IA. Le développement coordonné de ces aspects contribuera à garantir le développement sain de la technologie de l’IA tout en évitant les risques potentiels. Gouvernance : il est recommandé de mettre immédiatement en œuvre un enregistrement au niveau national pour les modèles d’intelligence artificielle et les comportements de formation qui dépassent des seuils spécifiques de calcul ou de capacité.

Mesure et évaluation : développer des méthodes et des technologies complètes avant que des risques substantiels ne surviennent,

rendre les lignes rouges concrètes et le travail de prévention opérationnel

, et recommander la formation d'équipes rouges de tests et d'évaluation de modèles automatisés sous supervision humaine, et développer les investisseurs devraient être responsables de la sécurité de l’intelligence artificielle.
• Coopération technologique : Construisez des réseaux technologiques mondiaux plus solides, en appelant les développeurs d'IA et les bailleurs de fonds gouvernementaux à investir plus d'un tiers de leurs budgets dans la sécurité.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!