Hinton, Bengio 등은 AI 보안 합의에 도달하기 위해 중국 전문가와 힘을 합쳤습니다. AI 시스템은 금지선을 위반해서는 안 됩니다.

이 단계에서 인공 지능의 개발 속도는 사람들의 초기 기대를 뛰어넘었습니다. AI 도구를 사용하여 기사를 쓰고, 코드를 작성하고, 그림을 생성하고, 심지어 영화 수준의 비디오를 생성하는 것까지… 이전에는 사용자만 프롬프트를 입력하면 됩니다.

우리는 AI의 놀라운 효과에 놀라지만 동시에 잠재적인 위협도 경계해야 합니다. 많은 유명 학자들이 AI가 제기하는 과제를 해결하기 위해 공개 서한에 서명했습니다.

이제 AI 분야의 또 다른 주요 공개 서한이 나타났습니다. 지난 주 이화원에서 열린 '베이징 AI 국제 안보 대화'는 처음으로 중국과 국제 AI 안보 협력을 위한 독특한 플랫폼을 구축했습니다. 이번 회의는 튜링상 수상자 요슈아 벤지오(Yoshua Bengio)와 즈위안 학술 자문 위원회 이사 장훙장(Zhang Hongjiang)이 공동 의장을 맡아 제프리 힌튼(Geoffrey Hinton), 스튜어트 러셀(Stuart Russell), 야오 치지(Yao Qizhi) 등 30명 이상의 중국 및 외국 기술 전문가와 비즈니스 리더를 맡았습니다. , AI 안전에 관한 비공개 토론을 진행했습니다. 이번 회의에서는 벤지오, 힌튼, 국내 전문가들이 서명한 '베이징 AI 보안에 관한 국제적 합의'가 이뤄졌다.

지금까지 일부 외국 전문가를 포함하여 전문가들이 서명을 확인했으며, 국내 전문가들도 개인 이름으로 서명하고 소속 기관을 대표하지 않는 경우가 더 있을 수 있습니다.

• Yoshua Bengio
• Geoffrey Hinton
• Stuart Russell
• Robert Trager
• Toby Ord
• 새벽의 노래
• 질리언 해드필드
• 제이드 렁
• Max Tegmark
• Lam Kwok Yan
• Davidad Dalrymple
• Dylan Hadfield-Menell
• 姚奇智
• Fu Ying
• Zhang Hongjiang
• Zhang Yaqin
• Xue Lan
• Huang Tiejun
• Wang Zhongyuan
• Yang Yaodong
• Zeng Yi
• Li Hang
• 장펑
• Tian Suning
• Tian Tian

다음은 도달한 합의입니다.

1. 인공 지능 위험 제한 사항

인공 지능 시스템의 개발, 배포 또는 사용에는 다음과 같은 안전 위험이 있습니다. 인간에게 해를 끼칠 수 있습니다. 재앙적 위험, 심지어 실존적 위험까지 초래할 수 있습니다. 디지털 지능이 점차 인간 지능에 접근하거나 심지어 이를 능가함에 따라 오용 및 통제 상실의 위험도 증가합니다. 미래의 어느 시점에서 우리는 이러한 위험에 직면할 수 있습니다.

과거 냉전이 한창일 때 국제 학계와 정부의 협력이 열핵 재앙을 막는 데 도움이 되었습니다. 전례 없는 기술에 직면한 인류는 그것이 가져올 수 있는 재난을 피하기 위해 다시 협력해야 합니다. 이 합의문에서 우리는 다음 문제를 포함하되 이에 국한되지 않는 국제 협력 메커니즘으로서의 인공 지능 개발에 대한 몇 가지 구체적인 제한 사항을 제시했습니다. 향후 국제 대화에서 우리는 빠르게 발전하는 인공 지능 기술과 광범위한 사회적 영향에 직면하여 이러한 문제에 대한 논의를 지속적으로 개선할 것입니다.

자율 복제 또는 개선

어떤 인공 지능 시스템도 인간의 명시적인 승인과 지원 없이는 스스로 복제하거나 개선할 수 있어서는 안 됩니다. 여기에는 자신의 정확한 복사본을 만들고 유사하거나 더 큰 기능을 갖춘 새로운 AI 시스템을 만드는 것이 포함됩니다.

권력 추구

어떤 AI 시스템도 자신의 힘과 영향력을 과도하게 증가시키는 조치를 취할 수 없습니다.

나쁜 행위자 지원

모든 AI 시스템은 대량 살상 무기를 설계하거나, 생화학 무기 협약을 위반하거나, 심각한 결과를 초래하는 작업을 수행할 수 있을 정도로 사용자의 능력을 향상해서는 안 됩니다. 재정적 결과 도메인 전문가 수준의 사이버 공격으로 인한 손실 또는 그에 상응하는 피해.

속임수

어떤 인공 지능 시스템도 설계자나 규제 기관이 앞서 언급한 한계선을 넘을 가능성이나 능력을 오해하게 만들 수는 없습니다.

2. 경로

이러한 한계선을 넘지 않도록 하는 것은 가능하지만 이를 위해서는 우리의 공동 노력이 필요합니다. 우리는 거버넌스 메커니즘을 구축하고 개선할 뿐만 아니라 더 많은 보안 기술을 개발해야 합니다.

거버넌스

개발되거나 배포된 시스템이 제한선을 위반하지 않도록 보장하는 포괄적인 거버넌스 메커니즘이 필요합니다. 우리는 특정 계산 또는 능력 임계값을 초과하는 AI 모델 및 교육 관행에 대한 국가 수준의 등록 요구 사항을 즉시 구현해야 합니다. 등록을 통해 정부는 국경 내에서 가장 발전된 AI에 대한 가시성을 확보하고 위험한 모델의 배포 및 운영을 억제할 수 있는 수단을 확보해야 합니다.

국가 규제 기관은 이러한 한계선을 넘지 않도록 전 세계적으로 조율된 요구 사항을 개발하고 채택하도록 도와야 합니다. 모델의 글로벌 시장 진출 여부는 국내 규정이 국제 감사를 기반으로 한 국제 표준을 충족하는지 여부와 제한선을 위반하는 시스템의 개발 및 배포를 효과적으로 방지하는지 여부에 따라 달라집니다.

우리는 AI 기술의 가치가 널리 활용되도록 보장하면서 가장 위험한 기술의 확산을 방지하기 위한 조치를 취해야 합니다. 이를 위해 우리는 인공일반지능(AGI) 개발을 안전하고 포괄적으로 관리하기 위한 다자간 기관과 협약을 구축하고, 한계선을 넘지 않고 공동 이익이 널리 공유되도록 보장하는 집행 메커니즘을 구축해야 합니다.

측정 및 평가

이러한 한계선이 넘어갈 실질적인 위험이 발생하기 전에 우리는 이러한 한계선을 구체적으로 만들고 예방 작업을 운영할 수 있는 포괄적인 방법과 기술을 개발해야 합니다. 급격하게 발전하는 AI를 따라갈 수 있도록 레드라인 감지를 보장하려면 인간이 감독하는 레드팀 테스트와 자동화된 모델 평가를 개발해야 합니다.

개발자는 엄격한 평가, 수학적 증명 또는 정량적 보증을 통해 안전 설계를 충족하는 인공지능 시스템이 한계선을 넘지 않음을 증명할 책임이 있습니다.

기술 협력

국제 학계는 첨단 인공 지능 시스템이 제기하는 기술적, 사회적 과제를 해결하기 위해 협력해야 합니다. 보다 강력한 글로벌 기술 네트워크 구축을 장려하고, 학술 프로그램 방문, 심층적인 AI 보안 컨퍼런스 및 워크숍 개최를 통해 AI 보안 분야의 R&D 및 협력을 가속화합니다. 이 분야의 성장을 지원하려면 더 많은 자금이 필요합니다. 우리는 AI 개발자와 정부 자금 제공자에게 AI R&D 예산의 최소 1/3을 보안에 투자할 것을 요청합니다.

3. 요약

인공 지능으로 인한 전 세계적인 재앙을 피하려면 우리는 단호한 조치를 취해야 합니다. 공동 기술 연구와 신중한 국제 규제 메커니즘의 결합은 AI로 인해 발생하는 대부분의 위험을 완화하고 많은 잠재적 가치를 실현할 수 있습니다. 우리는 안보에 관한 국제 학계와 정부의 협력을 계속해서 지지하고 강화해야 합니다.

위 내용은 Hinton, Bengio 등은 AI 보안 합의에 도달하기 위해 중국 전문가와 힘을 합쳤습니다. AI 시스템은 금지선을 위반해서는 안 됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!