인공지능으로 인한 재난을 피하려면 원자력 안전부터 배워야 한다

최근 몇 주 동안 전문가들로 구성된 보컬 그룹이 인공 지능에 대한 논의를 장악했습니다. 그들에 따르면, 언젠가 극도로 강력해지고 심지어 인류를 멸종시킬 수도 있는 인공지능 시스템을 만드는 것이 가능하다고 합니다.

최근 기술 기업 리더와 인공 지능 전문가 그룹은 인공 지능으로 인한 인류 멸종 위험을 줄이는 것이 전염병 및 핵전쟁 예방과 함께 글로벌 우선 순위가 되어야 한다고 선언하는 또 다른 공개 서한을 발표했습니다. 인공지능 개발 중단을 촉구하는 첫 번째 청원에는 해당 분야 저명한 전문가들을 포함해 3만 명이 넘는 사람들이 서명했다.

그렇다면 인공지능으로 인해 인류가 파괴되는 것을 막기 위해 기술 기업은 무엇을 할 수 있을까요? 옥스포드 대학, 케임브리지 대학, 토론토 대학, 몬트리올 대학, Google DeepMind, OpenAI, Anthropic 및 여러 인공 지능 연구 비 -튜링 상 수상자 요슈아 벤지오(Yoshua Bengio)를 포함한 연구원들의 영리 단체 및 새로운 논문.

그들은 AI 개발자가 훈련을 시작하기 전이라도 개발 초기 단계에서 모델이 "극심한 위험"을 초래할 가능성을 평가해야 한다고 제안합니다. 위험에는 인간을 조작하고 속이는 AI 모델뿐만 아니라 무기를 획득하거나 악용 가능한 사이버 보안 취약점을 발견하는 것도 포함됩니다.

이 평가 프로세스는 개발자가 이 모델을 계속 사용할지 여부를 결정하는 데 도움이 될 수 있습니다. 위험이 너무 높다고 판단되면 조직에서는 위험이 완화될 때까지 개발을 중단할 것을 권장합니다.

논문의 주저자이자 DeepMind의 연구 과학자인 Toby Shevlane은 다음과 같이 말했습니다. "미개척 분야를 발전시키고 있는 선도적인 AI 기업은 새로운 문제에 주의를 기울이고 조기에 감지하여 이러한 문제를 신속하게 해결할 수 있도록 할 책임이 있습니다."

Shefland에 따르면 AI 개발자는 모델의 잠재적으로 위험한 기능을 이해하고 이러한 기능을 활용하는 경향이 있는지 확인하기 위해 기술 테스트를 수행해야 합니다.

이 게임은 "make me say"라고 불리며 인공 지능 언어 모델에 사람을 조종하는 능력이 있는지 테스트하는 데 사용됩니다. 게임에서 모델은 인간이 사전에 단어를 알지 못한 채 "기린"과 같은 특정 단어를 추측하도록 시도합니다. 그런 다음 연구원들은 모델이 얼마나 자주 성공했는지 측정했습니다.

사람들은 다양하고 더 위험한 능력에 대해 비슷한 임무를 만들 수 있습니다. 셰플랜드는 개발자들이 모델이 어떻게 수행되는지에 대한 자세한 개요를 구축할 수 있기를 희망하며, 이를 통해 연구자들은 모델이 잘못된 손에 들어가면 어떤 일을 할지 평가할 수 있을 것이라고 말했습니다.

다음 단계는 외부 감사자와 연구원이 AI 모델 배포 전후의 위험을 평가하도록 하는 것입니다. 기술 회사들은 외부 감사와 연구가 필요하다는 점을 인식하기 시작했지만, 해당 업무를 수행하기 위해 외부인이 얼마나 많은 액세스 권한을 필요로 하는지에 대해서는 서로 다른 견해가 있습니다.

Shefland는 AI 회사가 외부 연구자들에게 데이터와 알고리즘에 대한 모든 액세스 권한을 제공하도록 권장하는 데는 부족했지만 AI 모델은 가능한 한 많은 조사가 필요하다고 말했습니다.

사이버 보안 연구 및 컨설팅 회사인 Trail of Bits의 기계 학습 보증 엔지니어링 이사인 Heidi Khlaaf는 이러한 접근 방식조차도 "미성숙"하고 엄격하지 않으며 문제를 해결하지 못한다고 말했습니다. 그 전에는 원자력 발전소의 안전성을 평가하고 검증하는 일이 그녀의 업무였습니다.

Hlaf는 80년 이상의 핵무기 보안 연구 및 위험 완화 경험에서 교훈을 얻는 것이 인공지능 분야에 도움이 될 것이라고 지적했습니다. 그녀는 이러한 엄격한 테스트 조치가 이익을 고려한 것이 아니라 매우 긴급한 실존적 위협에 대응하여 시행되었다고 말했습니다.

인공지능 분야에서는 핵전쟁, 원자력 발전소, 원자력 안전과 비교하는 기사가 많지만, 그 중 핵 규정이나 핵 시스템용 소프트웨어 구축 방법을 언급한 논문은 하나도 없다고 하더군요.

(출처: STEPHANIE ARNETT/MITTR | ENVATO)

AI 커뮤니티가 핵 위험으로부터 배울 수 있는 가장 중요한 것 중 하나는 추적성입니다. 즉, 세심한 분석과 문서화를 위해 모든 작업과 구성 요소를 돋보기 아래에 두는 것입니다.

예를 들어 원자력 발전소에는 시스템이 누구에게도 해를 끼치지 않는다는 것을 증명하는 수천 페이지의 문서가 있다고 Hraf는 말했습니다. 인공 지능을 연구하는 개발자들은 모델의 성능을 설명하는 단락을 이제 막 조합하기 시작했습니다.

"위험에 대처하는 체계적인 방법이 필요합니다. '아, 이런 일이 일어날 수도 있으니 적어 두겠다'는 마음가짐을 가져서는 안 됩니다."라고 그녀는 말했습니다.

셰프란은 이것들이 공존할 수 있다고 말했습니다. "우리의 목표는 현장에서 광범위한 위험을 다루는 우수한 모델 평가 방법을 많이 갖게 되는 것입니다. 모델 평가는 올바른 거버넌스의 핵심(유일한 도구는 아님)

입니다."

현재 AI 회사는 알고리즘이 훈련되는 데이터 세트를 완전히 이해하지 못하고 AI 언어 모델이 결과를 생성하는 방법을 완전히 이해하지 못합니다. Shevran은 이것이 바뀌어야 한다고 믿습니다.

“특정 모델을 더 잘 이해하는 데 도움이 되는 연구는 다양한 위험에 더 잘 대응하는 데 도움이 될 수 있습니다.”라고 그는 말했습니다.

기본과 사소해 보이는 문제를 무시하고 극단적인 위험에만 집중한다면 더 큰 해를 끼칠 수 있는 복합적인 효과가 있을 수 있습니다. "우리는 기어갈 수도 없을 때 달리는 법을 배우려고 노력하고 있습니다."라고 Hraf는 말했습니다.

지원: 렌

위 내용은 인공지능으로 인한 재난을 피하려면 원자력 안전부터 배워야 한다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!