OpenAI 지침을 통해 이사회는 AI 위험으로부터 보호하기 위해 CEO가 새로운 모델을 출시하는 것을 제한할 수 있습니다.

인공지능(AI)이 가져올 수 있는 큰 위험을 피하기 위해 OpenAI는 이사회에 보안 문제에 대한 감독 권한을 더 많이 부여하고 지난달 내부 싸움에서 승리한 샘 알트만 CEO에 대해 엄격한 감독을 실시하기로 결정했습니다

OpenAI는 점점 더 강력해지는 인공 지능(AI) 모델로 인해 발생하는 치명적인 위험을 추적, 평가, 예측 및 예방하는 것을 목표로 12월 18일 월요일(EST)에 일련의 지침을 발표했습니다. OpenAI는 "재난적 위험"을 수천억 달러의 경제적 손실이나 여러 사람에게 심각한 부상 또는 사망을 초래할 수 있는 모든 위험으로 정의합니다

"준비 프레임워크"로 알려진 27페이지 지침에는 CEO 또는 경영진이 지정한 사람을 포함한 회사의 최고 경영진이 출시될 AI 모델이 안전하다고 믿는 경우에도 회사 이사회는 여전히 안전하다고 명시되어 있습니다. 이 모델의 출시를 연기하도록 선택할 권한이 있습니다. 이는 OpenAI의 CEO가 일상적인 결정을 책임지는 반면 이사회는 위험 발견을 인지하고 CEO의 결정을 거부할 수 있는 권한을 갖는다는 것을 의미합니다

OpenAI의 준비 프레임워크는 회사 리더십 및 이사회 권한에 대한 조항 외에도 여러 범주에 걸쳐 최첨단 AI 모델이 제기하는 위험 수준을 문서화하기 위해 매트릭스 접근 방식을 사용할 것을 권장합니다. 이러한 위험에는 AI 모델을 사용하여 맬웨어를 생성하거나, 사회 공학 공격을 실행하거나, 유해한 핵 또는 생물학적 무기 정보를 전파하는 악의적인 행위자가 포함됩니다

구체적으로 OpenAI는 사이버 보안, CBRN(화학, 생물학, 방사선, 핵 위협), 설득, 모델 자율성 등 4가지 범주로 위험 임계값을 설정합니다. 위험 완화 조치가 시행되기 전과 후에 OpenAI는 각 위험을 낮음, 중간, 높음, 심각함의 4가지 수준으로 분류합니다

OpenAI는 위험 완화 후 '중' 이하로 평가된 AI 모델만 배포할 수 있으며, 위험을 심각도 이하로 줄일 수 없는 경우 위험 완화 후 '높음' 이하로 평가된 모델만 계속 개발할 수 있다고 규정하고 있습니다. 수준이면 회사는 모델 개발을 중단합니다. OpenAI는 또한 위험이 완화될 때까지 위험이 높거나 심각한 것으로 평가된 모델에 대해 추가 보안 조치를 취할 것입니다

OpenAI는 보안 문제 처리자를 세 팀으로 나눕니다. 보안 시스템 팀은 GPT-4와 같은 현재 제품으로 인해 발생하는 위험을 완화하고 해결하는 데 중점을 두고 있습니다. Super Alignment 팀은 미래 시스템이 인간의 능력을 초과할 때 발생할 수 있는 문제에 대해 우려하고 있습니다. 또한 MIT(매사추세츠 공과대학) 전기 공학 및 컴퓨터 과학부(EECS) 교수인 Aleksander Madry가 이끄는 준비라는 새로운 팀이 있습니다

새 팀에서는 강력한 모델 개발 및 구현을 평가합니다. 특히 보안 결정과 관련된 기술적 노력과 운영 구조를 감독하는 책임을 맡게 됩니다. 그들은 기술 작업을 추진하고, 최첨단 모델 기능의 한계를 검토하고, 평가 및 종합 관련 보고서를 수행합니다

Madry는 그의 팀이 아직 출시되지 않은 OpenAI의 가장 진보된 인공 지능 모델의 위험 수준을 정기적으로 평가하고 OpenAI 내부 보안 자문 그룹(SAG)에 월간 보고서를 제출할 것이라고 말했습니다. SAG는 Madry 팀의 작업을 분석하고 CEO Altman과 회사 이사회에 권장 사항을 제공합니다

월요일에 공개된 지침 문서에 따르면 알트만과 그의 경영진은 이러한 보고서를 기반으로 새로운 AI 시스템을 출시할지 여부를 결정할 수 있지만 이사회는 결정을 뒤집을 권한을 보유합니다

현재 마드리의 팀은 4명뿐이지만 더 많은 멤버를 모집하기 위해 열심히 노력하고 있습니다. 팀원은 15~20명 정도로 기존 보안팀, 초정렬팀과 비슷할 것으로 예상됩니다

Madry는 다른 AI 회사들도 비슷한 방식으로 자사 모델의 위험을 평가하기를 바라며 이것이 규제 모델이 될 수 있다고 생각합니다

위 내용은 OpenAI 지침을 통해 이사회는 AI 위험으로부터 보호하기 위해 CEO가 새로운 모델을 출시하는 것을 제한할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!