생성형 대형 모델의 '양날의 검'에 대처하는 방법은 무엇입니까? Zhejiang Lab, '생성형 대형 모델의 보안 및 개인 정보 보호에 관한 백서' 발표

현재 생성적 대형 모델은 학술 연구는 물론 사회 생활까지 엄청난 변화를 가져왔습니다. ChatGPT로 대표되는 생성적 대형 모델의 역량은 일반 인공지능으로 나아갈 가능성을 보여주었습니다. 그러나 동시에 연구원들은 ChatGPT와 같은 대규모 생성 모델이 데이터 및 모델의 보안 위험에 직면하고 있다는 사실도 깨닫기 시작했습니다.

올해 5월 초 미국 백악관은 구글, 마이크로소프트, 오픈AI, 앤트로픽(Anthropic) 등 AI 기업 CEO들과 집합회의를 열어 AI 세대 기술의 폭발적인 성장과 기술 뒤에 숨은 위험, 그리고 책임감 있게 인공 지능 시스템을 개발하고 효과적인 규제 조치를 개발하는 방법. 국내 생성형 대형 모델 기술도 개발 중이지만 동시에 생성형의 양날의 칼이 가져오는 숨겨진 위험을 피하기 위해 두 가지 접근 방식을 취하기 위해 보안 문제에 대한 상응하는 분석도 수행해야 합니다. 대형 모델.

이를 위해 저장연구소 기초이론연구소 인공지능 및 보안팀은 처음으로 ChatGPT로 대표되는 생성적 대형 모델의 보안 및 개인정보 보호 문제를 백서에 종합적으로 정리했습니다. 보안 문제 연구 방향에 종사하는 기술 인력에게 지침을 제공하고 AI 관련 정책 입안자에게 기반을 제공합니다.

백서 링크: https://github.com/xiaogang00/white-paper-for-large-model-security-and-privacy

Generative Large의 개발과 중요성 models Application

이 백서는 먼저 ChatGPT 및 GPT4와 같은 대규모 생성 모델의 개발 역사와 이들이 가져오는 다양한 놀라운 기능, 사회적 변화 및 소셜 애플리케이션을 요약합니다. 저자는 ChatGPT 및 GPT4가 등장하기 전 GPT-1, GPT-2, GPT-3, Google Bert 및 기타 모델의 특징과 단점을 나열합니다. 이러한 단점은 ChatGPT 및 GPT4 및 ChatGPT의 강력한 기능과 대조됩니다. 이후 GPT4 LLaMa, Alpaca, Wen Xin Yi Yan, Tong Yi Qian Wen 등 수많은 모델이 등장했습니다. 이들의 출현으로 인해 인간-컴퓨터 상호 작용과 같은 응용 분야에서 새롭고 강력한 모델이 등장했습니다. 자원 관리, 과학 연구, 콘텐츠 제작 도구입니다. 그러나 동시에 데이터 보안, 사용 규정, 신뢰할 수 있는 윤리, 지적재산권, 모델 보안 등의 문제도 대두되었습니다.

데이터 보안 문제

백서는 데이터 보안과 개인 정보 보호가 ChatGPT 및 GPT4와 같은 대규모 생성 모델의 사용 및 개발 프로세스에서 매우 중요한 문제임을 제안하며 "명시적"이라는 두 가지 범주로 나뉩니다. 그리고 그것을 "암묵적으로" 분석했습니다.

명시적 정보 유출에서는 우선 ChatGPT와 같은 대규모 생성 모델의 학습 데이터가 실수로 생성된 콘텐츠로 변환됩니다. 여기에는 은행 카드 계좌 번호, 사례 정보 등 민감하고 개인적인 개인 정보가 포함됩니다. 또한 ChatGPT의 데이터 보안 및 개인 정보 보호 위험은 대화 상자 콘텐츠 저장에도 반영됩니다. 사용자가 ChatGPT와 상호 작용하면 해당 정보가 어떤 형태로든 기록되고 저장됩니다.

백서는 그동안 모두가 무시해왔던 암묵적 정보 유출 문제도 제기합니다. 우선, ChatGPT가 제시하는 데이터 보안 및 개인 정보 보호 위험은 광고 추천을 위한 대화 데이터뿐만 아니라 추천 또는 기타 다운스트림 기계 학습 작업을 위한 대화 데이터를 수집할 수 있으며, ChatGPT가 때때로 잘못된 정보를 생성하여 사용자를 유도할 수 있다는 것입니다. 일련의 데이터를 유출합니다.

사용 사양 문제

백서에서 저자는 ChatGPT, GPT4 등 대규모 생성 모델의 강력한 이해와 생성 기능이 우리 생활과 생산에 많은 편리함을 가져왔지만 그 외에도 더 많은 것들이 있다고 언급했습니다. 악의적으로 이용될 수 있는 기회 규제적 제약이 없다면 악의적인 사용은 많은 사회적 문제를 야기할 것입니다.

첫째, ChatGPT 및 GPT-4와 같은 모델의 강력한 기능으로 인해 일부 사람들은 이를 불법 활동의 도구로 사용하고 싶어합니다. 예를 들어, 사용자는 코딩 지식이나 범죄 경험 없이도 ChatGPT를 사용하여 사기성 문자 메시지와 피싱 이메일을 작성하고 필요에 따라 맬웨어 및 랜섬웨어를 생성하는 코드를 개발할 수도 있습니다.

ChatGPT 및 GPT4와 같은 두 번째 대규모 생성 모델은 다양한 지역의 법적 규정을 고려하지 않으며 사용 및 출력 시 현지 법률 및 규정을 위반할 수 있으므로 강력한 현지 감독 시스템이 필요합니다. 현지 법률 및 규정과 상충되는 내용을 사용하십시오.

셋째, 안전과 위험 사이에 떠 있는 일부 회색 영역의 경우 ChatGPT와 같은 대규모 생성 모델의 보안 기능이 향상되지 않았습니다. 예를 들어 ChatGPT는 우울증 환자와 대화할 때 자살 충동을 느끼게 하는 특정 문장을 출력하는 등 일부 유도 문장을 출력할 수 있습니다.

신뢰할 수 있는 윤리적 문제

ChatGPT 및 기타 대규모 생성 모델은 질문과 답변의 형태로 사회 수준에 존재하지만 응답이 신뢰할 수 없거나 올바른 질문을 판단할 수 없는 경우가 많으며 그럴듯한 잘못된 답변이 있을 것입니다. , 심지어 현재 질문에 대한 답변도 신뢰할 수 없습니다. 사회 윤리에 영향을 미칩니다.

백서는 우선 ChatGPT와 같은 대규모 생성 모델의 응답이 심각하게 넌센스일 수 있음을 지적합니다. 진술은 매끄럽고 합리적으로 보이지만 실제로는 현재 모델이 완전히 다릅니다. 신뢰성 검증을 위한 증거. 예를 들어, ChatGPT는 일부 역사적, 과학적, 문화적 및 기타 질문에 잘못 대답하거나 사실과 모순될 수 있으며 오해나 오해를 불러일으킬 수도 있어 사용자에게 고유한 식별 기능이 필요합니다.

ChatGPT와 같은 생성적 대형 모델의 윤리적 문제도 백서에서 자세히 논의됩니다. OpenAI 등 연구개발 기관에서는 ChatGPT 자체를 이용해 윤리강령을 생성해 왔지만, 그 윤리강령이 우리나라 국정의 기본 가치와 원칙에 부합하는지 여부는 아직 판단되지 않았다. 저자는 유해한 이념 확산, 편견과 증오 확산, 정치적 올바름에 영향을 미치고, 교육 형평성을 훼손하고, 국제 사회 공정성에 영향을 미치고, 기계가 인간을 대체하는 과정을 악화시키고, 올바른 정의 형성을 방해하는 정보 고치 형성 등의 문제가 있음을 지적한다. 가치.

지적재산권 문제

ChatGPT 및 기타 대규모 생성 모델은 강력한 언어 처리 기능과 낮은 사용 비용으로 사회 모든 측면에 편리함을 제공하는 동시에 침해 문제도 가지고 있으며 이는 사회에 영향을 미칩니다. 기존 저작권법 시스템. 예를 들어, ChatGPT가 생성한 저작물에 저작권 분쟁이 있을 수 있습니다. ChatGPT는 뛰어난 언어 처리 능력을 갖추고 있지만, 생성된 저작물이 지적재산권의 형식적 요구 사항을 모두 충족하더라도 ChatGPT는 저작권의 대상이 될 수 없기 때문입니다. 저작권 주체는 권리를 향유하고 이에 상응하는 사회적 책임을 져야 하며 ChatGPT는 사용자를 위한 강력한 보조 생산성 도구로만 사용될 수 있으며 권리 향유 및 의무 이행을 위한 주요 요구 사항은 물론이고 독립적으로 생성할 수도 없습니다.

게다가 ChatGPT와 같은 대규모 생성 모델은 자율적이고 독립적으로 생각할 수 있는 능력은커녕 여전히 독립적으로 생성할 수 없습니다. 따라서 사용자 입력을 기반으로 ChatGPT에서 생성된 콘텐츠는 "독창성" 요구 사항을 충족하지 않습니다. 작품의. ChatGPT가 모델 훈련에 사용하는 데이터는 인터넷에서 가져온 것입니다. 모델 훈련 알고리즘이 아무리 발전하더라도 기존 지적 성과에 대한 참조, 분석, 처리가 수반될 수밖에 없으며 타인을 침해하는 문제도 필연적으로 발생합니다. '합법적인 지적재산권.

모델 보안 문제

기술적인 관점에서 ChatGPT와 같은 대규모 생성 모델에도 모델 보안 문제가 있습니다. ChatGPT는 본질적으로 딥러닝 기반의 대규모 생성 모델이며, 다양한 공격(적대적 공격, 백도어 공격, 신속 공격, 데이터 중독 등)으로 인한 모델 도용, 출력 오류 등 인공지능 보안에 많은 위협에 직면해 있습니다. . 기다리다).

예를 들어, 모델 도용은 공격자가 대상 모델과 동일한 기능 및 효과를 갖는 로컬 모델을 얻기 위해 제한된 수의 모델 쿼리에 의존하는 것을 말합니다. ChatGPT는 모델 도용 문의 입구를 제공하는 API 사용을 개방했습니다. 또 다른 예를 들어, 분산 컴퓨팅 시스템인 ChatGPT와 GPT4는 모든 당사자의 입력 데이터를 처리해야 하며, 권위 있는 기관의 검증을 거친 후 이러한 데이터는 지속적으로 교육에 사용됩니다. 그러면 ChatGPT와 GPT4도 데이터 중독의 위험이 더 커집니다. 공격자는 ChatGPT 및 GPT4와 상호 작용할 때 ChatGPT 및 GPT4가 잘못된 데이터를 삽입하도록 강제하거나 사용자 피드백 형태로 ChatGPT 및 GPT4에 잘못된 피드백을 제공하여 ChatGPT 및 GPT4의 기능을 저하시키거나 특별한 백도어 공격을 추가할 수 있습니다.

보안 및 개인 정보 보호 제안

마지막으로 백서는 보안 및 개인 정보 보호 문제에 대한 해당 제안을 제공하며 이는 미래의 기술 연구원 및 정책 입안자에게 참고 자료가 될 수 있습니다.

개인 정보 보호 권장 사항과 관련하여 백서는 데이터 수집 과정에서 개인 정보 보호를 위해 차등 개인 정보 보호와 같은 기술을 사용하여 원본 데이터에서 매우 민감한 개인 정보의 식별 및 전파 제한을 강화할 것을 제안합니다. 훈련 데이터의 저장, 모델 훈련 과정에서 데이터 프라이버시 및 보안을 보호하기 위해 안전한 다자간 계산, 동형 암호화, 연합 학습과 같은 기술을 사용합니다. 다운스트림 애플리케이션의 개인 정보를 보호합니다.

모델 보안 문제에 대한 제안 측면에서 백서는 보안 및 개인 정보 보호 정보에 대한 탐지 모델 교육을 제안하고, 다양한 국가의 법적 조항에 적용할 수 있는 다양한 모델을 만들고 다양한 적대적 공격에 대한 방어 교육을 실시합니다.

모델 준수 문제에 대해 백서는 신뢰할 수 있는 출력을 측정하고 신뢰 가치를 평가하며 모델이 출력하는 저작권 정보에 대한 쿼리 기능을 추가할 것을 제안합니다.

요약하자면, AI 생성 대형 모델의 개발은 보안과 불가분의 관계이므로 보안 문제는 다음 기술 포인트가 될 것이며 많은 연구자들이 극복할 가치가 있습니다. 안보는 사회 안정을 보장하는 것이기도 하며, 관련 부서는 조속히 정책을 마련해야 합니다.

위 내용은 생성형 대형 모델의 '양날의 검'에 대처하는 방법은 무엇입니까? Zhejiang Lab, '생성형 대형 모델의 보안 및 개인 정보 보호에 관한 백서' 발표의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!