현재 인공지능 기술이 직면하고 있는 가장 큰 리스크는 대규모 언어 모델(LLM)과 생성 인공지능 기술의 개발 및 적용 속도가 보안 및 거버넌스 속도를 훨씬 뛰어넘었다는 점입니다.
OpenAI, Anthropic, Google, Microsoft와 같은 회사의 생성 AI 및 대규모 언어 모델 제품의 사용이 기하급수적으로 증가하고 있습니다. 동시에 HuggingFace와 같은 오픈 소스 인공 지능 커뮤니티는 수많은 오픈 소스 모델, 데이터 세트 및 AI 애플리케이션을 제공하며 빠르게 성장하고 있습니다.
인공지능 발전을 촉진하기 위해 OWASP, OpenSSF, CISA 등 업계 기관에서는 OWASP AI Exchange, AI 보안 및 개인 정보 보호 가이드, 대형 언어 모델의 상위 10개 위험 목록(LLMTop10).
최근 OWASP는 생성적 인공지능 보안 거버넌스의 공백을 메우기 위해 대규모 언어 모델 사이버 보안 및 거버넌스 체크리스트를 출시했습니다. 구체적인 내용은 다음과 같습니다.
OWASP의 언어 모델 사이버 보안 및 거버넌스 체크리스트는 인공 지능, 기계 학습, 생성 AI 및 대규모 언어 모델 간의 차이점을 정의합니다.
예를 들어, 생성 AI에 대한 OWASP의 정의는 다음과 같습니다. 새로운 데이터 생성에 초점을 맞춘 기계 학습 유형인 반면, 대규모 언어 모델은 인간과 유사한 "자연 콘텐츠"를 처리하고 생성하는 데 사용되는 AI 모델입니다. 입력은 제공되고 출력은 인간과 같은 "자연스러운 콘텐츠"입니다.
이전에 발표된 "빅 언어 모델 상위 10대 위협 목록"과 관련하여 OWASP는 사이버 보안 실무자가 빠르게 발전하는 AI 기술을 따라가고, 주요 위협을 식별하며, 기업이 사용을 보호하고 지원하기 위한 기본적인 보안 제어 기능을 갖도록 하는 데 도움이 될 수 있다고 믿습니다. 생성 인공지능과 대규모 언어 모델 사업. 그러나 OWASP는 이 목록이 완전한 것이 아니며 생성 인공 지능의 발전을 기반으로 지속적으로 개선되어야 한다고 믿습니다.
OWASP의 대형 언어 모델 보안 거버넌스 전략 배포는 6단계로 구분됩니다.
대규모 언어 모델의 적대적 위험에는 경쟁사뿐만 아니라 공격자도 포함됩니다. 공격 자세뿐만 아니라 비즈니스 자세에도 초점이 맞춰져 있습니다. 여기에는 경쟁업체가 AI를 사용하여 비즈니스 성과를 달성하는 방법을 이해하는 것뿐만 아니라 생성적 AI 공격 및 사고에 대응하기 위해 사고 대응 계획(IRP)과 같은 내부 프로세스 및 정책을 업데이트하는 것도 포함됩니다.
위협 모델링은 보안 설계 시스템 개념의 홍보로 점점 더 주목을 받고 있는 보안 기술로, 미국 사이버보안 및 인프라 보안국(CISA)의 승인을 받았습니다. 다른 권위 있는 조직. 위협 모델링을 위해서는 공격자가 취약성 악용을 가속화하기 위해 대규모 언어 모델과 생성적 AI를 활용하는 방법, 악의적인 대규모 언어 모델을 탐지하는 기업의 능력, 조직이 내부 시스템 및 환경에서 대규모 언어 모델과 생성적 AI 플랫폼을 보호할 수 있는지 여부에 대한 생각이 필요합니다.
“알 수 없는 자산은 보호할 수 없다”는 격언은 생성 AI 및 대규모 언어 모델 분야에도 적용됩니다. OWASP 인벤토리의 이 부분에는 내부적으로 개발된 AI 솔루션과 외부 도구 및 플랫폼을 위한 AI 자산의 인벤토리가 포함됩니다.
OWASP는 기업이 내부적으로 사용되는 도구와 서비스를 이해할 뿐만 아니라 소유권, 즉 이러한 도구와 서비스의 사용을 담당하는 사람도 이해해야 한다고 강조합니다. 또한 체크리스트에서는 소프트웨어 자재 명세서(SBOM)에 AI 구성 요소를 포함하고 AI 데이터 소스와 해당 민감도를 문서화할 것을 권장합니다.
기존 AI 도구를 목록화하는 것 외에도 기업은 미래의 AI 도구 및 서비스를 목록에 추가하기 위한 안전한 프로세스도 구축해야 합니다.
"사람이 가장 큰 보안 취약성"이라고 흔히 말합니다. 기업은 인공지능 보안 및 개인정보 보호 교육을 생성 인공지능 및 대규모 언어의 적용 프로세스에 합리적으로 통합할 수 있습니다. 모델은 인간의 위험을 크게 완화할 수 있습니다.
여기에는 직원들이 기존 생성 AI/대규모 언어 모델 이니셔티브, 기술 및 기능은 물론 데이터 위반과 같은 주요 보안 고려 사항을 이해하도록 돕는 것이 포함됩니다. 또한 신뢰와 투명성의 보안 문화를 구축하는 것이 중요합니다.
기업 내 신뢰와 투명성의 문화는 섀도우 AI 위협을 피하는 데도 도움이 될 수 있습니다. 그렇지 않으면 직원들은 IT 및 보안 팀에 알리지 않고 "은밀히" 섀도우 AI를 사용하게 될 것입니다.
클라우드 컴퓨팅과 마찬가지로 대부분의 기업은 생성 인공지능, 대규모 언어 모델 등 신기술 애플리케이션에 대한 일관된 전략적 비즈니스 사례를 실제로 개발하지 않았으며 맹목적으로 추세를 따르기 쉽습니다. .과대광고에 푹 빠져보세요. 건전한 비즈니스 사례가 없으면 엔터프라이즈 AI 애플리케이션은 좋지 않은 결과를 낳고 위험을 증가시킬 가능성이 높습니다.
거버넌스가 없으면 기업은 인공지능에 대한 책임 메커니즘과 명확한 목표를 수립할 수 없습니다. OWASP 체크리스트는 기업이 인공 지능 애플리케이션을 위한 RACI 차트(책임 할당 매트릭스)를 개발하고, 위험 책임과 거버넌스 작업을 기록 및 할당하고, 전사적 인공 지능 정책 및 절차를 수립할 것을 권장합니다.
인공지능 기술의 급속한 발전으로 인해 그 법적 영향은 과소평가될 수 없으며 기업에 심각한 재정적, 평판적 위험을 가져올 수 있습니다.
인공지능 법률 업무에는 인공지능 제품 보증, 인공지능 최종 사용자 라이선스 계약(EULA), 인공지능 도구를 사용하여 개발된 코드의 소유권, 지적 재산권 위험 및 계약상 보상 조항 등 일련의 활동이 포함됩니다. 즉, 법무팀이나 전문가가 생성 AI 및 대규모 언어 모델을 사용할 때 회사에서 수행해야 하는 다양한 지원 법적 활동을 이해하는지 확인하세요.
EU의 인공지능법 등 인공지능 규제 규제도 빠르게 발전하고 있으며, 다른 국가 및 지역의 규제도 곧 도입될 예정입니다. 기업은 직원 모니터링과 같은 국가의 AI 규정 준수 요구 사항을 이해하고 AI 공급업체가 데이터를 저장 및 삭제하고 사용을 규제하는 방법을 명확하게 이해해야 합니다.
대규모 언어 모델 솔루션을 사용하려면 고려해야 할 특정 위험과 제어가 필요합니다. OWASP 체크리스트에는 액세스 제어, 파이프라인 보안 교육, 데이터 워크플로 매핑, 대규모 언어 모델 모델 및 공급망의 기존 또는 잠재적 취약성 이해와 같은 항목이 나열되어 있습니다. 또한 초기 및 지속적으로 제3자 감사, 침투 테스트, 공급업체의 코드 검토까지 필요합니다.
TEVV 프로세스는 NIST가 인공 지능 프레임워크에서 특별히 권장하는 프로세스입니다. 여기에는 AI 모델 수명주기 전반에 걸쳐 지속적인 테스트, 평가, 검증 및 검증을 구축하는 것뿐만 아니라 AI 모델 기능, 안전성 및 신뢰성에 대한 실행 지표를 제공하는 것도 포함됩니다.
대규모 언어 모델을 윤리적으로 배포하려면 OWASP 체크리스트에 따라 기업은 사용자가 AI 시스템을 이해하고 신뢰할 수 있으며 편견 및 개인 정보 보호 등을 공개적으로 해결할 수 있는 모델 및 위험 카드를 사용해야 합니다. . 잠재적인 부정적인 결과.
이 카드에는 모델 세부정보, 아키텍처, 교육 데이터 방법, 성능 측정항목과 같은 항목이 포함될 수 있습니다. 책임 있는 AI에 대한 고려 사항과 공정성과 투명성에 대한 우려도 강조됩니다.
검색 증강 생성(RAG)은 특정 소스에서 관련 데이터를 검색하는 대규모 언어 모델의 기능을 최적화하는 방법입니다. 사전 학습된 모델을 최적화하거나 새로운 데이터를 기반으로 기존 모델을 재학습하여 성능을 향상시키는 방법 중 하나입니다. OWASP는 대규모 언어 모델의 가치와 효율성을 극대화하기 위해 기업이 RAG를 구현할 것을 권장합니다.
마지막으로 OWASP 체크리스트는 AI 시스템에 대한 적대적 공격을 시뮬레이션하여 취약점을 식별하고 기존 제어 및 방어 기능을 검증하는 AI 레드 팀 구성의 중요성을 강조합니다. OWASP는 레드팀이 생성 AI 및 대규모 언어 모델을 갖춘 포괄적인 보안 솔루션의 필수적인 부분이어야 한다고 강조합니다.
기업은 정책 위반이나 법적 문제 발생을 방지하기 위해 외부 생성 AI 및 대규모 언어 모델 공급업체의 레드팀 서비스와 시스템 요구 사항 및 기능을 명확하게 이해해야 한다는 점도 주목할 가치가 있습니다.
위 내용은 OWASP, 대규모 언어 모델 네트워크 보안 및 거버넌스 체크리스트 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
