기업에서 AI 기반 챗봇 사용의 위험

ChatGPT가 2022년 11월 공식 출시된 이후 수백만 명의 사용자가 미친 듯이 쏟아졌습니다. 인간과 유사한 뛰어난 언어 생성 기능, 프로그래밍 소프트웨어 재능 및 초고속 텍스트 분석 기능으로 인해 ChatGPT는 빠르게 개발자, 연구원 및 일반 사용자가 선택하는 도구가 되었습니다.

모든 파괴적인 기술과 마찬가지로 ChatGPT와 같은 생성 AI 시스템에도 잠재적인 위험이 있습니다. 특히 기술 산업의 주요 업체, 국가 정보 기관 및 기타 정부 기관은 ChatGPT와 같은 인공 지능 시스템에 민감한 정보를 제공하는 것에 대해 경고를 발표했습니다.

ChatGPT의 보안 위험에 대한 우려는 보안 취약성이나 사용자 생성 콘텐츠를 사용하여 챗봇을 "훈련"하는 등 ChatGPT를 통해 정보가 공개 도메인으로 유출될 수 있다는 가능성에서 비롯됩니다.

이러한 우려에 대응하여 기술 회사에서는 LLM(대형 언어 모델) 및 CAI(대화형 AI)와 관련된 보안 위험을 완화하기 위한 조치를 취하고 있습니다. 일부 기업에서는 ChatGPT를 완전히 비활성화하기로 결정한 반면, 다른 기업에서는 그러한 모델에 기밀 데이터를 입력하는 것이 위험하다고 직원들에게 경고하고 있습니다.

ChatGPT: 무서운 개방형 AI?

AI 기반 ChatGPT는 기업이 운영을 최적화하고 복잡한 작업을 간소화하는 데 널리 사용되는 도구가 되었습니다. 그러나 최근 사건을 통해 플랫폼을 통해 기밀 정보를 공유하는 데 따른 잠재적인 위험이 강조되었습니다.

놀랍게도 ChatGPT를 통한 민감한 데이터 유출 사건이 한 달도 안 되어 3건이 보고되었습니다. 스마트폰 제조사인 삼성의 주요 반도체 공장 직원들이 프로그래밍 오류를 해결하는 데 사용되는 매우 민감한 소스 코드를 포함한 기밀 정보를 인공지능 챗봇에 입력했다고 한국 언론이 보도해 논란이 됐습니다.

소스 코드는 모든 소프트웨어 또는 운영 체제의 기본 구성 요소이기 때문에 모든 기술 회사에서 가장 엄격하게 보호되는 비밀 중 하나입니다. 그리고 이제 그러한 귀중한 사업 비밀이 우연히 OpenAI의 손에 넘어갔습니다.

이 문제에 정통한 사람들에 따르면 삼성은 현재 직원의 ChatGPT 액세스를 제한했습니다.

Amazon, Walmart, JPMorgan을 포함한 다른 Fortune 500대 대기업에서는 직원이 실수로 민감한 데이터를 챗봇에 입력하는 유사한 상황을 경험했습니다.

Amazon 직원이 기밀 고객 정보를 얻기 위해 ChatGPT를 사용했다는 이전 보고가 있었으며, 이로 인해 거대 기술 기업은 도구 사용을 신속하게 제한하고 직원들에게 도구에 민감한 데이터를 입력하지 말라고 엄중히 경고했습니다.

'불완전한' 모델: 지능이 부족한 지식 기반

AI 기반 디지털 경험 플랫폼인 Coveo의 기계 학습 이사인 Mathieu Fortier는 GPT-4 및 LLaMA와 같은 LLM이 여러 가지 불완전성에 시달린다고 말했습니다. 언어 이해에는 탁월하지만 이러한 모델은 정확성, 불변의 법칙, 물리적 현실 및 기타 비언어적 측면을 인식하는 능력이 부족합니다.

LLM은 훈련 데이터로부터 광범위한 고유 지식 기반을 구축하지만 진실이나 사실적 정확성에 대한 명시적인 개념은 없습니다. 또한 보안 위반 및 데이터 추출 공격에 취약할 뿐만 아니라 예상된 응답에서 벗어나거나 "정신병적" 특성을 나타내는 경향이 있습니다. 기술명은 "환각"입니다.

Fortier는 기업이 직면한 높은 위험을 강조했습니다. 그 결과는 고객의 신뢰를 심각하게 훼손하고 브랜드 명성에 돌이킬 수 없는 손상을 입혀 심각한 법적, 재정적 문제를 초래할 수 있습니다.

다른 거대 기술 기업의 뒤를 이어 소매 거대 기업의 기술 부문인 Walmart Global tech는 데이터 유출 위험을 줄이기 위한 조치를 취했습니다. 회사는 직원들에게 보낸 내부 메모에서 회사 데이터와 보안을 손상시킬 수 있는 의심스러운 활동을 감지한 후 즉시 ChatGPT를 차단하도록 직원들에게 지시했습니다.

월마트 대변인은 소매업체가 GPT-4의 기능을 기반으로 자체 챗봇을 만드는 동안 ChatGPT 도구 확산과 같은 생성 AI로부터 직원 및 고객 데이터를 보호하기 위한 여러 조치를 구현했다고 말했습니다.

대변인은 "대부분의 신기술은 새로운 이점을 가져오지만 새로운 위험도 가져옵니다. 따라서 우리는 이러한 신기술을 평가하고 직원에게 고객, 회원 및 직원 데이터를 보호하기 위한 사용 지침을 제공합니다. 기존 기술을 활용하는 것은 드문 일이 아닙니다. Open AI처럼 그 위에 레이어를 구축해 소매업체와 더욱 효과적으로 소통함으로써 새로운 고객 경험을 개발하고 기존 고객 경험을 개선할 수 있습니다."

또한 Verizon 및 Accenture와 같은 다른 회사에서도 조치를 취했습니다. Verizon은 직원들에게 챗봇을 중요하지 않은 작업으로 제한하도록 지시하고 Accenture는 데이터 개인 정보 보호 규정 준수를 보장하기 위해 더욱 엄격한 제어를 구현하여 ChatGPT의 사용을 제한합니다.

ChatGPT가 세션 데이터를 사용하는 방법

더 걱정스러운 점은 ChatGPT가 모델을 추가로 교육하기 위해 사용자 입력 데이터를 유지한다는 점입니다. 이는 데이터 유출이나 기타 보안 사고를 통해 민감한 정보가 노출될 가능성에 대한 의문을 제기합니다.

인기 생성 인공 지능 모델 ChatGPT 및 DALL-E를 개발한 회사인 OpenAI는 최근 사용자 데이터 개인 정보 보호 및 보안을 개선하기 위한 새로운 정책을 시행했습니다.

올해 3월 1일부터 API 사용자는 OpenAI 모델을 교육하거나 개선하기 위해 데이터를 공유하도록 명시적으로 선택해야 합니다.

반대로 ChatGPT, DALL-E 등 API가 아닌 서비스의 경우 OpenAI에서 자신의 데이터를 사용하는 것을 원하지 않으면 사용자는 옵트아웃해야 합니다.

OpenAI는 최근 업데이트된 블로그에서 “API가 아닌 소비자 서비스인 ChatGPT 또는 DALL-E를 사용하면 귀하가 제공한 데이터를 사용하여 모델을 개선할 수 있습니다. 데이터를 공유하면 모델에도 도움이 될 것입니다. 더 정확해지고 특정 문제를 더 효과적으로 해결할 수 있을 뿐만 아니라 전체적인 기능과 보안도 향상하는 데 도움이 됩니다... 조직 ID와 계정 소유자와 연결된 이메일 주소를 사용하여 이 양식을 작성하면 옵션을 요청할 수 있습니다. -API가 아닌 서비스를 개선하기 위해 귀하의 데이터를 사용합니다."

이 진술은 위에 설명된 위험과 기업이 민감한 정보를 취급할 때 주의를 기울여야 할 필요성에 대한 우려 속에서 나온 것입니다. 이탈리아 정부는 최근 데이터 개인 정보 보호 및 보안에 대한 우려를 이유로 전국적으로 ChatGPT 사용을 금지하는 싸움에 동참했습니다.

OpenAI는 인공 지능 모델을 개선하는 데 사용되는 데이터에서 개인 식별 정보를 모두 제거하고 이러한 목적으로 각 고객의 작은 데이터 샘플만 사용한다고 말합니다.

정부 경고

영국 정부 커뮤니케이션 본부(GCHQ) 정보 기관은 국립 사이버 보안 센터(NCSC)를 통해 ChatGPT와 같은 대규모 언어 모델(LLM)의 제한 사항과 위험에 대한 경고를 발표했습니다. 이러한 모델은 인상적인 자연어 처리 기능으로 칭찬을 받았지만 NCSC는 이 모델이 완전하지 않으며 심각한 결함을 포함할 수 있다고 경고합니다.

NCSC에 따르면 LLM은 Google Bard 챗봇의 첫 번째 시연에서 알 수 있듯이 부정확하거나 "환상적인" 사실을 생성할 수 있습니다. 특히 유도 질문에 답할 때 편견과 속기 쉬운 모습을 보일 수도 있습니다. 또한 이러한 모델은 처음부터 훈련하려면 광범위한 컴퓨팅 리소스와 대량의 데이터가 필요하며 주입 공격 및 유해한 콘텐츠 생성에 취약합니다.

Coveo의 Fortier는 “LLM은 내부 지식과 프롬프트의 고유한 유사성을 기반으로 프롬프트에 대한 응답을 생성합니다. 그러나 고유한 내부 '하드 규칙'이나 추론 기능이 없기 때문에 LLM의 제약 조건을 준수하는 것은 불가능합니다. 민감한 정보를 100% 공개하지 않습니다. 민감한 정보의 생성을 줄이려는 노력이 있지만 LLM이 재생성할 수 있는 유일한 솔루션은 이러한 모델에 민감한 정보를 제공하지 않는 것입니다. 현재 대부분의 서비스는 이 정보를 로그에 보관하고 있습니다."

제너레이티브 AI의 안전하고 윤리적인 사용을 위한 모범 사례

With. 기업이 인공 지능 및 기타 신기술을 계속 채택함에 따라 중요한 데이터를 보호하기 위한 적절한 보안 조치를 보장합니다. 기밀 정보가 실수로 공개되는 것을 방지하는 것이 중요합니다.

이러한 회사가 취한 조치는 ChatGPT와 같은 인공 지능 언어 모델을 사용할 때 경계심을 유지하는 것의 중요성을 강조합니다. 이러한 도구는 효율성과 생산성을 크게 향상시킬 수 있지만 잘못 사용하면 심각한 위험을 초래할 수 있습니다.

대화형 인공지능 스타트업 Got it AI의 Peter Relan 회장은 "가장 좋은 접근 방식은 언어 모델의 원래 개선에 있는 모든 새로운 개발을 언어 모델과 사전 언어 모델을 통합하는 기업 전략 중심 아키텍처에 통합하는 것"이라고 제안했습니다. - 기업별 데이터를 보호하고 미세 조정한 후 로컬에 배포하기 위한 후처리기. 그렇지 않으면 원시 언어 모델이 너무 강력하여 기업에서 처리되는 경우가 있습니다."

Prasanna Arikala, Nvidia가 지원하는 대화형 인공 지능 플랫폼 Kore.ai의 최고 기술 책임자(CTO)는 앞으로 기업은 침해를 방지하기 위해 민감한 개인 정보에 대한 LLM 액세스를 제한해야 할 것이라고 말했습니다.

Arikala는 “다단계 인증과 같은 엄격한 액세스 제어를 구현하고 민감한 데이터를 암호화하면 이러한 위험을 완화하는 데 도움이 될 수 있습니다. 또한 잠재적인 취약점을 식별하고 제거하려면 정기적인 보안 감사 및 취약점 평가가 필요합니다. 하지만 기업이 민감한 데이터를 보호하고 고객과 이해관계자의 신뢰를 유지하기 위해 필요한 예방 조치를 취하는 것이 중요합니다."

이러한 규정이 어떻게 진화할지는 아직 두고 볼 일입니다. 두고 볼 일이지만, 기업은 앞서 나가기 위해 경계심을 유지해야 합니다. 생성적 AI는 잠재적인 이점을 제공하는 동시에 새로운 책임과 과제도 가져옵니다. 기술 업계는 정책 입안자와 협력하여 이 기술이 책임감 있고 윤리적인 방식으로 개발되고 구현되도록 해야 합니다.

위 내용은 기업에서 AI 기반 챗봇 사용의 위험의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!