AI 챗봇의 잠재력에 대한 안팎이 계속해서 헤드라인을 장식함에 따라 ChatGPT를 둘러싼 열풍은 여전히 뜨겁습니다. 보안 커뮤니티에서 많은 이들의 관심을 사로잡은 질문 중 하나는 민감한 비즈니스 데이터를 기술로 수집하는 것이 조직에 위험을 초래하는지 여부입니다. 누군가가 분기별 보고서, 내부 프레젠테이션 자료, 매출 수치 등 민감한 정보를 입력하고 ChatGPT에 텍스트 작성을 요청하면 누구나 ChatGPT에 요청하기만 하면 회사의 정보를 얻을 수 있다는 우려가 있었습니다.
영향은 광범위할 수 있습니다. 이사회에서 논의할 기업 문제를 드러내는 새로운 회사 데이터가 포함된 내부 프레젠테이션을 작업한다고 상상해 보세요. 이러한 독점 정보가 유출되면 주가, 소비자 태도 및 고객 신뢰가 손상될 수 있습니다. 더 나쁜 것은 유출된 안건의 법적 항목으로 인해 회사가 실질적인 책임을 질 수 있다는 점입니다. 하지만 챗봇에 물건을 넣는 것만으로도 이러한 일이 실제로 일어날 수 있습니까?
연구 회사 Cyberhaven은 2월에 이 개념을 탐구하면서 OpenAI가 사람들이 ChatGPT에 입력한 내용을 교육 데이터로 사용하여 기술을 개선하고 입력 내용과 매우 유사한 결과를 출력하는 방법에 중점을 두었습니다. Cyberhaven은 제3자가 경영진이 제공한 정보를 기반으로 ChatGPT에 특정 질문을 하는 경우 ChatGPT에 입력된 기밀 데이터가 제3자에게 유출될 수 있다고 주장합니다.
영국 국립사이버보안센터(NCSC)는 지난 3월 이 문제에 대한 추가 통찰력을 공유하면서 ChatGPT 및 기타 대규모 언어 모델(LLM)이 현재 다른 사람이 쿼리할 수 있도록 쿼리 정보를 모델에 자동으로 추가하지 않는다고 밝혔습니다. 즉, 쿼리에 정보를 포함해도 잠재적으로 개인 데이터가 LLM에 통합되지 않습니다. "그러나 쿼리는 LLM을 제공하는 조직(그리고 ChatGPT의 경우 OpenAI에도 표시됨)에 표시됩니다."라고 썼습니다.
"이러한 쿼리는 저장되었으며 어느 시점에서 LLM 서비스나 모델을 개발하는 데 거의 확실하게 사용될 것입니다. 이는 LLM 제공업체(또는 파트너/계약업체)가 쿼리와 통합 방법을 읽을 수 있음을 의미할 수 있습니다. 향후 릴리스에 적용할 예정입니다."라고 덧붙였습니다. 더 많은 조직이 LLM을 생산하고 사용함에 따라 증가하는 또 다른 위험은 온라인에 저장된 쿼리가 해킹되거나 유출되거나 실수로 공개될 수 있다는 것입니다. NCSC는 썼습니다.
궁극적으로 ChatGPT가 민감한 비즈니스 데이터를 입력하고 사용하는 것에 대해 걱정할 실질적인 이유가 있습니다. 하지만 일부 헤드라인에서 알려진 것처럼 위험이 널리 퍼지지는 않을 수도 있습니다.
LLM에 민감한 데이터를 입력할 때 발생할 수 있는 위험 상황 학습이라는 긴급 행동을 나타냅니다. 세션 중에 모델이 입력을 받으면 해당 입력에 포함된 컨텍스트를 기반으로 작업을 수행할 수 있습니다. WithSecure의 선임 연구원인 Andy Patel은 CSO에 "이것은 사람들이 정보 유출을 우려할 때 언급하는 현상일 가능성이 높습니다. 그러나 한 사용자 세션의 정보가 다른 사용자에게 유출되는 것은 불가능합니다."라고 말했습니다. "또 다른 우려 사항은 ChatGPT 인터페이스에 입력된 메시지가 향후 교육 데이터에 수집되어 사용된다는 것입니다."
챗봇이 민감한 정보를 수집하고 다시 토해내는 것에 대한 타당한 우려가 있지만 이 데이터를 통합하기 위해 새로운 모델을 교육할 필요가 있습니다. LLM 교육은 비용이 많이 들고 시간이 많이 걸리는 과정입니다. 그는 가까운 시일 내에 ChatGPT에서 수집한 데이터를 모델로 교육할 수 있다면 놀랄 것이라고 말했습니다. "수집된 ChatGPT 힌트를 포함하는 새로운 모델이 최종적으로 생성된다면 우리의 두려움은 멤버십 추론 공격으로 바뀔 것입니다. 이러한 공격은 훈련 데이터에서 신용 카드 번호나 개인 정보를 노출시킬 가능성이 있습니다. 그러나 ChatGPT 및 지원 대상은 없습니다. 다른 사람들도 좋아합니다. 시스템의 LLM은 멤버십 추론 공격을 입증합니다." 이는 향후 모델이 멤버십 추론 공격에 취약할 가능성이 거의 없음을 의미합니다.
Orange Cyberdefense의 수석 보안 연구원인 Wicus Ross는 이 문제가 개인 정보 보호 정책을 명확하게 명시하지 않은 외부 제공업체에 의해 발생할 가능성이 가장 높으므로 다른 보안 도구와 비교해 보아야 한다고 말했습니다. 플랫폼과 함께 사용하면 개인 데이터가 위험해질 수 있습니다. “Slack이나 Microsoft Teams와 같은 SaaS 플랫폼은 명확한 데이터 및 처리 경계를 갖고 있으며, 제3자에게 데이터가 노출될 위험은 낮습니다. 그러나 사용자 상호작용이 필요한 제3자 플러그인이나 봇을 통해 서비스가 강화된다면, 인공 지능과 관련이 있든 없든 이러한 명확한 경계는 빠르게 흐려질 수 있습니다.”라고 그는 말했습니다. "정보가 공개되지 않을 것이라는 제3자 처리자의 명시적인 진술이 없으면 해당 정보는 더 이상 비공개가 아니라고 가정해야 합니다."
Netskope의 EMEA 최고 정보 보안 책임자인 Neil Thacker는 CSO들에게 일반 사용자가 공유하는 민감한 데이터 외에도 기업은 도구를 조정할 때 개발자가 제공한 이전 지침을 공개하거나 이를 실행하도록 만들 수 있는 신속한 주입 공격도 인지해야 한다고 말했습니다. 프로그래밍된 명령은 무시됩니다. "최근 예로는 트위터 장난꾸러기가 봇의 동작을 변경하는 것과 연구원들이 ChatGPT에서 이전에 숨겨졌을 것으로 예상되는 지침을 공개하도록 하는 방법을 발견한 Bing Chat 문제가 있습니다.
Cyberhaven에 따르면 민감한 데이터는 현재 직원이 ChatGPT에 게시한 콘텐츠의 11%를 차지하고 있으며, 일반 회사는 일주일에 수백 번씩 민감한 데이터를 ChatGPT에 유출합니다. Thacker는 "ChatGPT는 과장된 광고에서 현실 세계로 이동하고 있으며 조직은 다른 ML/AI 기반 도구에 합류하기 위해 운영에서 실제 구현을 구현하려고 노력하고 있지만 특히 기밀 정보를 공유할 때 주의가 필요합니다."라고 Thacker는 말했습니다. "데이터 소유권의 모든 측면은 물론 데이터를 호스팅하는 조직이 침해될 경우 잠재적인 영향이 무엇인지 고려해야 합니다. 간단한 연습으로 정보 보안 전문가는 최소한 다음과 같은 경우에 액세스할 수 있는 데이터를 식별할 수 있어야 합니다. 이러한 서비스는 위반 카테고리입니다.”
궁극적으로 사용자가 ChatGPT에 공개해야 할 정보와 공개해서는 안 되는 정보를 완전히 이해하도록 하는 것은 기업의 책임입니다. NCSC는 조직이 프롬프트에 제출하기로 선택한 데이터에 대해 매우 주의해야 한다고 말합니다. "LLM을 시도하려는 사람들이 할 수 있는지 확인해야 하지만 조직 데이터를 위험에 빠뜨리지 않도록 해야 합니다.
그러나 Cyberhaven은 직원이 ChatGPT에 제출하는 데이터를 식별하고 제어하는 데 어려움이 없는 것은 아니라고 경고합니다. "직원이 ChatGPT에 회사 데이터를 입력하면 파일을 업로드하지 않고 대신 콘텐츠를 웹 브라우저에 복사하여 붙여넣습니다. 많은 보안 제품은 파일(기밀로 표시됨)이 업로드되지 않도록 보호하도록 설계되었습니다. 파일에서 복사되었으므로 추적할 수 없습니다."라고 적혀 있습니다. 또한 Cyberhaven은 ChatGPT에 들어가는 기업 데이터에는 신용카드 번호나 주민등록번호와 같이 보안 도구가 찾는 식별 가능한 패턴이 포함되어 있지 않은 경우가 많다고 말했습니다. "오늘날의 보안 도구는 맥락을 이해하지 않고서는 식당 메뉴를 입력하는 사람과 회사의 M&A 계획을 구별할 수 없습니다."
가시성을 높이려면 조직은 보안 웹 게이트웨이(SWG)에 새로운 기능을 구축해야 한다고 Thacker는 정책을 구현합니다. AI 도구의 사용을 식별하고 데이터 손실 방지(DLP) 정책을 적용하여 이러한 도구에 제출되는 데이터를 식별합니다.
Jamf의 포트폴리오 전략 부사장인 Michael Covington은 조직이 기밀 데이터를 처리하는 데 허용되는 애플리케이션 유형이 적절하게 문서화되도록 정보 보호 정책을 업데이트해야 한다고 말했습니다. “정보의 흐름을 통제하는 것은 잘 문서화되고 정보에 입각한 정책에서 시작됩니다.”라고 그는 말했습니다. "또한 조직은 이러한 새로운 기술을 활용하여 사려 깊은 방식으로 비즈니스를 개선할 수 있는 방법을 모색해야 합니다. 두려움과 불확실성으로 인해 이러한 서비스를 피하는 대신 잠재력을 보여주는 새로운 도구를 탐색하는 데 일부 인력을 투자하여 위험을 이해할 수 있습니다. 초기 최종 사용자 채택자가 이러한 도구를 사용하기 시작하려고 할 때 조기에 적절한 보호가 이루어지도록 보장하세요.”
위 내용은 ChatGPT와 민감한 비즈니스 데이터를 공유하는 것은 위험할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
