OpenAI DALL-E 3 모델에는 '부적절한 콘텐츠'를 생성하는 취약점이 있습니다. Microsoft 직원이 이를 신고하여 '개그 명령'을 받았습니다.

2월 2일 뉴스에 따르면 Microsoft 소프트웨어 엔지니어링 관리자인 Shane Jones는 최근 OpenAI의 DALL-E 3 모델에서 일련의 부적절한 콘텐츠를 생성할 수 있는 취약점을 발견했습니다. Shane Jones는 회사에 취약점을 보고했지만 이를 기밀로 유지해 달라는 요청을 받았습니다. 그러나 그는 결국 취약점을 외부 세계에 공개하기로 결정했습니다.

▲ 사진 출처 Shane Jones의 보고서가 대중에게 공개되었습니다

이 사이트에서는 Shane Jones가 작년 12월 독립적인 연구를 통해 OpenAI 텍스트 생성 이미지의 DALL-E 3 모델에서 취약점을 발견한 것으로 나타났습니다. 이 취약점은 AI Guardrail을 우회하여 일련의 NSFW 부적절한 콘텐츠를 생성할 수 있습니다. 이번 발견은 광범위한 관심을 끌었으며 AI 시스템의 안전과 윤리에 대한 심층적인 논의를 촉발시켰습니다. OpenAI 회사는 시스템의 올바르고 안전한 작동을 보장하기 위해 가능한 한 빨리 취약점을 수정할 것이라고 밝혔습니다. 이번 사건은 우리가 인공지능 기술을 개발하고 적용할 때 안전과 윤리적인 문제에 높은 관심을 기울여야 함을 다시 한번 일깨워준다.

Shane Jones는 이후 Microsoft와 OpenAI에 취약점을 보고하고 LinkedIn에 공개 서한을 게시했습니다. 그는 이러한 취약점이 대중에게 보안 위험을 초래할 수 있다고 주장하고 OpenAI에 취약점이 해결될 때까지 DALL-E 3 모델을 일시적으로 제거할 것을 요청했습니다.

이후 Shane Jones는 Microsoft의 법무 부서와 경영진으로부터 연락을 받아 LinkedIn 공개 서한을 즉시 삭제하고 외부 세계에 콘텐츠 공개를 중단하라고 경고했지만 그 이후로 Shane Jones는 반복적으로 설명하지 않았습니다. 그러나 회사로부터 아무런 응답도 받지 못했고, 이후에도 Shane Jones는 해당 취약점을 언론과 관련 부서에 공개했습니다.

Shane Jones는

최근 인터넷에 등장한 유명 가수 Taylor Swift의 AI 생성 음란 사진이 이 취약점과 관련이 있다고 언급했습니다 이러한 음란 사진은 Microsoft의 Designer AI 기능을 사용했다고 하며, 그 기본 모델은 다음과 같습니다. 디자이너는 DALL-E 3이다. 따라서 마이크로소프트는 이번 사건에서 '봉인 명령'을 내린 중대한 과실을 범했다.

이후 마이크로소프트는 엔가젯 등을 통해 공식적으로 관련 직원들의 우려를 해소하고 관련 취약점을 수정할 것이라고 주장해왔습니다. 그러나 마이크로소프트 역시 셰인 존스가 공개한 취약점은 실제로 성공률이 낮다고 주장했습니다.

"마이크로소프트가 모델에 설정한 모든 취약점을 우회하는 것은 불가능하다. 보안 메커니즘", "현재 이 취약점이 테일러 스위프트 음란 사진 사건과 관련이 있는지는 불분명하다".

위 내용은 OpenAI DALL-E 3 모델에는 '부적절한 콘텐츠'를 생성하는 취약점이 있습니다. Microsoft 직원이 이를 신고하여 '개그 명령'을 받았습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!