법의 가장자리를 헤매는 '이미지 생성 기술': '피고인'이 되지 않도록 가르쳐주는 논문-일체 포함-php.cn

최근 AI 기반 콘텐츠(AIGC)가 이미지, 텍스트, 오디오, 비디오 등을 망라하여 많은 주목을 받고 있습니다. 그러나 AIGC는 무책임한 사용으로 인해 양날의 검이 되었으며 논란이 되었습니다. .

이미지 생성 기술이 제대로 사용되지 않으면 "피고인"이 될 수도 있습니다.

최근 Sony AI와 Wisdom Source의 연구원들은 AIGC의 현안을 여러 측면에서 논의하고 AI 생성 콘텐츠를 더욱 책임감 있게 만드는 방법에 대해 논의했습니다.

법의 가장자리를 헤매는 이미지 생성 기술: 피고인이 되지 않도록 가르쳐주는 논문

문서 링크: https://arxiv.org/pdf/2303.01325.pdf

이 기사는 다음을 포함하여 AIGC의 건전한 발전을 방해할 수 있는 세 가지 주요 문제에 중점을 둡니다. 1) 개인 정보 보호; (2)편향, 독성, 잘못된 정보 (3)지적 재산(IP)위험.

법의 가장자리를 헤매는 이미지 생성 기술: 피고인이 되지 않도록 가르쳐주는 논문

알려진 위험과 잠재적인 위험, 그리고 가능한 모든 AIGC 남용 시나리오를 문서화함으로써 이 문서는 AIGC의 잠재적인 위험과 남용에 대한 관심을 끌고 AIGC를 홍보하기 위해 이러한 위험을 해결하기 위한 방향을 제공하는 것을 목표로 합니다. 사회에 이익이 되는 보다 윤리적이고 안전한 방향으로 발전합니다.

Privacy

대형 기본 모델에는 일련의 개인 정보 유출 문제가 있다는 것은 잘 알려져 있습니다.

이전 연구에서는 침입자가 훈련된 GPT-2 모델에서 시퀀스를 생성하고 훈련 세트에서 기억된 시퀀스를 식별할 수 있음을 보여주었습니다. [Kandpal et al., 2022]는 이러한 개인 정보 침해의 성공 원인을 훈련 세트에 반복되는 데이터가 있으면 여러 번 나타나는 시퀀스가 한 번만 나타나는 시퀀스보다 생성될 가능성이 더 높다는 연구 결과가 입증되었습니다.

AIGC 모델은 대규모 웹 크롤링 데이터를 학습하므로 과적합 및 개인정보 유출 문제가 특히 중요해집니다.

예를 들어 Stable Diffusion 모델은 훈련 데이터에서 반복되는 이미지를 기억합니다[Rombach et al., 2022c]. [Somepalli et al., 2022]는 Stable Diffusion 모델이 훈련 데이터에서 이미지를 노골적으로 복사하고 훈련 데이터 세트에서 전경 및 배경 개체의 간단한 조합을 생성한다는 것을 보여주었습니다.

법의 가장자리를 헤매는 이미지 생성 기술: 피고인이 되지 않도록 가르쳐주는 논문

또한 모델은 메모리를 재구성하는 능력을 보여줌으로써 원래 객체와 의미상 동일하지만 픽셀 형태가 다른 객체를 생성합니다. 이러한 이미지의 존재는 데이터 메모리 및 소유권에 대한 우려를 불러일으킵니다.

마찬가지로 최근 연구에 따르면 Google의 Imagen 시스템에도 실제 인물 사진과 저작권이 있는 이미지가 유출되는 데 문제가 있는 것으로 나타났습니다. Matthew Butterick의 최근 소송[Butterick, 2023]에서 그는 시스템의 모든 시각적 정보가 저작권이 있는 훈련 이미지에서 나오므로 생성된 이미지는 모양에 관계없이 해당 훈련 이미지의 작업임에 틀림없다고 지적했습니다.

마찬가지로 DALL·E 2도 비슷한 문제를 겪었습니다. 때로는 새 데이터를 생성하는 대신 훈련 데이터에서 이미지를 복사하는 경우가 있었습니다.

OpenAI는 데이터 세트에서 이미지가 여러 번 복사되었기 때문에 이러한 현상이 발생했다는 사실을 발견했습니다. 마찬가지로 ChatGPT도 개인 정보 유출 위험이 있음을 인정했습니다.

법의 가장자리를 헤매는 이미지 생성 기술: 피고인이 되지 않도록 가르쳐주는 논문

대형 모델의 개인정보 유출 문제를 완화하기 위해 많은 기업과 연구자들이 개인정보 보호에 많은 노력을 기울여 왔습니다. 산업 수준에서 Stability AI는 Stable Diffusion의 한계를 인식했습니다.

이를 위해 Stable Diffusion에 의해 기억된 이미지를 식별할 수 있는 웹사이트(https://rom1504.github.io/clip-retrieval/)를 제공합니다.

또한 예술회사 Spawning AI는 사용자가 자신의 사진이나 작품이 인공지능 훈련에 사용되었는지 여부를 확인할 수 있도록 '훈련받았나?'(https://haveibeentrained.com)라는 웹사이트를 만들었습니다.

법의 가장자리를 헤매는 이미지 생성 기술: 피고인이 되지 않도록 가르쳐주는 논문

OpenAI는 데이터 중복을 줄여 개인 정보 보호 문제를 해결하려고 시도합니다.

또한 Microsoft 및 Amazon과 같은 회사에서는 직원이 기밀 정보를 유출하는 것을 방지하기 위해 ChatGPT와 민감한 데이터를 공유하는 것을 금지했습니다. 이 정보는 ChatGPT의 향후 버전 교육에 사용될 수 있기 때문입니다.

Somepalli et al.은 콘텐츠 중복을 식별하기 위해 이미지 검색 프레임워크를 연구했으며, Dockhorn et al.은 생성된 모델의 프라이버시를 보장하기 위해 차등 프라이버시 확산 모델도 제안했습니다.

편견, 독성, 잘못된 정보

AIGC 모델의 훈련 데이터는 실제 세계에서 가져온 것입니다. 그러나 이 데이터는 의도치 않게 유해한 고정관념을 강화하고, 특정 집단을 배제 또는 소외시킬 수 있으며, 선동할 수 있는 독성 데이터 소스를 포함할 수 있습니다. 증오 또는 폭력을 행사하고 개인을 불쾌하게 만듭니다 [Weidinger et al., 2021].

이러한 문제가 있는 데이터세트에 대해 훈련되거나 미세 조정된 모델은 유해한 고정관념, 사회적 편견 및 독성을 물려받거나 심지어 잘못된 정보를 생성하여 불공정한 차별을 초래하고 특정 사회 집단에 해를 끼칠 수 있습니다.

예를 들어 Stable Diffusion v1 모델은 주로 영어 설명이 있는 이미지만 포함된 LAION-2B 데이터 세트에서 훈련됩니다. 따라서 모델이 백인과 서양 문화에 편향되어 있어 다른 언어의 큐가 완전히 표현되지 않을 수 있습니다.

Stable Diffusion 모델의 후속 버전이 LAION 데이터 세트의 필터링된 버전에서 미세 조정되었지만 편향 문제는 그대로 남아 있습니다. 마찬가지로 DALLA·E, DALLA·E 2, Imagen 역시 사회적 편견과 소수자 집단에 대한 부정적인 고정관념을 드러낸다.

또한 Imagen은 인간이 아닌 이미지를 생성할 때에도 사회적, 문화적 편견을 가지고 있는 것으로 나타났습니다. 이러한 문제로 인해 Google은 Imagen을 대중에게 제공하지 않기로 결정했습니다.

AIGC 모델의 고유한 편향을 설명하기 위해 Stable Diffusion v2.1을 테스트했습니다. "초원을 달리는 세 명의 엔지니어"라는 프롬프트를 사용하여 생성된 이미지는 모두 남성이었으며, 그중 누구도 소외 계층에 속하지 않았습니다. 소수 민족. 생성된 이미지의 다양성이 부족함을 나타냅니다.

법의 가장자리를 헤매는 이미지 생성 기술: 피고인이 되지 않도록 가르쳐주는 논문

또한 AIGC 모델은 잘못된 정보를 생성할 수도 있습니다. 예를 들어, GPT 및 그 파생물에서 생성된 콘텐츠는 정확하고 신뢰할 수 있는 것처럼 보일 수 있지만 완전히 잘못된 정보를 포함할 수 있습니다.

따라서 일부 영역(예: 학교, 법률, 의료, 일기예보)에서는 오해의 소지가 있는 정보를 제공할 수 있습니다. 예를 들어, 의료 분야에서는 의료 복용량에 관해 ChatGPT가 제공하는 답변이 부정확하거나 불완전할 수 있으며, 이는 생명을 위협할 수 있습니다. 교통 분야에서 운전자가 ChatGPT에서 제공하는 잘못된 교통 규칙을 따르면 사고나 심지어 사망으로 이어질 수 있습니다.

문제가 있는 데이터와 모델에 대해 많은 방어가 이루어졌습니다.

OpenAI는 원본 훈련 데이터 세트를 미세 필터링하고 DALLA·E 2 훈련 데이터에서 폭력이나 포르노 콘텐츠를 제거합니다. 그러나 필터링으로 인해 훈련 데이터에 편향이 발생할 수 있으며 이는 이후 다운스트림 모델에 전파됩니다.

이 문제를 해결하기 위해 OpenAI는 필터로 인한 편향을 완화하는 사전 학습 기술을 개발했습니다. 또한, AIGC 모델이 현재의 사회적 상황을 적시에 반영할 수 있도록 연구자는 모델이 사용하는 데이터 세트를 정기적으로 업데이트해야 하며, 이는 정보 지연으로 인한 부정적인 영향을 방지하는 데 도움이 됩니다.

소스 데이터의 편견과 고정관념은 줄어들 수 있지만 AIGC 모델의 학습 및 개발 중에 여전히 확산되거나 악화될 수 있다는 점은 주목할 가치가 있습니다. 따라서 데이터 소스 수준뿐만 아니라 모델 훈련 및 개발 수명주기 전반에 걸쳐 편견, 독성 및 잘못된 정보의 존재를 평가하는 것이 중요합니다.

지식재산권(IP)

[Somepalli et al., 2022]는 Stable Diffusion으로 생성된 이미지가 훈련 데이터에서 복사될 수 있음을 보여줍니다. Stable Diffusion은 생성된 이미지에 대한 어떠한 소유권도 부인하고 이미지 내용이 합법적이고 무해한 한 사용자가 자유롭게 사용할 수 있도록 허용하지만, 이러한 자유로움은 여전히 저작권을 둘러싼 치열한 논쟁을 불러일으킵니다.

Stable Diffusion과 같은 생성 모델은 지적 재산권 소유자의 승인 없이 인터넷의 대규모 이미지에 대해 훈련되므로 일부 사람들은 이것이 자신의 권리를 침해한다고 생각합니다.

지적재산권 문제를 해결하기 위해 많은 AIGC 기업들이 조치를 취했습니다.

마찬가지로 Stability AI는 아티스트에게 Stable Diffusion의 향후 버전에 대한 훈련 세트에서 자신의 작업을 제외할 수 있는 옵션을 제공할 계획입니다. 또한 텍스트 워터마크[He et al., 2022a; He et al., 2022b]를 사용하여 이러한 AIGC 도구가 허가 없이 다른 소스의 샘플을 사용하는지 여부를 식별할 수도 있습니다.

예를 들어 Stable Diffusion은 Getty Images 워터마크가 있는 이미지를 생성합니다[Vincent, 2023].

OpenAI는 교육자가 과제에서 표절을 감지하는 데 사용할 수 있는 도구인 GPT 모델에서 생성된 텍스트를 식별하는 워터마킹 기술을 개발하고 있습니다. Google은 또한 게시하는 이미지에 Parti 워터마크를 적용했습니다. 워터마크 외에도 OpenAI는 최근 AI 생성 텍스트와 사람이 작성한 텍스트를 구별하는 분류기를 출시했습니다.