GAN만큼 좋지는 않습니다! Google, DeepMind 및 기타 발행 기사: 확산 모델은 훈련 세트에서 직접 '복사'됩니다.

작년에는 이미지 세대 모델들이 인기를 끌면서 인기를 끌었던 아트 카니발 이후 저작권 문제가 뒤따랐습니다.

DALL-E 2, Imagen, Stable Diffusion 등의 딥러닝 모델은 수억 개의 데이터를 학습합니다. 훈련 세트의 영향을 없앨 수 있는 방법은 없지만 생성된 일부 이미지가 훈련 세트에서 완전히 나온 것인가요? 생성된 이미지가 원본 이미지와 매우 유사한 경우, 저작권은 누구에게 있나요?

최근 Google, Deepmind, ETH Zurich 등 유명 대학과 기업의 연구자들이 공동으로 논문을 발표했습니다. 그들은 확산 모델이 실제로 훈련 세트의 샘플을 기억할 수 있다는 사실을 발견했습니다. 생성 과정에서 재현합니다.

논문 링크:​https://arxiv.org/abs/2301.13188​

이 연구에서 연구원들은 확산 모델이 훈련 데이터에서 어떻게 기억하는지 보여줍니다. 단일 이미지 생성되면 이를 재현합니다.

이 기사에서는 생성 및 필터링(생성 및 필터링)파이프라인을 제안합니다. 이 파이프라인은 가장 발전된 모델에서 천 개 이상의 교육 사례를 추출하고 People Company의 사진 및 상표를 포함합니다. 로고 등 또한 다양한 모델링 및 데이터 결정이 개인 정보 보호에 어떤 영향을 미치는지 분석하기 위해 다양한 환경에서 수백 개의 확산 모델을 교육했습니다.

일반적으로 실험 결과는 확산 모델이 이전 생성 모델(예: GAN)보다 훈련 세트에 대해 훨씬 더 나쁜 개인 정보 보호를 제공한다는 것을 보여줍니다.

기억은 나지만 많이는 아닙니다

노이즈 제거 모델은 최근 등장한 새로운 생성 신경망으로, 반복적인 노이즈 제거 프로세스를 통해 훈련 분포에서 이미지를 생성하는데, 이는 이전에 일반적으로 사용되는 GAN보다 좋습니다. 또는 VAE 모델 생성이 더 좋고 모델 확장 및 이미지 생성 제어가 더 쉽기 때문에 빠르게 다양한 고해상도 이미지 생성의 주류 방법이 되었습니다.

특히 OpenAI가 DALL-E 2를 출시한 이후 확산 모델은 AI 세대 전 분야에서 빠르게 대중화되었습니다.

생성 확산 모델의 매력은 훈련 세트의 어떤 것과도 표면적으로 다른 새로운 이미지를 합성하는 능력에서 비롯됩니다. 실제로 과거의 대규모 훈련 노력에서는 "과적합 문제를 발견하지 못했습니다"라고 프라이버시 연구원들은 말합니다. 민감한 도메인은 확산 모델이 이미지를 합성함으로써 "실제 이미지의 프라이버시를 보호"할 수 있다고 제안하기도 했습니다.

그러나 이러한 작업은 모두 다음과 같은 가정에 의존합니다.

즉, 확산 모델은 훈련 데이터를 기억하고 재생성하지 않습니다. 그렇지 않으면 개인정보 보호를 위반하고 모델 일반화 및 디지털 위조에 대한 많은 문제를 일으킬 것입니다.

그런데 정말 그럴까요?

생성된 이미지가 훈련 세트에서 나온 것인지 확인하려면 먼저

"암기"가 무엇인지를 정의해야 합니다.

이전 관련 작업은 주로 텍스트 언어 모델에 중점을 두었습니다. 모델이 훈련 세트에서 문자 그대로 기록된 시퀀스를 문자 그대로 복구할 수 있다면 이 시퀀스를 "추출" 및 "메모리"라고 부르지만 이 작업은 높은 수준을 기반으로 하기 때문입니다. -해상도 이미지이므로 메모리 정의의 단어 대 단어 일치는 적합하지 않습니다.

다음은 연구자들이 정의한 이미지 유사도 측정을 기반으로 한 메모리입니다.

생성된 이미지 x와 훈련 세트의 여러 샘플 사이의 거리가 주어진 임계값보다 작으면 샘플은 훈련 세트, 즉 Eidetic Memorization에서 얻은 것으로 간주됩니다.

그런 다음 기사에서는 2단계 데이터 추출 공격방법:

1. 많은 수의 이미지를 생성합니다.

첫 번째 단계는 매우 간단하지만 계산 비용이 많이 듭니다. 매우 높음: 선택한 프롬프트를 입력으로 사용하여 블랙박스 방식으로 이미지를 생성합니다.

연구원들은 추억 발견 확률을 높이기 위해 각 텍스트 프롬프트에 대해 500개의 후보 이미지를 생성했습니다.

2. 회원 추론

을 수행하고 훈련 세트 메모리를 기반으로 생성된 것으로 의심되는 이미지를 표시합니다.

연구원이 설계한 구성원 추론 공격 전략은 다음 아이디어를 기반으로 합니다. 두 개의 서로 다른 무작위 초기 시드의 경우 확산 모델에 의해 생성된 두 이미지 간의 유사 확률이 매우 높으며 다음과 같은 작업이 가능합니다. 생성된 거리 측정법에 따라 메모리를 기반으로 고려됩니다.

추출 결과

공격의 효율성을 평가하기 위해 연구원들은 훈련 데이터 세트에서 가장 많이 반복되는 350,000개의 예를 선택하고 각 프롬프트에 대해 500개의 후보 이미지를 생성했습니다(총 1억 7,500만 개의 이미지 생성).

먼저 생성된 모든 이미지를 파벌의 이미지 간 평균 거리로 정렬하여 훈련 데이터를 기억하여 생성되었을 가능성이 있는 이미지를 식별합니다.

이렇게 생성된 이미지를 훈련 이미지와 비교한 결과, 각 이미지에 "추출됨"과 "추출되지 않음"이 표시되었습니다. 최종적으로 훈련 세트에서 추출된 것으로 의심되는 94개의 이미지가 발견되었습니다.

시각적 분석을 통해 상위 1000개의 이미지를 수동으로 "기억됨" 또는 "기억되지 않음"으로 표시했으며, 훈련 샘플을 복사하여 13개의 이미지가 생성된 것으로 나타났습니다.

P-R 곡선에서 이 공격 방법은 매우 정확합니다. 생성된 1억 7천 5백만 개의 이미지 중 기억된 이미지는 50개이며, 오탐률은 0입니다. 그리고 모든 이미지는 메모리를 기반으로 생성됩니다. 50%보다 높은 정확도로 추출 가능

메모리가 어떻게 그리고 왜 발생하는지 더 잘 이해하기 위해 연구원들은 CIFAR10 소형 확산 모델에서 수백 개의 비교 이미지를 훈련하여 모델 정확도, 하이퍼파라미터, 증강, 개인 정보 보호에 대한 중복 제거.

확산 대 GAN

확산 모델과 달리 GAN은 훈련 데이터 세트를 기억하고 재구성하도록 명시적으로 훈련되지 않습니다.

GAN은 두 개의 경쟁 신경망인 생성자와 판별자로 구성됩니다. 생성기는 또한 입력으로 임의의 노이즈를 받지만 확산 모델과 달리 한 번의 순방향 패스에서 이 노이즈를 유효한 이미지로 변환해야 합니다.

GAN을 훈련하는 과정에서 판별기는 이미지가 생성기에서 나오는지 예측해야 하며 생성기는 판별기를 속이기 위해 자체적으로 개선해야 합니다.

그래서 둘의 차이점은 GAN의 생성기는 훈련 데이터에 대한 간접적인 정보만 사용하여(즉, 판별자의 기울기 사용) 훈련 데이터를 입력으로 직접 받지 않는다는 것입니다.

서로 다른 사전 훈련된 세대 모델에서 추출한 무조건 생성된 100만 개의 훈련 이미지, FID(낮을수록 좋음)로 정렬된 GAN 모델이 맨 위에 배치되고 확산 모델이 아래에 배치됩니다.

결과에 따르면 확산 모델은 GAN 모델보다 더 많은 것을 기억하며, 더 나은 생성 모델(낮은 FID)은 더 많은 데이터를 기억하는 경향이 있습니다. 즉, 확산 모델은 비공개 이미지가 가장 적습니다. 모델 형식이 GAN 모델보다 두 배 이상 누출됩니다. 많은 훈련 데이터를 GAN으로 사용합니다.

그리고 위의 결과에서 기존 개인 정보 보호 강화 기술이 허용 가능한 개인 정보 보호 성능 균형을 제공하지 않는다는 점도 알 수 있습니다. 세대 품질을 향상하려면 더 많은 데이터를 기억해야 합니다. 훈련 세트에서.

전반적으로 이 문서는 점점 더 강력해지는 생성 모델과 데이터 개인 정보 보호 사이의 긴장을 강조하고 확산 모델의 작동 방식과 책임감 있게 배포할 수 있는 방법에 대한 질문을 제기합니다.

저작권 문제

기술적으로 말하면 재구성은 확산 모델의 장점이지만 저작권 관점에서 보면 재구성은 약점입니다.

확산 모델로 생성된 이미지와 학습 데이터의 과도한 유사성으로 인해 아티스트들은 저작권 문제를 두고 다양한 분쟁을 벌이고 있습니다.

예를 들어, AI는 자신의 저작물을 훈련에 사용하는 것이 금지되어 있으며, 출판된 저작물에는 다수의 워터마크가 추가되는 등의 행위가 허용됩니다. 또한 Stable Diffusion은 승인된 콘텐츠가 포함된 훈련 데이터 세트만 사용할 계획이라고 발표했습니다. 다음 단계로 아티스트 종료 메커니즘을 제공합니다.

우리는 NLP 분야에서도 이 문제에 직면합니다. 일부 네티즌들은 1993년 이후 수백만 단어의 텍스트가 출판되었으며 ChatGPT-3을 포함한 모든 AI는 AI 기반 생성을 사용하여 "도난당한 콘텐츠"에 대해 훈련되었다고 말했습니다. 모델은 비윤리적이다.

세상의 많은 기사가 표절되어 있지만, 일반 사람들에게 표절은 피할 수 없는 지름길일 뿐이지만, 창작자에게는 표절된 콘텐츠가 힘든 일입니다.

확산 모델이 앞으로도 여전히 장점을 가질까요?

위 내용은 GAN만큼 좋지는 않습니다! Google, DeepMind 및 기타 발행 기사: 확산 모델은 훈련 세트에서 직접 '복사'됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!