새로운 GIF 프레임워크 소개: 인간의 예를 따라 데이터 세트 증폭을 위한 새로운 패러다임이 도래했습니다.

• 문서 링크: https://browse.arxiv.org/pdf/2211.13976.pdf
• GitHub: https://github.com/Vanint/DatasetExpansion

다음과 같이 우리 모두 알고 있듯이 심층 신경망의 성능은 학습 데이터의 양과 품질에 크게 좌우되기 때문에 소규모 데이터 작업에 딥러닝을 널리 적용하기가 어렵습니다. 예를 들어 의료 및 기타 분야의 소규모 데이터 애플리케이션 시나리오에서 대규모 데이터 세트를 수동으로 수집하고 레이블을 지정하는 것은 종종 시간이 많이 걸리고 힘든 일입니다. 이러한 데이터 부족 문제를 해결하고 데이터 수집 비용을 최소화하기 위해 본 논문에서는 새로운 데이터를 자동으로 생성하여 대상 작업의 작은 데이터 세트를 더 크고 유용한 빅 데이터로 확장하는 것을 목표로 하는 데이터 세트 확장의 새로운 패러다임을 탐구합니다. 세트. 이러한 확장된 데이터 세트는 모델의 성능 및 일반화 기능을 향상시키는 데 전념하며 다양한 네트워크 구조를 훈련하는 데 사용할 수 있습니다

이 연구에서는 기존 방법을 사용하는 것만으로는 데이터 세트를 잘 확장할 수 없다는 것을 발견했습니다. (1) 무작위 데이터 강화는 주로 사진의 표면 시각적 특성을 변경하지만 새로운 객체 내용으로 사진을 만들 수는 없습니다(아래 사진의 연꽃은 여전히 ​​동일하며 새로운 연꽃이 생성되지 않음). 따라서 소개되는 정보의 양은 다음과 같습니다. 제한된. 더 심각한 것은 무작위 데이터 강화로 인해 의료 영상의 병변(변화) 위치가 잘려져 샘플의 중요한 정보가 줄어들고 심지어 노이즈 데이터가 생성될 수도 있다는 점입니다. (2) 데이터 세트 증폭을 위해 사전 훈련된 생성(확산) 모델을 직접 사용하는 것은 대상 작업에 대한 모델 성능을 잘 향상시킬 수 없습니다. 이는 이러한 생성 모델의 사전 훈련 데이터가 목표 데이터와 큰 분포 차이를 갖는 경우가 많기 때문입니다. 이로 인해 생성된 데이터와 목표 작업 사이에 특정 분포 및 범주 격차가 발생하고 생성된 데이터를 보장하는 것이 불가능합니다. 샘플에는 올바른 카테고리가 있으며 모델 학습에 유용합니다.

데이터 세트 증강을 보다 효율적으로 수행하기 위해 연구자들은 인간 연관 학습을 탐구했습니다. 인간은 사물에 대한 사전 지식이 있으면 아래 그림에서 보는 다양한 종류, 색깔, 모양, 배경의 개들의 변이와 같이 사물의 다양한 변형을 쉽게 상상할 수 있습니다. 이러한 상상력 학습 과정은 단순히 사진 속 동물의 모습을 교란하는 것 이상으로 풍부한 사전 지식을 적용하여 새로운 정보로 변형된 사진을 만들기 때문에 데이터 세트 증폭에 매우 유익합니다. 데이터 상상을 위한 사전 모델로 인간을 직접 모델링합니다. 다행스럽게도 최근 생성 모델(예: Stable Diffusion, DALL-E2)은 대규모 데이터 세트의 분포를 맞추는 강력한 기능을 입증했으며 풍부하고 사실적인 이미지를 생성할 수 있습니다. 이는 이 논문에서 사전 훈련된 생성 모델을 이전 모델로 사용하고 강력한 사전 지식을 활용하여 소규모 데이터 세트에서 효율적인 데이터 연결 및 증폭을 수행하도록 영감을 주었습니다.

위의 아이디어를 바탕으로 이 작품은 새로운 GIF(Guided Imagination Framework)를 제안합니다. 이 방법은 자연 및 의료 이미지 작업에 대한 심층 신경망의 분류 성능 및 일반화 능력을 효과적으로 향상시키고 수동 데이터 수집 및 주석으로 인한 막대한 비용을 크게 줄일 수 있습니다. 동시에 확장된 데이터 세트는 모델의 전이 학습을 촉진하고 롱테일 문제를 완화하는 데도 도움이 됩니다.

다음으로 데이터 세트 증폭의 새로운 패러다임이 어떻게 설계되었는지 살펴보겠습니다.

Methods

데이터 세트 증폭을 위한 과제 및 안내 표준 데이터 세트 증폭 방법을 설계하는 데에는 두 가지 주요 과제가 있습니다. (1) 생성된 샘플에 올바른 카테고리 라벨을 갖도록 만드는 방법은 무엇입니까? (2) 생성된 샘플에 모델 훈련을 촉진하기 위한 새로운 정보가 포함되어 있는지 확인하는 방법은 무엇입니까? 이러한 두 가지 문제를 해결하기 위해 이 작업은 광범위한 실험을 통해 두 가지 증폭 지침 기준을 발견했습니다. (1) 범주 일관성 있는 정보 향상 (2) 샘플 다양성 개선.

Method Framework 본 연구에서는 발견된 증폭 지침 표준을 기반으로 Guided Imagination Augmentation Framework(GIF)을 제안합니다. 각 입력 시드 샘플 x에 대해 GIF는 먼저 이전 생성 모델의 특징 추출기를 사용하여 샘플 특징 f를 추출하고 특징에 대한 잡음 교란을 수행합니다: . 노이즈(z, b)를 설정하는 가장 간단한 방법은 가우스 랜덤 노이즈를 사용하는 것이지만, 생성된 샘플이 올바른 클래스 레이블을 갖고 있는지 보장할 수 없으며 더 많은 정보를 가져옵니다. 따라서 효율적인 데이터 세트 증폭을 위해 GIF는 발견된 증폭 지침(예: )을 기반으로 잡음 교란을 최적화합니다.

사용된 증폭 유도 기준은 다음과 같이 구현됩니다. 클래스 일관성 정보 수량 지수: 샘플 다양성 지수: . 이 두 가지 지표를 최대화함으로써 GIF는 노이즈 교란을 효과적으로 최적화할 수 있으므로 카테고리 일관성을 유지하고 더 많은 정보 콘텐츠를 제공하는 샘플을 생성할 수 있습니다.

Experiment

Amplification Validity GIF는 증폭 유효성이 더 강력합니다. GIF-SD는 6개의 자연 데이터 세트와 3개의 의료 데이터 세트에서 분류 정확도를 평균 36.9% 향상시킵니다. 데이터 세트의 평균 분류 정확도 13.5% 개선되었습니다.

증폭 효율성 GIF는 증폭 효율성이 더 강력합니다. Cars 및 DTD 데이터 세트에서 5배 증폭을 위해 GIF-SD를 사용하는 효과는 무작위 데이터 증대를 사용하는 것보다 훨씬 뛰어납니다. 20의 효과 -배 증폭.

시각화 결과 기존 데이터 증대 방법은 새로운 이미지 콘텐츠를 생성할 수 없지만 GIF는 새로운 콘텐츠로 샘플을 더 잘 생성할 수 있습니다.

기존 개선 방법은 의료 이미지에서 병변의 위치를 ​​잘라서 샘플 정보가 줄어들고 노이즈가 발생하는 반면 GIF는 카테고리 의미를 더 잘 유지할 수 있습니다.

계산 및 시간 비용 수동 데이터 수집 및 주석에 비해 GIF는 데이터 세트 증폭에 드는 시간과 비용을 크게 줄일 수 있습니다.

증폭된 데이터의 보편성 일단 증폭되면 이러한 데이터 세트를 직접 사용하여 다양한 신경망 모델 구조를 훈련할 수 있습니다.

모델 일반화 능력 향상 GIF는 모델의 분포 외 일반화 성능(OOD 일반화)을 향상시키는 데 도움이 됩니다.

롱테일 문제 해결 GIF는 롱테일 문제 완화에 도움이 됩니다.

안전 확인 GIF로 생성된 이미지는 안전하고 무해합니다.

위의 실험 결과를 바탕으로 본 논문에서 설계한 방법이 인간의 유추와 상상 학습을 시뮬레이션함으로써 소규모 데이터 세트를 효과적으로 확장하여 심층 신경망의 성능을 향상시킬 수 있다고 믿을 만한 이유가 있습니다. 소규모 데이터 작업 시나리오 구현 및 적용.

위 내용은 새로운 GIF 프레임워크 소개: 인간의 예를 따라 데이터 세트 증폭을 위한 새로운 패러다임이 도래했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!