세분화된 이미지 분류의 데이터 불균형 문제

세밀한 이미지 분류의 데이터 불균형 문제, 구체적인 코드 예제가 필요합니다

세밀한 이미지 분류는 유사한 시각적 특성을 가진 개체를 더욱 세분화하고 식별하는 것을 의미합니다. 이 작업에서 데이터 불균형은 일반적인 문제입니다. 즉, 서로 다른 범주의 샘플 수에 큰 차이가 있어 훈련 및 테스트 중에 데이터 분포에서 모델의 편향이 발생하여 정확성과 견고성에 영향을 미칩니다. 분류의 . 이 문제를 해결하기 위해 데이터 균형을 맞추고 모델 성능을 향상시키는 몇 가지 방법을 사용할 수 있습니다.

1. 데이터 샘플링 방법

일반적인 방법은 과소 샘플링입니다. 즉, 각 범주의 샘플 수가 같거나 거의 같도록 데이터 세트에서 일부 큰 샘플을 무작위로 삭제하는 것입니다. 이 방법은 간단하고 빠르지만 정보 손실 및 샘플 부족 문제가 발생할 수 있습니다.

또 다른 방법은 오버샘플링입니다. 즉, 각 카테고리의 샘플 수가 같거나 거의 같도록 더 적은 수의 샘플을 복사하거나 생성하는 것입니다. 오버샘플링은 샘플 복사, 새 샘플 생성 또는 보간을 통해 달성할 수 있습니다. 이 접근 방식은 데이터의 다양성을 높일 수 있지만 모델의 과적합으로 이어질 수 있습니다.

2. 데이터 증강 기술

데이터 증강은 원본 ​​데이터에 일련의 무작위 변환을 수행하여 샘플 수와 다양성을 늘리는 것입니다. 일반적으로 사용되는 데이터 향상 기술에는 회전, 크기 조정, 변환, 미러 뒤집기, 노이즈 추가 등이 포함됩니다. 데이터 증대를 통해 훈련 세트의 샘플 수를 늘리고 데이터 불균형 문제를 완화할 수 있습니다.

다음은 PyTorch를 사용하여 데이터 증대 및 언더샘플링을 구현하는 샘플 코드입니다.

import torch
from torch.utils.data import Dataset
from torch.utils.data import DataLoader
from torchvision import transforms
from imblearn.under_sampling import RandomUnderSampler

class CustomDataset(Dataset):
    def __init__(self, data, targets, transform=None):
        self.data = data
        self.targets = targets
        self.transform = transform

    def __len__(self):
        return len(self.data)

    def __getitem__(self, index):
        x = self.data[index]
        y = self.targets[index]

        if self.transform:
            x = self.transform(x)

        return x, y

# 定义数据增强的transform
transform = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(20),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

# 创建自定义数据集
dataset = CustomDataset(data, targets, transform=transform)

# 使用欠采样方法平衡数据
sampler = RandomUnderSampler()
data_resampled, targets_resampled = sampler.fit_resample(dataset.data, dataset.targets)

# 创建平衡数据的数据集
dataset_resampled = CustomDataset(data_resampled, targets_resampled, transform=transform)

# 创建数据加载器
dataloader = DataLoader(dataset_resampled, batch_size=32, shuffle=True)

위 코드에서는 변환을 통해 데이터 증대 변환을 포함하는 사용자 정의 데이터 세트 클래스 CustomDataset를 정의합니다.Compose()는 여러 정의 데이터 향상 작업. 그런 다음 불균형 학습 라이브러리의 RandomUnderSampler를 사용하여 언더샘플링을 수행하고 샘플 수의 균형을 맞춘 다음 마지막으로 균형 잡힌 데이터 데이터 세트(set_resampled 및 데이터 로더 dataloader)를 생성합니다.

요약하자면, 세밀한 이미지 분류의 데이터 불균형 문제는 데이터 샘플링, 데이터 향상 등의 방법을 통해 해결할 수 있습니다. PyTorch와 Balanced-Learn 라이브러리는 모델 성능과 견고성을 향상시키기 위해 데이터 확대 및 언더샘플링을 구현하기 위해 코드 예제에 사용되었습니다. 이러한 방법을 합리적으로 사용하면 데이터 불균형 문제를 효과적으로 해결하고 세분화된 이미지 분류 작업에서 모델의 성능을 향상시킬 수 있습니다.

위 내용은 세분화된 이미지 분류의 데이터 불균형 문제의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!