Pytorch 핵심 사항을 개선하고 옵티마이저를 개선해보세요!

안녕하세요 샤오좡이에요!

오늘은 Pytorch의 옵티마이저에 대해 이야기하겠습니다.

옵티마이저의 선택은 딥러닝 모델의 훈련 효과와 속도에 직접적인 영향을 미칩니다. 다양한 최적화 프로그램은 다양한 문제에 적합하며 성능 차이로 인해 모델이 더 빠르고 안정적으로 수렴되거나 특정 작업에서 더 나은 성능을 발휘할 수 있습니다. 따라서 옵티마이저를 선택할 때에는 특정 문제의 특성을 고려하여 절충과 결정을 내려야 합니다.

따라서 딥 러닝 모델을 튜닝하려면 올바른 최적화 프로그램을 선택하는 것이 중요합니다. 옵티마이저의 선택은 모델 성능뿐만 아니라 훈련 프로세스의 효율성에도 큰 영향을 미칩니다.

PyTorch는 신경망을 훈련하고 모델 가중치를 업데이트하는 데 사용할 수 있는 다양한 최적화 도구를 제공합니다. 이러한 최적화 프로그램에는 공통 SGD, Adam, RMSprop 등이 포함됩니다. 각 최적화 프로그램에는 고유한 특성과 적용 가능한 시나리오가 있습니다. 적절한 최적화 프로그램을 선택하면 모델 수렴을 가속화하고 훈련 결과를 향상시킬 수 있습니다. 옵티마이저를 사용할 때는 학습률, 가중치 감소 등의 하이퍼파라미터를 설정하고 손실 함수 및 모델 매개변수를 정의해야 합니다.

공통 옵티마이저

먼저 PyTorch에서 일반적으로 사용되는 옵티마이저를 나열하고 이에 대해 간략하게 소개하겠습니다.

SGD(확률적 경사하강법)가 어떻게 작동하는지 이해해 보겠습니다. SGD는 기계 학습 모델의 매개 변수를 해결하는 데 일반적으로 사용되는 최적화 알고리즘입니다. 작은 배치의 샘플을 무작위로 선택하여 기울기를 추정하고 기울기의 음수 방향을 사용하여 매개변수를 업데이트합니다. 이를 통해 모델의 성능은 반복 프로세스 중에 점진적으로 최적화될 수 있습니다. SGD의 장점은 계산 효율성이 높다는 것입니다. 특히

에 적합합니다. 확률적 경사하강법(Stochastic Gradient Descent)은 손실 함수를 최소화하기 위해 일반적으로 사용되는 최적화 알고리즘입니다. 이는 손실 함수에 대한 가중치의 기울기를 계산하고 기울기의 음수 방향으로 가중치를 업데이트하는 방식으로 작동합니다. 이 알고리즘은 머신러닝과 딥러닝에 널리 사용됩니다.

optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)

(2) Adam

Adam은 AdaGrad와 RMSProp의 아이디어를 결합한 적응형 학습률 최적화 알고리즘입니다. 전통적인 경사하강법 알고리즘과 비교하여 Adam은 다양한 매개변수의 특성에 더 잘 적응하기 위해 각 매개변수에 대해 서로 다른 학습률을 계산할 수 있습니다. Adam은 학습 속도를 적응적으로 조정하여 모델의 수렴 속도와 성능을 향상시킬 수 있습니다.

optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)

(3) Adagrad

Adagrad는 매개변수의 과거 기울기를 기반으로 학습률을 조정하는 적응형 학습률 최적화 알고리즘입니다. 그러나 학습률이 점차 감소함에 따라 훈련이 조기에 중단될 수 있습니다.

optimizer = torch.optim.Adagrad(model.parameters(), lr=learning_rate)

(4) RMSProp

RMSProp은 기울기의 슬라이딩 평균을 고려하여 학습률을 조정하는 적응형 학습률 알고리즘이기도 합니다.

optimizer = torch.optim.RMSprop(model.parameters(), lr=learning_rate)

(5) Adadelta

Adadelta는 적응형 학습률 최적화 알고리즘이자 RMSProp의 개선된 버전으로, 기울기의 이동 평균과 매개변수의 이동 평균을 고려하여 학습률을 동적으로 조정합니다.

optimizer = torch.optim.Adadelta(model.parameters(), lr=learning_rate)

전체 사례

여기서 PyTorch를 사용하여 필기 숫자 인식을 위한 간단한 CNN(컨볼루션 신경망)을 훈련하는 방법에 대해 이야기해 보겠습니다.

이 사례에서는 MNIST 데이터 세트를 사용하고 Matplotlib 라이브러리를 사용하여 손실 곡선과 정확도 곡선을 그립니다.

import torchimport torch.nn as nnimport torch.optim as optimfrom torchvision import datasets, transformsfrom torch.utils.data import DataLoaderimport matplotlib.pyplot as plt# 设置随机种子torch.manual_seed(42)# 定义数据转换transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])# 下载和加载MNIST数据集train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)test_dataset = datasets.MNIST(root='./data', train=False, download=True, transform=transform)train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)test_loader = DataLoader(test_dataset, batch_size=1000, shuffle=False)# 定义简单的卷积神经网络模型class CNN(nn.Module):def __init__(self):super(CNN, self).__init__()self.conv1 = nn.Conv2d(1, 32, kernel_size=3, stride=1, padding=1)self.relu = nn.ReLU()self.pool = nn.MaxPool2d(kernel_size=2, stride=2)self.conv2 = nn.Conv2d(32, 64, kernel_size=3, stride=1, padding=1)self.fc1 = nn.Linear(64 * 7 * 7, 128)self.fc2 = nn.Linear(128, 10)def forward(self, x):x = self.conv1(x)x = self.relu(x)x = self.pool(x)x = self.conv2(x)x = self.relu(x)x = self.pool(x)x = x.view(-1, 64 * 7 * 7)x = self.fc1(x)x = self.relu(x)x = self.fc2(x)return x# 创建模型、损失函数和优化器model = CNN()criterion = nn.CrossEntropyLoss()optimizer = optim.Adam(model.parameters(), lr=0.001)# 训练模型num_epochs = 5train_losses = []train_accuracies = []for epoch in range(num_epochs):model.train()total_loss = 0.0correct = 0total = 0for inputs, labels in train_loader:optimizer.zero_grad()outputs = model(inputs)loss = criterion(outputs, labels)loss.backward()optimizer.step()total_loss += loss.item()_, predicted = torch.max(outputs.data, 1)total += labels.size(0)correct += (predicted == labels).sum().item()accuracy = correct / totaltrain_losses.append(total_loss / len(train_loader))train_accuracies.append(accuracy)print(f"Epoch {epoch+1}/{num_epochs}, Loss: {train_losses[-1]:.4f}, Accuracy: {accuracy:.4f}")# 绘制损失曲线和准确率曲线plt.figure(figsize=(10, 5))plt.subplot(1, 2, 1)plt.plot(train_losses, label='Training Loss')plt.title('Training Loss')plt.xlabel('Epoch')plt.ylabel('Loss')plt.legend()plt.subplot(1, 2, 2)plt.plot(train_accuracies, label='Training Accuracy')plt.title('Training Accuracy')plt.xlabel('Epoch')plt.ylabel('Accuracy')plt.legend()plt.tight_layout()plt.show()# 在测试集上评估模型model.eval()correct = 0total = 0with torch.no_grad():for inputs, labels in test_loader:outputs = model(inputs)_, predicted = torch.max(outputs.data, 1)total += labels.size(0)correct += (predicted == labels).sum().item()accuracy = correct / totalprint(f"Accuracy on test set: {accuracy * 100:.2f}%")

위 코드에서는 교차 엔트로피 손실과 Adam 옵티마이저를 사용하여 훈련된 간단한 CNN(컨볼루션 신경망)을 정의합니다.

훈련 과정에서 각 에포크의 손실과 정확도를 기록하고 Matplotlib 라이브러리를 사용하여 손실 곡선과 정확도 곡선을 그렸습니다.

샤오좡입니다, 다음에 만나요!

위 내용은 Pytorch 핵심 사항을 개선하고 옵티마이저를 개선해보세요!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!