本篇文章主要介紹了PyTorch上搭建簡單神經網路實作迴歸和分類的範例，現在分享給大家，也給大家做個參考。一起來看看吧
本文介紹了PyTorch上搭建簡單神經網路實作迴歸與分類的範例，分享給大家，具體如下：
##一、PyTorch入門
1. 安裝方法
登入PyTorch官網，http://pytorch.org，可以看到以下介面：
按下上圖的選項選擇後即可得到Linux下conda指令：
conda install pytorch torchvision -c soumith
登入後複製
目前PyTorch僅支援MacOS和Linux，暫不支援Windows。安裝PyTorch 會安裝兩個模組，一個是torch，一個torchvision, torch 是主模組，用來搭建神經網路的，torchvision 是輔模組，有資料庫，還有一些已經訓練好的神經網路等著你直接用，如(VGG, AlexNet, ResNet)。
2. Numpy與Torch
torch_data = torch.from_numpy(np_data)可以將numpy(array)格式轉換為torch(tensor)格式；torch_data.numpy( )又可以將torch的tensor格式轉換為numpy的array格式。注意Torch的Tensor和numpy的array會共用他們的儲存空間，修改一個會導致另外的一個也被修改。
對於1維（1-D）的數據，numpy是以行向量的形式列印輸出，而torch是以列向量的形式列印輸出的。
其他例如sin, cos, abs,mean等numpy中的函數在torch中用法相同。要注意的是，numpy中np.matmul(data, data)和data.dot(data)矩陣相乘會得到相同結果；torch中torch.mm(tensor, tensor)是矩陣相乘的方法，得到一個矩陣，tensor.dot(tensor)會把tensor轉換成1維的tensor，然後逐元素相乘後求和，得到與一個實數。
相關程式碼：
import torch
import numpy as np
np_data = np.arange(6).reshape((2, 3))
torch_data = torch.from_numpy(np_data) # 将numpy(array)格式转换为torch(tensor)格式
tensor2array = torch_data.numpy()
print(
'\nnumpy array:\n', np_data,
'\ntorch tensor:', torch_data,
'\ntensor to array:\n', tensor2array,
) # torch数据格式在print的时候前后自动添加换行符
# abs
data = [-1, -2, 2, 2]
tensor = torch.FloatTensor(data)
print(
'\nabs',
'\nnumpy: \n', np.abs(data),
'\ntorch: ', torch.abs(tensor)
) # 1维的数据，numpy是行向量形式显示，torch是列向量形式显示
# sin
print(
'\nsin',
'\nnumpy: \n', np.sin(data),
'\ntorch: ', torch.sin(tensor)
)
# mean
print(
'\nmean',
'\nnumpy: ', np.mean(data),
'\ntorch: ', torch.mean(tensor)
)
# 矩阵相乘
data = [[1,2], [3,4]]
tensor = torch.FloatTensor(data)
print(
'\nmatrix multiplication (matmul)',
'\nnumpy: \n', np.matmul(data, data),
'\ntorch: ', torch.mm(tensor, tensor)
)
data = np.array(data)
print(
'\nmatrix multiplication (dot)',
'\nnumpy: \n', data.dot(data),
'\ntorch: ', tensor.dot(tensor)
)
登入後複製
#3. Variable
PyTorch中的神經網路來自於autograd包，autograd包提供了Tensor所有操作的自動求導方法。
autograd.Variable這是這個套件中最核心的類別。可以將Variable理解為裝有tensor的容器，它包裝了一個Tensor，並且幾乎支援所有的定義在其上的操作。一旦完成運算，便可以呼叫 .backward()來自動計算出所有的梯度。也就是說只有把tensor置於Variable中，才能在神經網路中實現反向傳遞、自動求導等運算。
可以透過屬性 .data 來存取原始的tensor，而關於這一Variable的梯度則可透過 .grad屬性查看。
相關程式碼：
import torch
from torch.autograd import Variable
tensor = torch.FloatTensor([[1,2],[3,4]])
variable = Variable(tensor, requires_grad=True)
# 打印展示Variable类型
print(tensor)
print(variable)
t_out = torch.mean(tensor*tensor) # 每个元素的^ 2
v_out = torch.mean(variable*variable)
print(t_out)
print(v_out)
v_out.backward() # Variable的误差反向传递
# 比较Variable的原型和grad属性、data属性及相应的numpy形式
print('variable:\n', variable)
# v_out = 1/4 * sum(variable*variable) 这是计算图中的 v_out 计算步骤
# 针对于 v_out 的梯度就是, d(v_out)/d(variable) = 1/4*2*variable = variable/2
print('variable.grad:\n', variable.grad) # Variable的梯度
print('variable.data:\n', variable.data) # Variable的数据
print(variable.data.numpy()) #Variable的数据的numpy形式
登入後複製
#部分輸出結果：
variable: Variable containing:
1 2
3 4
[torch.FloatTensor of size 2x2]
variable.grad:
Variable containing:
0.5000 1.0000
1.5000 2.0000
[torch.FloatTensor of size 2x2]
variable.data:
1 2
3 4
[torch.FloatTensor of size 2x2]
#[[ . 2.]
[ 3. 4.]]
4.激勵函數activationfunction
Torch的激勵函數都在torch.nn. functional中，relu,sigmoid, tanh, softplus都是常用的激勵函數。
相關程式碼：
#
import torch
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt
x = torch.linspace(-5, 5, 200)
x_variable = Variable(x) #将x放入Variable
x_np = x_variable.data.numpy()
# 经过4种不同的激励函数得到的numpy形式的数据结果
y_relu = F.relu(x_variable).data.numpy()
y_sigmoid = F.sigmoid(x_variable).data.numpy()
y_tanh = F.tanh(x_variable).data.numpy()
y_softplus = F.softplus(x_variable).data.numpy()
plt.figure(1, figsize=(8, 6))
plt.subplot(221)
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')
plt.subplot(222)
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')
plt.subplot(223)
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')
plt.subplot(224)
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')
plt.show()
登入後複製
##二、PyTorch實作迴歸
先看完整程式碼：
import torch
from torch.autograd import Variable
import torch.nn.functional as F
import matplotlib.pyplot as plt
x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # 将1维的数据转换为2维数据
y = x.pow(2) + 0.2 * torch.rand(x.size())
# 将tensor置入Variable中
x, y = Variable(x), Variable(y)
#plt.scatter(x.data.numpy(), y.data.numpy())
#plt.show()
# 定义一个构建神经网络的类
class Net(torch.nn.Module): # 继承torch.nn.Module类
def __init__(self, n_feature, n_hidden, n_output):
super(Net, self).__init__() # 获得Net类的超类（父类）的构造方法
# 定义神经网络的每层结构形式
# 各个层的信息都是Net类对象的属性
self.hidden = torch.nn.Linear(n_feature, n_hidden) # 隐藏层线性输出
self.predict = torch.nn.Linear(n_hidden, n_output) # 输出层线性输出
# 将各层的神经元搭建成完整的神经网络的前向通路
def forward(self, x):
x = F.relu(self.hidden(x)) # 对隐藏层的输出进行relu激活
x = self.predict(x)
return x
# 定义神经网络
net = Net(1, 10, 1)
print(net) # 打印输出net的结构
# 定义优化器和损失函数
optimizer = torch.optim.SGD(net.parameters(), lr=0.5) # 传入网络参数和学习率
loss_function = torch.nn.MSELoss() # 最小均方误差
# 神经网络训练过程
plt.ion() # 动态学习过程展示
plt.show()
for t in range(300):
prediction = net(x) # 把数据x喂给net，输出预测值
loss = loss_function(prediction, y) # 计算两者的误差，要注意两个参数的顺序
optimizer.zero_grad() # 清空上一步的更新参数值
loss.backward() # 误差反相传播，计算新的更新参数值
optimizer.step() # 将计算得到的更新值赋给net.parameters()
# 可视化训练过程
if (t+1) % 10 == 0:
plt.cla()
plt.scatter(x.data.numpy(), y.data.numpy())
plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
plt.text(0.5, 0, 'L=%.4f' % loss.data[0], fontdict={'size': 20, 'color': 'red'})
plt.pause(0.1)登入後複製
##首先建立一組具有雜訊的二次函數擬合數據，置於Variable中。定義一個建置神經網路的類別Net，繼承torch.nn.Module類別。 Net類別的建構方法中定義輸入神經元、隱藏層神經元、輸出神經元數量的參數，透過super()方法獲得Net父類別的建構方法，以屬性的方式定義Net的各層的結構形式；定義Net的forward()方法將各層的神經元搭建成完整的神經網路前向路徑。
定義好Net類別後，定義神經網路實例，Net類別實例可以直接print列印輸出神經網路的結構資訊。接著定義神經網路的最佳化器和損失函數。定義好這些後就可以進行訓練了。 optimizer.zero_grad()、loss.backward()、optimizer.step()分別是清空上一步驟的更新參數值、進行誤差的反向傳播併計算新的更新參數值、將計算得到的更新值賦給net .parameters()。循環迭代訓練過程。
運行結果：
Net (
(hidden): Linear (1 -> 10) (predict): Linear (10 -> 1)
)
三、PyTorch实现简单分类
完整代码：
import torch
from torch.autograd import Variable
import torch.nn.functional as F
import matplotlib.pyplot as plt
# 生成数据
# 分别生成2组各100个数据点，增加正态噪声，后标记以y0=0 y1=1两类标签，最后cat连接到一起
n_data = torch.ones(100,2)
# torch.normal(means, std=1.0, out=None)
x0 = torch.normal(2*n_data, 1) # 以tensor的形式给出输出tensor各元素的均值，共享标准差
y0 = torch.zeros(100)
x1 = torch.normal(-2*n_data, 1)
y1 = torch.ones(100)
x = torch.cat((x0, x1), 0).type(torch.FloatTensor) # 组装（连接）
y = torch.cat((y0, y1), 0).type(torch.LongTensor)
# 置入Variable中
x, y = Variable(x), Variable(y)
class Net(torch.nn.Module):
def __init__(self, n_feature, n_hidden, n_output):
super(Net, self).__init__()
self.hidden = torch.nn.Linear(n_feature, n_hidden)
self.out = torch.nn.Linear(n_hidden, n_output)
def forward(self, x):
x = F.relu(self.hidden(x))
x = self.out(x)
return x
net = Net(n_feature=2, n_hidden=10, n_output=2)
print(net)
optimizer = torch.optim.SGD(net.parameters(), lr=0.012)
loss_func = torch.nn.CrossEntropyLoss()
plt.ion()
plt.show()
for t in range(100):
out = net(x)
loss = loss_func(out, y) # loss是定义为神经网络的输出与样本标签y的差别，故取softmax前的值
optimizer.zero_grad()
loss.backward()
optimizer.step()
if t % 2 == 0:
plt.cla()
# 过了一道 softmax 的激励函数后的最大概率才是预测值
# torch.max既返回某个维度上的最大值，同时返回该最大值的索引值
prediction = torch.max(F.softmax(out), 1)[1] # 在第1维度取最大值并返回索引值
pred_y = prediction.data.numpy().squeeze()
target_y = y.data.numpy()
plt.scatter(x.data.numpy()[:, 0], x.data.numpy()[:, 1], c=pred_y, s=100, lw=0, cmap='RdYlGn')
accuracy = sum(pred_y == target_y)/200 # 预测中有多少和真实值一样
plt.text(1.5, -4, 'Accu=%.2f' % accuracy, fontdict={'size': 20, 'color': 'red'})
plt.pause(0.1)
plt.ioff()
plt.show()登入後複製
神经网络结构部分的Net类与前文的回归部分的结构相同。
需要注意的是，在循环迭代训练部分，out定义为神经网络的输出结果，计算误差loss时不是使用one-hot形式的，loss是定义在out与y上的torch.nn.CrossEntropyLoss()，而预测值prediction定义为out经过Softmax后（将结果转化为概率值）的结果。
运行结果：
Net (
(hidden): Linear (2 -> 10)
(out):Linear (10 -> 2)
)
四、补充知识
1. super()函数
在定义Net类的构造方法的时候，使用了super(Net,self).__init__()语句，当前的类和对象作为super函数的参数使用，这条语句的功能是使Net类的构造方法获得其超类（父类）的构造方法，不影响对Net类单独定义构造方法，且不必关注Net类的父类到底是什么，若需要修改Net类的父类时只需修改class语句中的内容即可。
2. torch.normal()
torch.normal()可分为三种情况：（1）torch.normal(means,std, out=None)中means和std都是Tensor，两者的形状可以不必相同，但Tensor内的元素数量必须相同，一一对应的元素作为输出的各元素的均值和标准差；（2）torch.normal(mean=0.0, std, out=None)中mean是一个可定义的float，各个元素共享该均值；（3）torch.normal(means,std=1.0, out=None)中std是一个可定义的float，各个元素共享该标准差。
3. torch.cat(seq, dim=0)
torch.cat可以将若干个Tensor组装连接起来，dim指定在哪个维度上进行组装。
4. torch.max()
（1）torch.max(input)→ float
input是tensor，返回input中的最大值float。
（2）torch.max(input,dim, keepdim=True, max=None, max_indices=None) -> (Tensor, LongTensor)
同时返回指定维度=dim上的最大值和该最大值在该维度上的索引值。
相关推荐：
PyTorch快速搭建神经网络及其保存提取方法详解
PyTorch上实现卷积神经网络CNN的方法
以上是PyTorch上搭建簡單神經網路實作迴歸與分類的範例的詳細內容。更多資訊請關注PHP中文網其他相關文章！
