机器学习中的样本池计算综述

储备池计算(Reservoir computing，RC)是一种使用递归神经网络的计算框架，与传统的神经网络不同的是，它只更新部分参数，而随机选择并固定其他参数。

储备池是一个固定非线性系统，通过其动力学将输入信号映射到更高维的计算空间。储层可以看作是一个黑匣子，将输入信号反馈到储层后，通过训练一个简单的读出机制来读取储层的状态，并将其映射到所需的输出。

由于储层动力学是固定的，训练仅在读出阶段进行。

传统储备池计算需要满足两个条件：由独立的非线性单元组成，并能存储信息。

储备池计算本质上是一种用于使机器学习算法运行得更快的方法。

术语中的“Reservoir”指的是动力系统。动力系统由一个数学函数表示，该函数解释了空间中的点随时间变化的方式。知道这些就可以预测该点在空间中的位置。

储备池由几个随机连接的循环连接单元组成，储备池计算利用循环神经网络，而不是更新网络的所有参数，它只更新少数参数，并在随机选择后保持其他参数不变。

储备池计算的框架类似于递归神经网络的框架，回声状态网络、液态状态机和其他递归神经网络模型构成储备池计算的基础框架，正是这种设计，让储备池计算在处理时间或顺序数据的任务上相当有效。

储备池计算的目的

储备池计算是将非线性输入顺序地转换到高维空间，以便可以通过简单的学习算法以有效的方式读出输入的特征。除了使用递归神经网络之外，还可以使用其他动力系统作为储备池。储备池计算目标是构建能够以更低的学习成本以更快的速度处理信息和数据的系统。在机器学习的情况下，这一点尤为重要，因为在训练大型数据集时功耗通常会很高。

储备池计算类型

• 上下文混响网络
• 回声状态网络
• 液态机
• 非线性瞬态计算
• 深度储备池计算

1.上下文混响网络

在上下文混响网络中，输入层将信号输入到高维动力系统中，这个高维动力系统中的信息由一个可训练的单层感知器读出。它有两种类型的动力学系统:其中一种是将随机权重固定的递归神经网络，另一种动力学系统是受图灵形态发生模型启发的连续反应扩散系统。

2.回声状态网络

回声状态网络有一个稀疏连接的隐藏层。隐藏层的连通性通常小于10%。试图用输入信号驱动更大的随机权重固定的递归神经网络，从而在储存器中的每个神经元中诱导非线性响应信号，然后使用所有响应信号的可训练线性组合将其连接到所需的输出信号。

3.液态机

液态机(LSM)采用脉冲神经网络。LSM由大量节点或神经元组成。每个神经元都从其他神经元和外部来源获得时变输入。由于连接的重复性，时变输入变成了网络节点中激活的时空模式。然后由线性判别单元读出这些激活的时空模式。

4.非线性瞬态计算

当时变输入信号离开机制的内部动力学时，这些偏离引起瞬态或暂时的变化，这些变化在设备的输出中得到了体现。

5.深度储备池计算

随着深度储备池计算模型的出现，储备池计算框架开始向深度学习扩展，以便以分层方式处理时间数据，并且还允许研究分层组合在RNN中的作用。

以上是机器学习中的样本池计算综述的详细内容。更多信息请关注PHP中文网其他相关文章！