为什么我的 Q-Learning 价值观呈爆炸式增长？

Q-Learning 值超出阈值

在实施 Q-Learning 时，您遇到了 Q 值变得过大的问题，导致溢出。为了解决这个问题，让我们检查一下基本概念和潜在问题：

奖励函数

提供的奖励函数为每个时间步分配正奖励，促进长期比赛重于胜利。这是不可取的，因为应该激励代理去争取胜利。

更新方程

问题的关键在于 Q 值的更新方程：

agent.values[mState] = oldVal + (agent.LearningRate * (agent.prevScore + (agent.DiscountFactor * reward) - oldVal))

这里，agent.prevScore 代表前一个状态动作的奖励。但是，在您的实现中，您将其设置为上一步的 Q 值（即 oldVal）。这个错误会导致 Q 值无限增加。

解决方案

通过将 agent.prevScore 分配给上一步的奖励来纠正此错误后，代理的行为正常化。更新后的 Q 值现在反映了预期的总奖励，激励智能体追求胜利。

Q 值范围

在典型的 Q-Learning 问题中，Q-价值受到最大可能的奖励和惩罚的限制。在您的情况下，奖励函数将 Q 值限制为 [-1, 1]，因为它为失败分配 -1，为获胜分配 1。然而，在其他场景中，范围可能更大甚至无界。预期总奖励是确定 Q 值范围的关键因素。

通过解决这些问题，您已经成功实施了 Q-Learning，现在可以训练一个以更具战略性的方式进行游戏的智能体，优先考虑赢得长时间游戏。

以上是为什么我的 Q-Learning 价值观呈爆炸式增长？的详细内容。更多信息请关注PHP中文网其他相关文章！