不动点理论是数学中研究映射在某种变换下保持不变的点的存在性与性质的领域。具体而言，对于一个从集合X到自身的函数或算子T，若存在某个x ∈ X，使得T(x) = x，则称x为算子T的不动点。在强化学习中，这一理论通过贝尔曼方程与价值函数的关系得到深刻体现。我们将价值函数视为一个在高维空间中的点（或向量），而贝尔曼方程则定义了一个“贝尔曼算子”（如期望贝尔曼算子或最优贝尔曼算子）。该算子的核心作用是对当前估计的价值函数进行更新：将状态s的价值重新计算为其即时奖励与后继状态折现价值的期望总和。当我们说一个价值函数V是某个给定策略π的状态价值函数时，它本质上正是该策略对应的贝尔曼算子的不动点——即对该V应用贝尔曼算子后，其值保持不变。这为强化学习中的策略评估提供了坚实的数学基础：评估策略π的过程，就是寻找其对应贝尔曼算子的不动点的过程。
不动点理论为众多强化学习算法的收敛性提供了关键的理论支撑。以经典的动态规划为例，策略迭代算法之所以有效，是因为策略评估步骤（如迭代策略评估）本质上是在应用一个压缩映射的贝尔曼算子。压缩映射定理指出，对于完备度量空间上的压缩映射，存在唯一的不动点，并且通过反复应用该算子（即迭代），可以从任意初始点收敛到该不动点。这严格保证了只要我们反复应用策略π的贝尔曼期望方程进行迭代更新，无论初始价值函数如何，最终都会收敛到该策略的真实价值函数。同样，价值迭代算法直接应用了最优贝尔曼算子，该算子在无穷范数下也是压缩映射，其唯一的不动点正是最优价值函数。因此，价值迭代的收敛性也由压缩映射定理所保证。这些理论结果将看似迭代式的启发式算法，提升为具有严格数学收敛保证的可靠方法。
当强化学习进入大规模、连续状态空间并引入函数逼近时，不动点理论的角色变得更为复杂和关键。在近似强化学习中，我们不再精确地在整个价值函数空间进行迭代，而是试图在一个参数化的函数类（如线性函数或神经网络）中寻找贝尔曼算子的“近似不动点”。这通常通过最小化贝尔曼残差（即当前价值估计与贝尔曼目标之间的差异）来实现。然而，由于函数逼近器的表达能力限制以及自举带来的非线性影响，此时的贝尔曼算子在该参数化子空间上可能不再是压缩映射，甚至可能不存在精确的不动点。这导致了算法的不稳定和发散风险，也是深度Q网络早期训练不稳定的理论根源之一。为了解决这些问题，现代深度强化学习引入了目标网络等技术来稳定不动点的逼近过程，其思想是减缓贝尔曼算子本身的“移动”，使其更接近一个传统的不动点迭代。因此，尽管面对近似带来的挑战，不动点理论仍然是我们理解和设计稳定强化学习算法的重要视角，它指引我们如何在复杂的环境中，系统性地寻求一个稳定、最优的价值估计。