贝尔曼方程是强化学习中描述最优决策原理的核心数学工具，其本质是刻画了价值函数在时序上的递归关系。在马尔可夫决策过程框架下，一个状态（或“状态-动作”对）的价值，并不单纯取决于即时奖励，更依赖于其后续状态所能带来的长期回报期望。该方程将这种长期价值分解为两个部分：一是当前步骤可获得的即时奖励，二是后续状态的折现价值期望。以状态价值函数V(s)为例，其贝尔曼方程可表达为：V(s) = Σ_a π(a|s) Σ_{s"} P(s"|s,a) [ R(s,a,s") + γV(s") ]，其中π代表策略，P为状态转移概率，R为即时奖励，γ为折现因子。这一分解揭示了强化学习问题的递归结构，即未来的价值会像回声一样“折现”并反馈到当前状态的价值评估中，为后续的策略评估与优化奠定了理论基础。
贝尔曼方程不仅是理论分析的基石，更直接驱动了几乎所有经典强化学习算法的设计。根据是否已知环境模型，其表现形式与对应算法各异。在动态规划中，我们利用已知的完整模型（即P和R），直接求解贝尔曼方程，通过迭代更新直至收敛，这体现在策略评估和策略改进的循环中。而在无模型的蒙特卡洛方法和时序差分学习中，贝尔曼方程则转化为更新的目标：例如，在著名的Q-learning算法中，TD目标“r + γ max_{a"} Q(s", a")”正是贝尔曼最优方程的直接体现，它通过采样数据来逼近方程所描述的理想关系。特别地，贝尔曼最优方程（其形式中将期望和最大化操作互换）直接定义了最优价值函数，并指出最优策略即采取每个状态下能最大化长期回报的行动，这为寻求最优策略提供了清晰的数学准则和算法目标。
尽管贝尔曼方程形式简洁，但其在实际应用中面临维度灾难、采样效率、函数逼近等挑战，这也催生了诸多现代扩展与革新。当状态空间巨大或连续时，我们无法精确计算价值，需引入函数逼近（如神经网络）来拟合价值函数，此时贝尔曼方程转化为最小化时序差分误差的损失函数，成为深度Q网络等深度强化学习算法的核心。同时，其递归特性也引入了自举带来的偏差与方差权衡问题，以及值函数过估计等挑战，催生了双Q学习、优先级采样等技术改进。此外，在部分可观环境、多智能体系统等复杂场景中，贝尔曼方程的基本思想也被相应调整和扩展。可以说，从经典表格方法到现代深度强化学习，对贝尔曼方程的高效求解与逼近始终是算法演进的主线，它如同一个坚固的锚点，确保了即使在复杂高维空间中，智能体的学习目标始终指向长期回报的最大化。