在强化学习中，奖励，回报，状态价值，动作价值（Q值）是四大金刚，必须深刻的掌握。
奖励是环境在特定时刻向智能体提供的标量反馈信号，它是所有后续概念赖以建立的原子基石。
对于给定的状态、动作和下一个状态，环境会依据其内在规则（或设计者的代码）产生一个确定的数值（奖励值），如游戏中的得分、机器人的能耗惩罚。
奖励分为稀疏奖励和稠密奖励，这是强化学习世界的研究课题，大家暂时可以不用考虑。
回报是智能体从当前时刻起，对未来所有奖励的累积和，通常引入折扣因子γ（0 ≤ γ ≤ 1）来权衡近期与远期奖励。如果说奖励是瞬间的“味道”（甜或苦），那么回报就是整段“旅程”的总效用。
强化学习的本质就是最大化期望回报。折扣因子γ赋予了回报以深刻的时间哲学：γ接近1代表“目光长远”，智能体近乎平等地考虑未来所有奖励；γ接近0则代表“急功近利”，只关注眼前利益。这直接影响了智能体的策略，是耐心等待还是即时满足。
注意：回报具有的随机性，由于环境动态和策略本身等因素引发随机性，所以后续人们引出了其期望值的概念，从而自然过渡到价值函数。
状态价值超越了单一回合的具体回报，是对状态长期潜能的概率性平均估计。
通过贝尔曼方程，状态价值揭示了价值的递归结构——一个状态的价值依赖于其后续可能状态的价值。这使得智能体能够通过局部更新（基于后续状态的价值）来迭代求解全局最优，是动态规划和时序差分学习的核心。
状态价值函数 Vπ(s) 代表在策略π下，从状态s出发所能获得的期望回报。而动作价值函数 Qπ(s, a) 代表在策略π下，在状态s执行动作a后所能获得的期望回报。它比状态价值更“精细”，将评估粒度从状态深入到“状态-动作对”。
知道了Q值，最优动作（在给定状态下）就是那个使Q值最大的动作。Q-learning算法将这种思想发挥到极致，其更新的目标是基于最优贝尔曼方程，直接估计最优动作价值函数 Q(s, a)。
在深度强化学习中，Q值通常由神经网络（DQN）逼近，其输出维度对应所有可选动作，网络本身就是一个“决策机器”。
优势函数 Aπ(s, a) 定义为动作价值 Qπ(s, a) 与状态价值 Vπ(s) 之差：Aπ(s, a) = Qπ(s, a) - Vπ(s)。这一看似简单的减法，蕴含着深刻的内涵。它的核心意义在于剥离状态本身的固有价值，纯粹衡量特定动作的相对优势。如果说Q值回答“在状态s做动作a有多好”，V值回答“在状态s本身有多好”，那么优势函数则精准地回答了“在状态s，做动作a比不做（或者说，比遵循当前策略的平均水平）好多少或差多少”。它就像一个精密的指南针，并不告诉你所在位置的海拔（V值），而是直接指出每个方向（动作）是上坡还是下坡，以及坡度有多陡。这使得最优动作的识别变得无比清晰：任何具有正优势的动作都是对当前策略的改进方向，而最大正优势的动作即为局部最优选择。当所有动作的优势值为零时，意味着策略已达到局部最优。因此，优势函数是实现策略梯度方法（如A2C/A3C）的理论基石，它能够直接将“动作的相对好坏”转化为策略参数更新的方向和幅度。
在策略梯度定理中，策略梯度可以被表达为优势函数的期望。使用优势函数代替原始的回报或Q值，是深度强化学习得以稳定的关键技术创新。其深刻性在于对方差的显著降低。原始的回报G_t或Q值估计中，包含了大量源自状态本身“运气”（如初始位置优越、环境随机性等）的波动，这些波动与动作选择的好坏无关。通过减去状态价值V(s)这一基线，优势函数有效地滤除了状态固有价值带来的共同噪声，如同在测量两个物体的重量差时，先减去秤本身的皮重。这使得对策略梯度的估计变得信号更强、噪声更低、方差更小，从而允许使用更大的学习步长，加速收敛并提升稳定性。在诸如A2C、TRPO、PPO等现代算法中，优势函数通常通过广义优势估计（GAE）进行高效计算，该技术巧妙地平衡了估计的偏差与方差，将多步的时序差分信息进行指数加权融合，从而得到一个更加平滑、信息量更大的优势信号，成为驱动策略更新的核心燃料。