时序差分学习是强化学习之父提出的最重要的理论。时序差分学习的提出，推动了强化学习的发展，让停滞数年之久的强化学习焕发了新的生命力，其影响十分深远。
时序差分学习（Temporal-Difference Learning）是强化学习中一种核心的学习方法，它巧妙地结合了动态规划和蒙特卡洛方法的优点。与需要等待整个回合结束才能更新的蒙特卡洛方法不同，时序差分学习能够在每一步行动后立即进行更新，这使其特别适用于连续性的在线学习任务。其核心思想是利用当前估计值与后续估计值之间的差异——即“时序差分误差”——来逐步修正价值函数的预测，从而实现更高效和灵活的学习过程。
从算法机制上看，时序差分学习通过“自举”的方式实现迭代更新，即利用现有的估计值来更新目标值。最具代表性的算法是TD(0)，其更新公式为：
$$V(s) \leftarrow V(s) + \alpha \bigl[ r + \gamma V(s") - V(s) \bigr]$$
其中，
α是学习率
γ是折扣因子
这个简洁的公式体现了时序差分学习的精髓：它既考虑了即时奖励r，又通过下一状态的价值估计V(s")引入了对未来回报的预测，从而在每一步都能基于部分信息进行平滑的渐进式优化。
时序差分学习的优势和应用十分广泛。由于其无需环境模型且能在线更新的特性，它成为了许多现代强化学习算法的基石，例如著名的Q-learning和SARSA。这些算法在机器人控制、游戏AI、自动驾驶等领域取得了显著成功。此外，时序差分学习的框架还可以扩展到多步更新和与神经网络结合，形成了像DQN这样的深度强化学习算法，进一步推动了强化学习在复杂高维问题中的突破性进展。