强化学习涉及到的内容很多,要想快速入门,我认为一定要把核心知识点吃透,为此,我特意总结了下面15个知识点,大家可以对照这个知识列表,从而查缺补漏。
当下是个知识大爆炸的时代,15个知识点看起来很少,其实不然,它们的内涵十分丰富。常言道,慢就是快,越是慢的方法往往才是最高效的方法。我希望大家在学习这些核心知识的时候,一定要放慢速度。
1、要明白什么是马尔科夫决策过程。
2、要明白奖励与回报的区别,能够计算出一条轨迹中某个时刻的奖励和回报是多少。
3、明白价值函数的含义。价值函数指的是某个状态在多条轨迹中的回报的平均值。
4、明白状态-动作函数(Q函数)的含义。
5、要明白优势函数的含义。
6、要明白什么是贝尔曼方程方程,以及它的作用是什么。要深刻理解,贝尔曼方程方程是通过迭代的方式对价值函数和Q函数进行估计的方法。
7、要明白蒙特卡罗方法以及利用蒙特卡罗方法进行估值。
8、要明白价值迭代和策略迭代的过程。
9、要明白时序差分法。
10、要明白Q-learning算法。
11、要明白DQN算法的架构。
12、要明白DDQN算法的模型。DDQN是经典深度Q网络(DQN)算法的一个重要改进版本。DDQN的核心思想是将“动作选择”和“动作评估”这两个步骤分开,使用两个不同的神经网络来执行,从而有效解决DQN中普遍存在的Q值过估计问题。
13、要明白策略梯度的计算公式
14、要明白reinforce算法
15、要明白A-C算法的架构
对于强化学习这种难度比较大的科目,往往是量变引发质变,所以我的学习建议是:每天抽出30分钟的时间,坚持2个月的时间,要彻底吃透上文核心知识点。