梯度下降法（Gradient Descent）是一种用于优化目标函数的迭代算法，通过计算目标函数的梯度并沿负梯度方向更新参数，以最小化目标函数。
梯度下降法的基本步骤：
初始化参数：选择初始参数值。
计算梯度：计算目标函数在当前参数处的梯度。
更新参数：沿负梯度方向调整参数。
迭代：重复步骤2和3，直到满足停止条件（如梯度接近零或达到最大迭代次数）。
梯度下降法的公式：
$$\theta_{t+1} = \theta_{t} - \eta \nabla J(\theta_{t})$$
其中：
如下图所示：
在A点的时候，我们观察它的斜率，设A点的坐标为$(x_1,y_1)$，其相邻任意一点的坐标为$(x_2,y_2)$，则：
$$ K_A = \frac{ y_1 - y_2 }{ x_1 - x_2} < 0 $$
根据上文的梯度下降公式，$\theta_{t+1}$逐渐变大，从而达到目标函数$J$的最低点。
而在B点的时候，我们观察它的斜率：
$$ K_B = \frac{ y_1 - y_2 }{ x_1 - x_2} > 0 $$
根据上文的梯度下降公式，$\theta_{t+1}$逐渐变小，从而达到目标函数$J$的最低点。