在机器学习（监督学习）中，充斥着大量的拟合思想，而在强化学习中的主流思想是迭代求值的思想，希望大家及时调整思路，加深对迭代法的认识。
低于四次方程的代数方程是有求根公式的，但是五次乃至更高次方程的求根公式是不存在的。
为了寻找五次乃至更高次方程的求根公式，在近三百年的时间里，无数天才的努力均告失败。直到19世纪初，挪威数学家阿贝尔以严密的论证证明了五次及以上的一般代数方程不存在根式解，即其根无法仅用方程系数的有限次加、减、乘、除及开方运算表示。随后，法国天才伽罗瓦以其创立的群论，深刻揭示了方程可根式解的代数结构本质，为这一历史难题画上了彻底的理论句号。求根公式探索的终结，也预示着数学研究新范式的开启。
当精确的代数求根公式之路走到尽头，数学家们便将目光转向了数值逼近方法，其中迭代法成为了求解方程根的主要武器。迭代法的核心思想是构造一个收敛的迭代公式，从一个初始猜测值出发，反复套用该公式，产生一个逐步逼近真实根的数值序列。这种方法并不追求解的封闭表达式，而是满足于达到所需精度的数值近似解，其生命力在计算机时代得到了前所未有的迸发。
迭代法的历史悠久，其历史可追溯至牛顿等人在17世纪提出的方法（如牛顿迭代法），但直到计算机时代才展现出巨大潜力。现代迭代法已形成丰富体系：从单变量方程的二分法、不动点迭代，到非线性方程组的牛顿类方法、拟牛顿法，再到求解特征值问题的幂法、QR算法等。这些方法通过迭代格式设计、收敛性加速与稳定性优化，成为解决科学与工程中复杂数值计算问题的核心工具，体现了计算数学从解析理论向数值实践的重要转向。