数值优化算法【1】-- 常用优化算法
数值优化算法【1】– 常用优化算法一、解析解与数值解的概念很多机器学习和深度学习方法，都是在样本的支持下，利用导数或偏微分寻求方程的解，而传统数学方法中，会用到解析和数值两种解法。 （1）解析解法： 就是从小到大教科书里讲的，利用严格公式推导获得解的解析表达式，输入自变量的值就可以求出因变量。 如果一个方程或者方程组存在的某些解，是由有限次常见运算（如：分式、三角函数、指数、对数甚至无限级数等）的组合给出的形式，则称该方程存在解析解。 例如：对于线性回归模型，采用最小二乘法可以直接得出解析解，$x=(A^TA)^{-1}A^Tb，\quad...