无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

时间:2024-01-18 14:22:02

简介:最近在看逻辑回归算法,在算法构建模型的过程中需要对参数进行求解,采用的方法有梯度下降法和无约束项优化算法。之前对无约束项优化算法并不是很了解,于是在学习逻辑回归之前,先对无约束项优化算法中经典的算法学习了一下。下面将无约束项优化算法的细节进行描述。为了尊重别人的劳动成果,本文的出处是:http://blog.csdn.net/itplus/article/details/21896453

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

从这里我们可以看出:要想迭代出Xk+1,就只需要计算Dk+1即可。DFP算法是对Dk+1的一个近似计算的算法。BFGS算法是直接近似计算海森矩阵,用Bk+1表示。

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)

无约束优化算法——牛顿法与拟牛顿法(DFP,BFGS,LBFGS)