牛顿法|阻尼牛顿法|拟牛顿法|DFP算法|BFGS算法|L-BFGS算法

时间:2021-08-19 05:29:19

一直记不住这些算法的推导,所以打算详细点写到博客中以后不记得就翻阅自己的笔记。


泰勒展开式


最初的泰勒展开式,若 牛顿法|阻尼牛顿法|拟牛顿法|DFP算法|BFGS算法|L-BFGS算法 在包含 牛顿法|阻尼牛顿法|拟牛顿法|DFP算法|BFGS算法|L-BFGS算法 的某开区间(a,b)内具有直到n+1阶的导数,则当x∈(a,b)时,有:

牛顿法|阻尼牛顿法|拟牛顿法|DFP算法|BFGS算法|L-BFGS算法

牛顿法|阻尼牛顿法|拟牛顿法|DFP算法|BFGS算法|L-BFGS算法可得到如下式子:

牛顿法|阻尼牛顿法|拟牛顿法|DFP算法|BFGS算法|L-BFGS算法

泰勒展开式,我的理解就有两个式子。上述的是当x是标量时的展开式,当x是多元时可以根据以下公式进行推导:

牛顿法|阻尼牛顿法|拟牛顿法|DFP算法|BFGS算法|L-BFGS算法

舍去二阶项以上的项可以得到:

牛顿法|阻尼牛顿法|拟牛顿法|DFP算法|BFGS算法|L-BFGS算法

参考文献:

1. http://baike.baidu.com/link?url=E-D1MzRCjDi8qrlh2Cn64fwtz703bg-h_z2_mOXorti2_3aBKrOUY4-2gHuESowiK8aQSBFE8y0yJeGl4_yOAq

2. http://wenku.baidu.com/link?url=_9LBpJL0trtgpfUZUMzJL0toMfFxwot1J2JNsndNhcdumWhKwomLSP-vEXJ94TTrcBR2yYir8N7tr2sOK8Lqv0oP9TpETdMofKPwd6u-4Ue


牛顿法


太晚,明天有空继续,贴个参考文献:http://blog.csdn.net/itplus/article/details/21896453