1预备知识
1.1 什么叫二次函数
1.2 什么叫二阶收敛
如果在有限步内找到二次函数的最优解,则该算法就称为二阶收敛。
1.3 什么叫共轭方向
2 共轭梯度法
2.1 引入
2.2 特点
举个例子体会:
2.3 Fletcher-Reeves 算法
举个例子体会:
这个例子是想说明:按照前边的理论来说,对于二次函数,最多迭代n次(维数),必然达到最优点,而此例题是因为中间有计算的误差,所以没有达到最优点。解决办法是:执行步骤3。
2.4 Powell 算法
举个例子体会:
这个例子想说明:有计算误差,所以最后的结果不为0。
3 变尺度算法
3.1 引入
3.2 Fletcher-Powell 变尺度算法
举个例子体会: