前言
工程优化是通院的院选修课，与离散数学并列。因为是选修课，所以也不会计算均分，重要性也就没那么大。选课之前咨询了学长，墙裂建议我不要报离散数学，而是报工程优化，说工程优化的老师是个可爱的大姐姐。emmmm，不过由于这学期是线上上课，也看不着老师，就把这门课水过去了，基本上腾讯课堂放在那，然后干自己的事情。
废话不多说了，赶紧复习，积极填坑吧！
第二章（基本概念和理论基础）
期末好像是六道大题，应该是每一题对应一道优化算法吧。
二元函数极值
定理1(必要条件)：设f(x,y) 的定义域为D， (x0,y0) 为D内的一个点，若f(x,y)在(x0,y0)处可微且取得极值，则
注：驻点不一定是极值点
高数里学到的，二元函数极值判定
是极值点，梯度必为0
最优性条件
解析法要用到目标函数的梯度或者Hessian矩阵，容易想到利用一阶必要条件将无约束优化问题转化成一个梯度为0确定的方程组。
注：一般是用一阶条件求得驻点，再用二阶条件判断其是否为极小点
等高线
二元函数最优化问题，具有明显的几何特征，从几何图形上，可以直观了解函数的变化，我们把这种几何解释推广到n维空间中，对后面优化方法的研究是有益处的。
f减小，等值线缩小，到一个点时，即为极小值点
二次函数
二次型
判断方法：
1.三个顺序主子式均>0
2.
MATLAB求解：λ=eig（Q）
凸函数
注：一元凸函数两点间连线总在凸函数上面
多元函数推广
同时还可以依据线性性质：凸函数线性相加仍然是凸函数
凸规划
1.凸集有非空的相对内部；
2.凸集是连通的并且在任意点具有可行方向；
3.凸函数的局部极小点都是全局极小点；
4.可微凸函数的任一驻点都是全局极小点。
第三章（常用一维搜索算法）
搜索算法概述
常用的思想为迭代法
算法中比较重要的是终止条件
一般迭代框架
线搜索迭代法
具体步骤
注：搜索方向选取尤为重要
精确一维搜索算法
成功-失败法
单峰函数消去性质
由单峰函数的性质可知，函数值在极小点左边严格下降，在右边严格上升。
从某个初始点出发，沿函数值下降的方向前进，直至发现函数值上升为止。
由两边高，中间低的三点，可确定极小点所在的初始区间。
算法
缺点：效率低；
优点：可以求搜索区间；
注意：h 选择要适当，初始步长不能选得太小。
0.618法（黄金分割法）：区间消去法
反复使用单峰函数的消去性质，不断缩小包含极小点的搜索区间，直到满足精度为止。
t=0.618
算法迭代公式
步骤
收敛条件：消去后的区间长度小于一定数值
优点：不要求函数可微，且每次迭代只需计算一个函数值，计算量小，程序简单
缺点：收敛速度慢。
二分法
优点：计算量较少，而且总能收敛到一个局部极小点。
缺点：收敛速度较慢