1. 第一章 概论
1.1. 评价函数
- 对于无约束,越是迭代,评价函数下降即可
- 有约束,就得加上限制:是可行点
1.2. 收敛
若不可能有限步找到最优解,就要顾及到收敛速度
ek=xk−x∗k→∞lim∣∣ek∣∣∣∣ek+1∣∣=C
这叫以C为因子r阶收敛于x∗。
- 线性收敛:∣∣ek+1∣∣≤C∣∣ek∣∣
- 超线性收敛:比前者快,多数如此。
k→∞lim∣∣ek∣∣n∣∣ek+1∣∣=Ck→∞lim∣∣ek∣∣∣∣ek+1∣∣=C×k→∞lim∣∣ek∣∣n−1
- local minimun ⟹∇f(x)=0,∇2f(x)≥0
- ∇f(x)=∇2f(x)⟹ local minimum ,eg. y=x3
1.3. 迭代下降优化算法
寻找一个搜索方向dk使得每次迭代时函数值减小。
首先选取初始点x0,
loop until xk+1满足终止条件:
下面从典型的无优化约束算法开始: