最优化理论中，评价一个算法的收敛速度有两个衡量尺度，Q-收敛与 R-收敛，我们一般用到的是 Q-收敛，它包括：线性收敛，超线性收敛，r 阶收敛。
设相邻两个迭代点：x_(k+1), x_{k}， 最优值点 x*，若存在实数 q>0，满足：
\begin{equation}\lim\limits_{k\rightarrow\infty}\frac{\|x_{k+1}-x^{*}\|}{\|x_{k}-x^{*}\|}=q\end{equation}
1. 若 0<q<1，则表示算法线性收敛
2. 若 q=0，则表示算法超线性收敛, 并且在超线性收敛时：由于
\begin{align}\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{k}\|}{\|x^{k}-x_{\ast}\|}=\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x^{\ast}+x^{\ast}-x^{k}\|}{\|x_{k}-x_{\ast}\|}&\leq \lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{\ast}\|+\|x_{\ast}-x^{k}\|}{\|x_{k}-x_{\ast}\|}\\
&=\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{\ast} \|}{\|x_{k}-x^{\ast}\|}+1\leq 1\end{align}
并且
\begin{align}\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{k}\|}{\|x^{k}-x_{\ast}\|}=\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x^{\ast}+x^{\ast}-x^{k}\|}{\|x_{k}-x_{\ast}\|}\geq& \lim_{k\rightarrow\infty}\left|\frac{\|x_{k+1}-x_{\ast}\|-\|x_{\ast}-x^{k}\|}{\|x_{k}-x_{\ast}\|}\right|\\\geq &\left|0-1\right|=1\end{align}
注：利用到了二范数的性质
\begin{equation}\|a\pm b\|\geq\Big|\|a\|-\|b\|\Big|\end{equation}
因此：
\begin{equation}\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{k}\|}{\|x^{k}-x_{\ast}\|}=1\end{equation}
3. 若
\begin{equation}\lim\limits_{k\rightarrow\infty}\frac{\|x_{k+1}-x^{*}\|}{\|x_{k}-x^{*}\|^{r}}=q\end{equation}
并且 r>=1, q>=0， 则称算法 r 阶收敛。
若 r>1, r 阶收敛必为超线性收敛。（证明略去）