1、 对稀疏表示的理解
稀疏信号定义为：若信号仅有限非零采样点，而其他采样点均为零（或接近于零），则称信号是稀疏的。
但是自然图像信号中，可以稀疏表示的情况是极少的，因为尽管有的地方值很小，但是并不为零，因此另一种概念“可压缩的”就被提出来，其定义是：如果在不丢失全部（大部分）信息的前提下，信号经过任何变换后是稀疏的，也就是说信号再某个变换域是稀疏的，那么可以称之为可压缩信号，自然图像信号多数是可压缩信号。
利用可压缩信号的概念，那么大多数自然信号可以由有限个特征线性表达：
这里，
是用来表达信号的特征原子，
是稀疏编码。
如上图所示，D是训练好的过完备字典，通过稀疏编码，可以得到稀疏向量x，在重建过程中，利用字典D和稀疏向量x相乘，就可以用对应的第3,7,14个原子来线性表示原图像，稀疏向量x中不为0的个数是有限的，因此其表示是稀疏的。
稀疏表示在实现中的细节问题：
a. 在稀疏表示的过程中，图像首先被向量化，然后再用有限个原子向量稀疏表示，最后再把重构的图像reshape为二维图像
b. 字典的原子个数是自定义的，但是为了构造过完备的字典，要求字典是一个矮矩阵，即行数小于列数，字典的行数，即每个原子的维数是图像patch的行数乘以列数，即patch的像素数。
c. 对于全局的稀疏表示来说，字典在训练的时候，使用时训练样本是从观测图像中分割出来的一个一个的patch，所有的patch训练一个字典，用于训练字典的patch也是经过向量化以后，作为列向量，构成训练样本的矩阵
d. 为什么要分块？
我觉得是因为字典的原子是向量化的，其维数是图像块的行列积，而一幅图像的行列积是很大的，因此原子用分块的patch来表示，可以大大降低字典原子的维数，此外，用重叠的patch，有利于训练集的丰满，这样训练出来的字典才更加的准确。
稀疏表示能够去噪的原因：可以认为含噪（观测）图像是由无噪（原始）图像和噪声合成的图像，而观测图像被认为是可稀疏的，即可以通过有限个原子来表示，而噪声是随机的不可稀疏的，即不可以通过有限个原子表示，因此通过观测图像去提取图像的系数成分，再用这些稀疏成分来重构图像，在这个过程中，噪声被处理为观测图像和重构图像之间的残差，在重构过程中残差被丢弃，从而达到去噪的效果。
稀疏表示又称为稀疏编码，这个过程可以被视为特征提取的过程，可以看作把目标信号投影到一组非正交的基构成的空间中，而在每个基上投影的系数，就是稀疏编码。这组非正交的基向量中，每一个基向量被称为一个原子，这些原子（列向量）可以构成一个超完备的字典。
那么，为什么要使用过完备的字典，或者说要在非正交的空间进行投影呢？
对于一组正交基而言，它们可以准确而唯一地表示空间中的任何向量，而且这些向量间没有冗余（因为正交），正式因为严格的正交限制，因此正交基的展开简单，但是稀疏性不够理想，因为严格正交的基往往只能表示图像的某一个特征而不能够同时表示其他特征，因此正交基的稀疏性不及非正交基（过完备字典）。
2、 稀疏表示模型
稀疏表示的模型有3种，分别是：
1) 利用拉格朗日乘子将两个约束条件合为一个不等式：
2) 固定稀疏系数的个数，优化最小误差：
3) 固定最小误差，优化稀疏系数个数：
3、 常见的稀疏表示方法
稀疏表示可以分为两个步骤：稀疏编码和字典学习
1) 稀疏编码：在进行稀疏编码的时候，字典D是固定的
在进行优化的时候，0范数的优化是一个NP难题，稀疏编码主要分为了3中主流的算法：
a. 针对0范数的贪婪算法：MP（匹配追踪）算法，OMP（正交匹配追踪）算法，梯度追踪算法，此外还有ROMP（正则化正交匹配追踪）算法，Stage-wise OMP算法等。
这些贪婪算法通过每次迭代时选择一个局部最优解来逐步逼近原始信号，MP算法运算量相对于BP算法计算量减少，但是容易陷入局部最优解，而后来提出的OMP算法在MP 的基础上，将选中的原子经Gram-Schmidt正交化处理后，然后再将原始信号在正交化的原子构成的子空间中投影，OMP可以得到全局最优解并且收敛速度比MP更快。
b. 凸松弛法：BP（基追踪）算法，GPSR（梯度投影稀疏重构）
这些凸松弛算法是针对范数最小提出的线性规划最优算法，这种算法需要的观测信号数量最少，但是计算量大
c. 组合算法：就是将粒子群算法等结合到贪婪算法或者凸松弛算法中
这种算法组合要求信号的采样支持通过分组测试快速重建，它的复杂度低，但是收敛性还没有得到证明
2) 字典学习：传统的小波变换，曲波变换，DCT变换等，都是使用的固定的正交字典，这种字典和图像本身的统计特性没有关联，因此其表示的稀疏性往往得不到保证，而学习的字典是提取的数据特征是依赖于原始数据的统计特征的，因此在表示的时候，其稀疏性远远优于固定字典
常见的字典学习的方法有MOD（最优方向）算法，K-SVD算法，Online算法，最大后验概率算法等。