7.27 暑假开始后，稍有时间，“搞完”金融项目，便开始跑跑 Deep Learning的程序
Hinton 在Nature上文章的代码 跑了3天 也没跑完 后来Debug 把batch 从200改到20 勉强跑出结果
后来开始看 文章等 感觉晕晕乎乎
又翻到：Deep Learning Tutorials 装Theano等，但是python 代码 Debug真是好生恶心
再后来翻到 UFLDL，看着有Exercise 便做了起来。
用了5天刷了9个Exercises。
大概年后吧，在微博上看到 @邓侃 组织翻译 Andrew Ng 执笔的 Deep Learning 系列(UFLDL)
当时 就泼了冷水 那个时候在读 Machine Learning的书 清一色英文 觉得英文不是问题 为什么要翻译呢？
我觉得读书 应该读经典 读好书；国内很多书的内容质量大家都懂的。
学习一个新方向(比如ML/CV/IP等)我的方法是：先找一本中文书(可以是翻译的)熟悉知识的框架/关键字；然后找些经典书籍（多数是英文，偶尔会有不错的中文书）来读，再深入就要 Code 读Paper等；Code也可以在读书的时候进行，我在读PRML的时候，看完一章节，就合上书自己推导/Code，收获很多。
现在来看邓前辈组织的翻译，特别符合我入门DL的需求，而且Ng的Exercise做得很用心，难度不大。
为一开始的不敬，愧疚。向翻译团队致敬！
============================================
1.Sparse Autoencoder
关于Sparse/Low-rank model，看过20多篇计算机视觉的文章，还Code过几个算法。
在Neural Networks中，通过约束隐含层的平均激活度 来实现稀疏
Exercise Result:
展示的是 第一层系数W每一行 reshape成 patch 大小的图像。联想到了EignFaces...
-----------------------------------------------------------------------------------------
2.Vectorization
向量化编程；matlab中for循环很慢，如果在cost函数中包含for循环，那么优化将变得很慢。
一开始我不以为意，没去做这事；在后面的一个Exercise中，程序跑得很慢，便优化了Sparse Autoencoder的代码，去掉了所有for循环，速度提高了8倍左右。
-----------------------------------------------------------------------------------------
3.PCA and Whitening
Whitening部分对我来说虽然较新，却不难；做降维的时候，PCA就是一个主要方法；PCA重建这事自己也探索过；
白化在PRML上看到过，没太留意。图形的预处理还是很重要的。
-----------------------------------------------------------------------------------------
4.Softmax Regression
Logistic Regression 多分类的直接推广。关于这个还有个小故事，曾经以对LR的理解，看出了豆瓣某工程师对SR推导的错误。
MNIST：
这个准确率 跟前段时间 玩Kaggle时用 one-vs-all logistic regression差不多(91.x%)
-----------------------------------------------------------------------------------------
5.Self-Taught Learning
使用5-9的MNIST数据 train 一个 Autoencoder 得到参数W1 b1
reshape W1:
使用W1 b1 来 Extract 0-4的Features
接着使用softmax regression训练一个分类器（偷了个懒 Autoencoder只迭代了200次）
-----------------------------------------------------------------------------------------
6.Implement Deep Learning Networks for Digital Classification
真正意义上构建的的第一个深层网络：前两层用Sparse Autoencoder训练feature I II，最后使用softmax regression对feature II进行分类。
迭代的次数 需要自己设定 所以多少有些出入
-----------------------------------------------------------------------------------------
7.Linear Decoders with Autoencoders
由于sigmoid/tanh函数的取值范围限制，输入数据x也只能在相同范围内
在输出端 使用线性激励函数 就可以克服此问题.
-----------------------------------------------------------------------------------------
8.Convolution and pooling
-----------------------------------------------------------------------------------------
9.Sparse Coding
稀疏模型 不多说了 搞过；咔咔，解析解需要用到矩阵求导 利用trace(AA')求导即可 加入收敛条件
从其提供的代码来看，cost function的第一项重建差 需要除以patch数目，其实这种除可以相应scale lambda gamma达到一样的效果，cosnt*f(x)与f(x)最优解是一致的。
================================================
再次感谢 翻译团队 对母语的理解 还是要比英文顺畅得多
在此之前 只code过一次 Neuron Network，
——做Exercise6的时候，胸口疼了一会，真正在做多层网络啦！
接下来 读一些 readlist 上的文章，丰富Neuron Networks的知识。
Autoencoder知识UF的一种...