1. 相比于传统的人工提取特征（边、角等），深度学习是一种Data-Driven Approach。深度学习有统一的框架，喂不同的数据集，可以训练识别不同的物体。而人工提取特征的方式很脆弱，换一个物体就要重新设计特征。
2. 描述图像之间相似程度，可以直接把每个对应像素做减法，然后把差的绝对值累加起来。这个差值的和越小，图片越接近。这是曼哈顿距离L1。
对应像素点的差值的平方累加再开平方，这是欧几里得距离L2。
L1和L2谁更好，这取决于具体问题。但一般来说，如果做差的向量有很具体的含义，比如对于员工分类，向量的每一个元素可能是“工作年限”、“工资”等，这种用L1会更好一点，因为L1更依赖坐标系。
3. K近领域算法是计算当前图片和所有候选图片的相似程度（或者说距离），最近的K个候选中，最多的那个标签就被作为当前图片的标签。K越大，对噪音越鲁棒（当然，也不是越大越好，会有最佳值）。
这种算法的缺点是：1）预测的复杂度太高，需要和每一个训练数据去比较。2）不鲁邦，测试数据和训练数据必须很像，如果有遮挡、旋转之类的，会误认为差别很大。3）维度问题，数据集必须在整个空间很稠密的分布，需要指数级增加的数据集，维度高的时候就很不现实。
4. Hyperparameter：预先设定的参数，而不是算法学习得到的。比如K近领域算法中的K。这种参数是很依赖具体问题的。如何设置Hyperparameter呢？
方案一：在训练集上表现最好的。这个方案是不行的，因为我们在乎的不是在训练集上表现怎么样，而是在乎在没见过的测试集上表现好。或者说方案一并不能保证很好的泛化能力。
方案二：把数据集分为训练集和测试集，选在测试集上最好的。这个方案的问题和方案一一样，依旧不能保证很好的泛化能力。
方案三：把数据集分为训练集、验证集、测试集，根据验证集上的表现来选择hyperparameter，然后再在测试集上评估。这种方案很好。对于很多hyperparameter的情况，验证集最好也设定的更大一点。
方案四：把数据集分为n组，交叉验证。随机挑选n-2组用来训练，1组用来验证，1组用来测试。这种方法比较适合小数据集，在深度学习中，由于训练的代价太大，所以用的也不算多这种方案。
5. 深度学习的框架像是拼乐高积木，而线性回归是最基本最好用的最广泛使用的积木。
6. 深度学习的训练过程就是训练出一组参数W，在预测x的时候计算y=f(x,W)，W的每一行都是一个template，对应一个标签，计算出的y是一个向量，每个元素对应一个标签的相似程度，最大的值就对应预测出的标签。深度学习的框架反映在函数f上。
对于线性回归，f就是简单相乘，f(x,W) = Wx。