http://blog.csdn.net/pipisorry/article/details/52571640
动机
前面我们讨论的问题出发点是给定一个图模型。如在独立性和推理讨论中，假定模型——结构及参数——是输入的一部分。
查询一个模型的方法
手工搭建网络
利用一组从希望建模的那个分布中生成的样本来学习相对于总体的分布模型
模型学习
这里首先描述学习模型时的目标集合和由这些目标所导致的不同评价指标。然后讨论如何将学习的问题视为一个优化问题以及由该问题的设计引发的问题。最后，对于不同类型的学习任务，给出详细的分类并讨论它们的一些计算后果。
学习目标和评价
[机器学习模型的评价 ]
优化学习
{数值准则——损失函数意味着学习任务应该视为一个优化问题}
优化问题：
经验风险与过拟合
经验分布：用数据D来定义经验分布
事件A在数据D上的经验分布的定义：
所有事件加起来就形成了整个经验分布
经验损失作为真实损失的替代导致的不良后果
防止过拟合
模型选择：偏倚-方差的折中
限制模型类：降低过拟合
专栏：16.A 用于设计和评价机器学习过程的基本实验性条款
抵抗测试、交叉验证、k-折交叉验证、拟合优度、PAC界
判别式与生成式训练
生成式训练和判别式训练的应用场景和折中
生成式训练：朴素贝叶斯（马尔可夫）；判别式训练：logistic回归模型。
大多数便于贝叶斯网学习的计算性质在判别式训练中都不能使用。
生成式训练更适用于数据量有限（或者稀疏）的数据学习；判别式训练更适用于大数据集的模型学习。
判别式模型的一个相关的好处是它们可以利用一个独立性假设被明显违反的、非常丰富的特征集。这些丰富的特征通常可以极大地改善分类的准确性。
相反，生成式模型的优点。通常能够为领域提供更自然的解释，并且更善于处理缺失值和无标签的数据。
模型的的合适选择取决于应用，并且不同训练方法的组合往往可能是最好的选择。
学习任务
模型限制
数据的可观测性
缺失数据
隐变量
网络中的隐变量的包含可以极大地简化结构，并且降低所学网络的复杂性。甚至某个变量集上的一个稀疏模型也可以在其变量的一个子集上诱导出大量的依赖关系。
学习任务的分类
。。。
from: http://blog.csdn.net/pipisorry/article/details/52571640
ref: