Univariate Distribution Relationships
APPL: A Probability Programming Language
Maplesoft- Software for Mathematics, Online Learning, Engineering
也有国内大神的解读:一张图的故事——概率分布之间的关系(上)
知乎上也有人做了高度的总结:
人们希望能从随机的现象中,找到规律。于是,概率分布模型就出现了。每设计一个概率分布模型,都要在精确性和普适性之间做折中。我们既希望一个模型能准确表达随机现象,也希望这个模型能适用于更多的场景。gamma, gaussian 都是经过这样的折中后,具有数学美的模型。比如,gaussian 模型,是已知二阶统计量的最大墒模型。它的概率分布可以完全由二阶统计量标准。这个特点让很多intractable的贝叶斯估计有了close-form的解。再说gamma 模型,首先它的支持域在第一象限,就能表征一些和能量有关的随机量,比如说一个随机变量的方差。gamma分布是gaussian的conjugate 分布,能够和gaussian一起完成很多有close form的推断任务。从这个角度,gamma分布的设计也是有数学上tractability 的考虑的。只要满足概率论的三大公理,谁都可以建立概率分布模型。但不是所有人都能想出像gaussian, gamma这样既有数学上简洁,又有工程上的普适性的分布。
作者:Leo Cheng
链接:https://www.zhihu.com/question/32250763/answer/55340855
来源:知乎
科普一下这段话中的概念:
统计量:样本观测值的函数,不依赖未知参数,比如样本的均值和方差。
二阶统计量:幾個重要簡單的機率概念 – 1st and 2nd order statistics p = E(X) —> first order statistics。“方差”这样的统计量,是指随机变量的二阶函数。
高阶统计量:阶数大于二阶的统计量,主要有高阶矩、高阶累积量和高阶累积量谱。
i.i.d (independent and identically distributed):独立同分布 iid
最大熵模型:一步一步理解最大熵模型。最大熵原理认为,学习概率模型时,在所有可能的概率模型中,熵最大的模型是最好的模型。
Closed form expression:闭合解。不是有解或者没解。比如我们常见的一元二次方程就有闭合解、解析解。而However, there are quinticequations without closed-form solutions using elementary functions, such as x5 − x + 1 = 0.
conjugate 分布:共轭分布,已经有篇文章详解了(copy了),核心就是让贝叶斯的先验分布和后验分布形成链条(同分布)。
概率公理:三公理,又称柯尔莫果洛夫公理。任一事件的概率都可以用到区间上的一个实数来表示。整体样本集合中的某个基本事件发生的概率为1。不相交子集的并的事件集合的概率为那些子集的概率的和。