文件名称:基于MapReduce的海量数据贝叶斯网络学习方法
文件大小:171KB
文件格式:PDF
更新时间:2024-04-05 02:45:13
Massive data; Bayesian network; Learning;
贝叶斯网络(BN)是用于表示和推断不确定知识的流行且重要的概率图形模型。 从海量数据中学习BN是不确定性以知识为中心的推理,预测和决策的基础。 海量数据的固有特性使BN学习可以适应大数据量并并行执行。 在本文中,我们提出了一种基于MapReduce的方法,通过扩展传统的评分和搜索算法来从海量数据中学习BN。 首先,在评分过程中,我们开发了map和reduce算法以并行获取所需参数。 其次,在搜索过程中,我们为每个节点开发了map和reduce算法,以并行对所有候选局部结构评分,并选择得分最高的局部最优结构。 因此,每个节点的局部最优结构被合并为全局最优结构。 实验结果表明,该方法是有效的。