文件名称：环境搭建-文本数据可视化表示
文件大小：685KB
文件格式：PDF
更新时间：2024-07-05 21:29:12
hadoop
４．２ 寻优过程的设计 求最终代群体中的最优解如图９所 示。若 迭 代次数满足 设 定 的 终 止 条 件，对 最 终 生 成 的ＲＤＤ 实行 Ｍａｐ操作。在 Ｍａｐ操作中，定义变量解码函 数并求解Ｓｈｕｂｅｒｔ函数值，将获得的多个极值和对 应 变 量 以 键 值 对 的 形 式 进 行 存 储，具 体 格 式 为 〈ｖａｌｕｅ，（ｘ ｙ）〉。通过ｒｅｄｕｃｅＢｙＫｅｙ对键值对的键 进行排序，将其存储到 ＨＤＦＳ中，输出Ｓｈｕｂｅｒｔ函 数的最大值及其对应的变量值，结束。 Ｆｉｇｕｒｅ ９ Ｓｏｌｖｉｎｇ Ｓｈｕｂｅｒｔ ｆｕｎｃｔｉｏｎ ｂａｓｅｄ ｏｎ ＲＤＤ 图９ 基于ＲＤＤ寻优Ｓｈｕｂｅｒｔ函数极值 ５ 实验与分析 实验主要从两个方面进行验证分析： （１）高 效 性：对 比Ｌｏｃａｌ、Ｈａｄｏｏｐ和Ｓｐａｒｋ平 台下ＧＡ的运算耗时、加速比、平均迭代耗时，验证 基于Ｓｐａｒｋ平台并行ＧＡ算法的高效性； （２）准 确 率：对 比 不 同 迭 代 次 数 下 求 解Ｓｈｕ－ ｂｅｒｔ函数的极值结果，检验基于分布式平台的并行 ＧＡ寻优结果的准确率和稳定性。 ５．１ 环境搭建 本实验平台的集群由１个主节点（Ｍａｓｔｅｒ）和 １９个从节点（Ｓｌａｖｅ）组 成，具 体 配 置 参 见 表１。实 验中各平台采用相同的样本数据集。 ４１２ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ＆Ｓｃｉｅｎｃｅ 计算机工程与科学 ２０１８，４０（２）