文件名称：节更新策略-fmcos通用技术手册(上海复旦微电子)
文件大小：242KB
文件格式：PDF
更新时间：2024-07-05 12:28:34
分布式 ETL 大数据
2．5 一致性维护的过程 DDW 的各个 LDW在进行 ETL之后 ，启动 M模块对 LDW 间的数据进行一致性维护。M模块处理流程图，如图6所示。 图6 一致性维护流程图 一 致性维护的算法简要描述： do(数据更新监测)while(监测到 LDW有数据更新)； { 从元数据库获取更新数据的元数据； (数据的更新影响到其它的 LDW) 根据元数据向需要更新数据的 LDW发送连接请求信息； if(连接成功) 根据元数据选择适合的更新策略进行 LDW 的数据更新； else 执行异常处理程序； } ～ 致性维护详细处理流程如下： (1)当 LDW 的数据发生变化后 ，LDW通过元数据获取器 获取更新数据的元数据，判断是否影响其它LDW 的一致性。如 不影响，不做处理；否则进行下一步。 (2)针对LDW中发生变化的数据检索元数据库，找出与之 对应的更新策略。 (3)按照上一步找到的更新方案，确定需要更新数据的 LDW，并向这些 LDW发出连接请求。如连接成功，进行下一 步；否则转到(6)。 (4)根据检索元数据所确定的更新策略和 2．2节更新策略 中提出的一对一更新 、一对多更新两种不同的数据更新方式，对 分布式ETL节点所抽取的数据采取一对一更新和一对多更新 相结合的方式，根据元数据的不同选取不同的更新策略，两种更 新策略同时进行，即混合的 ETLM的执行策略。首先，某个局部 ETL节点有数据更新，检测到更新后，LDW 预先把数据存储在 更新存储服务器中，在一定的时间段内同时向包含此数据副本 的LDW收集更新信息，选择最新更新的数据供出版服务器出 版；其次，进行数据更新时LDW 向订阅服务器发送订阅请求，出 版服务器将需要更新的数据复制并发送给分发服务器；最后，分 发服务器根据订阅请求发送数据对LDW 中的数据更新 ，进行一 致性的维护。 (5)异常处理。异常情况主要包括网络传输中断、局部数 据仓库连接失败等，根据不同的情况采取暂时将更新数据存人 数据复制服务器等待重发、一段时间之后重新向LDW发送连接 信息等方法来解决。 (6)一致性维护结束。 3 现有技术对比及结论 目前数据一致性维护的方法主要有同步复制控制法、异步 复制控制法、消息队列法和通知公告法四种 。同步复制控制 法能维护各数据副本的紧一致性 ，但是数据更新操作频繁，系统 处理速度低，ETLM在数据复制模型中增加了更新存储服务器， 一 定时间对 DW更新一次，减少对DW频繁的更新操作，增强 DW 的使用效率；异步复制控制法和消息队列法不适用于要求 实时数据同步的DDW系统，ETLM使用触发器实现一致性的维 护，能实时对数据进行更新，适用范围更广；通知公告法效率低， 不适用于逻辑集成的 DDW系统 ，ETLM把一致性维护的过程融 入到数据仓库构建的 ETL过程中，适用于所有的 DDW系统，克 服了传统数据一致性维护方法的局限性。分析表明ETLM的一 致性维护方法优于传统的数据一致性维护方法，ETLM的体系 结构及其数据一致性维护策略能够有效地提高 DDW系统的 效率。 参 考 文 献 [1][nmon W H．数据仓库 [M]．王志海，译．北京：机械工业 出版 社 ，2006． [2]花海洋，李一凡．基于分布式数据仓库技术的 ETL系统的研究与 应用[J]．微机算机信息，2006，22(10—3)． [3]Yves DE Montcheuil，Chris Dupupet．Third Generation ETL：Delivering the Best Performance[J]．SUNOPSIS．2005． [4]陈伟江，郭朝珍．分布式 ETL中协同机制的研究与设计[J]．通信 学报，2006，27(11)． [5]盖九宇，张忠能，肖鹤．分布式数据库数据复制技术的分析与应用 [J]．计算机应用与软件，2005，22(7)． [6]杨一平．分布式数据仓库中数据调度机制的研究与设计[D]．北京 邮电大学，2006． (上接第 124页) [11]李涛．计算机免疫学[M]．北京：电子工业出版社，2004． [12]翟宏群，罗军舟．一种基于免疫机理的网络入侵检测模型[J]．研 究与开发，2005年． [13]唐峻，李绘卓 ，基于免疫学原理的人侵检测系统设计[J]．计算机 与信息技术 ，2005(7)． [14]李千目等，一种基于生物免疫学的入侵检测系统[J]．计算机工程 与应用，2003(8)：45—48． [15]张彦超，阙喜戎 ，王文东．一种基于免疫原理的网络入侵检测模型 [J]．计算机工程与应用 ，2002(10)：159—162． [16]William P D．CD IS：towards a computer immune system for detecting network int rusions．http：／／www．afit．Edu．