文件名称:数据集成开发生命周期-qca6410电力猫原理图
文件大小:2.93MB
文件格式:PDF
更新时间:2024-06-28 10:35:44
大数据管理 数据集成 技术 方法 最佳实践
第4章 数据集成开发过程 4.1 数据集成开发生命周期 开发一个新的系统之间的数据接口所遵循的生命周期和开发一个其他数据相关的项目很相似。成功的关键是 比较准确地分析所要移动的数据源和目标两端的实际数据。虽然按图4-1中从实施到操作的方向看去,每个步骤都 是顺序执行,并且区分很明显,但是事实上,这些步骤迭代和相互重叠的地方要比能够展示出来的要多很多,借 助分析工具和原型工具,对假设和设计的测试会尽早展开。 图4-1描述了数据集成项目的生命周期。第一个部分就是确定项目的范围,包括:高层次需求、高层次设计、 数据需求、识别源和目标。整个过程起始于高层次的需求:哪些是必须满足的数据移动的基本需求?可能是需要 在整个企业内部同步的客户数据,需要在内部使用的某个外部组织的数据,报表中所需要使用的额外数据,为了 预测分析而需要使用的社会化媒体数据或者为数众多的其他可能的数据移动需求。然后,就可以对一些基本设计 概念作出规定:这个需要以批处理的方式或者实时的方式每天处理一次?是不是已经有马上可用的数据集成平 台?或者还需要哪些额外的东西?另外一轮详细的需求分析和设计应当识别出需要哪些数据,可能涉及的数据源 和目标。 生命周期的第二个部分常常会被忽略,即概要分析。因为数据集成被视作一门技术活,而组织通常会对授权 访问生产数据比较敏感,因此,为了开发数据接口而对当前存储于可能的源和目标系统的数据进行分析可能是件 比较困难的事情。所以,对实际数据进行概要分析往往成为决定成败的关键。几乎每个数据集成项目都会发现存 在于源和目标系统中的实际数据的一些问题,而这些问题往往很大程度上影响了方案的设计。例如:数据是不是