文件名称：批处理数据集成-qca6410电力猫原理图
文件大小：2.93MB
文件格式：PDF
更新时间：2024-06-28 10:35:43
大数据管理 数据集成 技术 方法 最佳实践
3.2 批处理数据集成 当需要将数据以成组的方式从源应用周期性地（如每天、每周、每月）传输到目标应用时，就需要使用批处 理数据集成技术。在过去，大部分系统之间的接口通常是周期性地将一个大文件从一个系统传送到另一个系统。 文件的内容通常是结构一致的数据记录，发送系统与接收系统都能识别和理解这种数据格式。发送系统将数据传 送到接收系统，这种数据传输方式就是所谓的点对点。接收系统将会在特定的时间点上对数据进行及时处理，而 不是立即处理，因此，这样的接口是“异步”的，因为发送系统不需要等待来自接收系统的一个实时反馈以确认 事务处理的结束。批处理的数据集成方式对于需要处理非常巨大的数据量的场合依然是比较合适并且高效的，如 数据转换以及将数据快照装载到数据仓库等。可以通过适当调优，让这种数据接口获得非常快的处理速度，以便 尽可能快地完成大数据量的加载。通常将其视为“紧耦合”的，因为需要在源系统和目标系统之间就文件的格式 达成一致，并且只有在两个系统同时改变时才能成功地修改文件格式。 为了在变化发生时不至于接口被“破坏”或者无法正常工作，就需要非常小心地管理紧耦合系统，以便在多 个系统之间进行协调以确保同时实施变化。为了管理比较巨大的应用组合系统， 好选择松耦合的系统接口，以 便在不破坏当前系统的前提下允许应用发生改变，并且不需要这么一个同步变化的协调过程。因此，数据集成方 案 好是“松耦合”的。