文件名称：数据治理-数据生命周期管理-大数据整合.pdf
文件大小：147KB
文件格式：PDF
更新时间：2022-12-24 15:49:38
文档资料
数据治理-数据⽣命周期管理-⼤数据整合 批量数据的整合 传统的数据整合⼀般采⽤ETL⽅式，即抽取(Elect)、转换(Transfer)、加载(Load)，随着数据量的加⼤，以及数据平台⾃⾝数据处理 技术的发展，⽬前较为通⽤的⽅式为ELT模式，即抽取、加载、转换。 1. 数据抽取 业务类系统或流程类系统负责数据的采集，但哪些数据需要整合到数据平台，则需要根据数据应⽤的需求进⾏定义。在进⾏数据抽取 和加载之前，需要定义数据源系统与数据平台之间的接⼝，形成数据平台的接⼊模型⽂档。 数据的抽取会涉及安全与隐私问题，在进⾏抽取数据的调研时，也会涉及授权问题，源系统的数据结构，以及每张报表每个字段的业 务含义的明确，样本数据的采集，都需要得到相应系统的所属部门的授权。在进⾏数据抽取之前，需要最后的授权。 源系统的数据分析是数据整合最为关键和重要的⼀步，需要确认源系统中的数据结构、数据含义，与⽂档及业务⼈员理解的是否⼀ 致，是否存在偏差。同时，也需要对源系统数据的数据质量进⾏分析，了解数据质量状况，并出具数据质量分析报告。通过上述两种分析， 能够识别出数据现状与业务期望之间的差别，该差别应反馈给需求提出⽅，需求提出⽅应根据数据的状况，调整需求和业务期望 从源系统中抽取数据⼀般分为两种模式：抽取模式和供数模式。从技术实现⾓度来将，抽取模式是较优的。即由数据平台通过⼀定的 ⼯具来抽取源系统的数据，但是从项⽬⾓度来讲，建议采⽤源系统供数模式，因为抽取数据对源系统的影响，如果都有数据平台项⽬来负 责，有可能导致以下后果：源系统出现的任何性能问题都可以推诿到数据平台戳去⼯作上；源系统发⽣数据结构的变更后不通知数据平台项 ⽬，导致抽取出错；源系统不对数据质量负责，要求数据平台项⽬负责。以上的三种情况会对数据平台项⽬带来重⼤的风险，最终导致数据 平台项⽬失败。 2. 数据加载 传统的数据平台建设在完成数据抽取后，⼀般由ETL⼯具进⾏数据转换，即将数据结构模型转换为数据平台的数据结构模型，⼤数据 并⾏技术出现后，数据库的计算能⼒⼤⼤加强，⼀般都采⽤先加载后转换的⽅式。 数据在加载过程中，应该对愿数据进⾏数据⽐对。以确保抽取加载过程中的数据⼀致性，同时设置⼀些基本的数据校验规则。对于不 符合数据校验规则的数据，应该退回源系统，由源系统修正后重新供出。通过这样的⽅式，能够有效地保证加载后的数据质量，在完成数据 加载后，系统能够⾃动⽣成数据加载报告，报告本次加载的情况，并说明加载过程中的源系统的数据质量问题。 在数据加载过程中，还需要注意数据版本管理，传统的数据仓库类平台需要保留不同时间点的历史数据，⼀般采⽤数据戳⽅式，⼤数 据类应⽤，也建议采⽤这种⽅式，⽬前，⼤数据平台在数据库结构中⾃带版本管理功能，如果得到有效的利⽤，将⼤⼤地减少开发⼯作量， 并提升系统的效率。 3. 数据转换 数据转换分为四种类型：简单映射、数据转换、计算补齐、规范化。 简单映射：就是在源和⽬标之间⼀致地定义和格式化每个字段，只需在源和⽬标之间进⾏映射，就能把源系统的特定字段复制到⽬标表的特 定字段。 数据转换：即将源系统的值转换为⽬标系统中的值。最典型的案例就是代码值转换，源端系统中直接以"F"，"M"来表⽰性别，在⽬标 系统中采⽤"男"和"⼥"来表⽰，这就需要字段转换 计算补齐：在源数据丢失或者缺失的情况下，通过其他数据的计算，经过某种业务规则或者数据质量规则的公式，推算出缺失的值，进⾏数 据的补齐⼯作。 规范化：当数据平台从多个系统中采集数据的时候，会涉及多个系统的数据，不同系统对于数据会有不同的定义，需要将这些数据的定义整 合到统⼀的定义下，遵照统⼀的规范。 4. 数据整合 在数据整合到数据平台之后，需要根据应⽤⽬标进⾏数据的整合，将数据关联起来并提供统⼀的服务。 传统的数据仓库说将数据整合为不同的数据域。针对不同的数据域，建⽴起实体表和维表，基于这些实体表和维表，为不同的应⽤提 供多维分析服务。 为⽀持统⼀的指标运算，⼀些数据仓库也建⽴了统⼀计算层，统⼀对于基于数据仓库上的各类指标进⾏统⼀计算，并提供给各集市进 ⾏展⽰ 为⽀持数据分析与挖掘应⽤，⼀些数据仓库⽣成⾯向客户、⾯向产品、⾯向员⼯的宽表，⽤于进⾏数据挖掘⼯作。 实时数据的整合 ⼤数据的⼀个重要的特点就是速度，⼤数据时代，数据的应⽤者对于数据的时效性也提出了新的要求，企业的管理者希望能够实时地 通过数据看到企业的经营状况；销售⼈员希望能够实时地了解客户的动态，从⽽发现商机快速跟进；电⼦商务⽹站也需要能够快速地识别客 户在⽹上的⾏为，实时地做出产品的推荐。 1. 实时数据的抽取 在实时数据抽取的过程中，需要注意⼀点，就是必须实现业务处理和数据抽取的松耦合。业务系统的主要职责是进⾏业务的处理，数 据采集的过程不能影响业务处理