伴随着我国银行信息化建设的发展,银行形成了包括核心系统、数据仓库、风险管理、客户关系管理等在内的多种业务和管理系统。大数据给银行数据处理带来的大容量、快速处理和多样性,使得银行在数据标准建设、信息共享、信息挖掘利用等方面面临挑战,也越来越重视元数据的管理和体系的建设工作。
本篇文章,笔者将为大家解读一下有关银行进行元数据管理的三个问题,明确在行业快速变化的大环境下,如何建设符合银行自身特色的元数据管理体系,提升银行数据治理能力。
要明确三个问题:
1、银行元数据的现状
2、银行元数据管理的意义
3、银行如何搭建元数据管理体系
元数据概述
元数据最早于1969年 Jack由. Myers提出。长期以来,在银行领域,元数据主要应用在数据仓库。在数据仓库中,元数据是用以描述数据仓库内数据的结构和建立方法的数据。对于数据仓库这类集成类数据系统来说,存储的表、视图等数据对象数以万计,再加上内部复杂的数据抽取、加载和转换,联机分析处理和数据挖掘,以及众多的数据集市,很容易形成“蜘蛛网”现象。而解决“蜘蛛网”问题的关键就在于元数据管理,它可以帮助最终用户理解和使用数据仓库中的数据,也是保证数据质量的关键。
根据银行数据特点,结合业界理论和实践经验元数据一般可以分为业务元数据、技术元数据、操作元数据三个类别,内容覆盖结构化数据、半结构化数据以及非结构化数据。
(1)业务元数据
业务元数据是定义和业务相关数据的信息,用于辅助定位、理解及访问业务信息。业务元数据的范围主要包括:业务指标、业务规则、数据质量规则、专业术语、数据标准、概念数据模型、实体/属性、逻辑数据模型等。
(2)技术元数据
它又可以分成结构性技术元数据和关联性技术元数据。结构性技术元数据提供了在信息技术的基础架构中对数据的说明,如数据的存放位置、数据的存储类型、数据的血缘关系等。关联性技术元数据描述了数据之间的关联和数据在信息技术环境之中的流转情况。
(3)操作元数据
操作元数据主要是指与元数据管理相关的组织、岗位、职责、流程,以及系统日常运行产生的操作数据。操作元数据管理的内容主要包括:与元数据管理相关的组织、岗位、职责、流程、项目、版本,以及系统生产运行产生的操作记录,如运行记录、应用程序、运行作业。
技术元数据、业务元数据、操作元数据三者关系紧密:业务元数据指导技术元数据;技术元数据以已有的业务元数据为参考进行设计;操作元数据作为技术元数据和业务元数据管理的要素之一,为两者的管理提供支撑。
元数据管理及重要意义
元数据管理是指元数据的定义、收集、管理和发布的方法、工具及流程的集合。它涵盖元数据定义,元数据的管理原则、管理模式和方法,元数据相关制度、规范、手册,元数据管理系统,元数据管理相关的日常处理流程等。元数据管理是一个以相关元数据规范、指引为基础,以元数据管理系统作为技术支撑,与应用系统的开发、设计和版本制作流程紧密结合的完整体系。
银行通过构建元数据管理系统,可以实现将不同系统、不同工具、不同人员中的元数据信息进行统一集中管理,实现从业务层到技术层的全面技术贯通,为银行科技系统更高效、规范地运作提供系统支撑,对银行业务发展具有重大意义。银行通过元数据进行管理,可以在以下方面进行提升:
1)统一表达形式,建立统一标准,使数据更易读更好地实现信息共享,最大程度地发挥信息的价值作用,降低沟通成本,提升沟通效率,增强上下游各应用与分行间的协作水平。
2)用户更清晰地理解数据含义及数据间的关联关系,迅速定位软件设计变更带来的影响,及时对相关系统设计做出必要的调整,如数据定义、接口,提升快速应对变更的能力。
3)实现规范、标准落地,确保元数据设计/登记质量,可以更好地支撑数据分布、数据交换、数据集成、数据生命周期管理、数据标准等数据治理相关的工作内容。
4)实现公共资源的统一分配和登记,从而确保有效管理,不遗漏、不冲突。
5)实现对元数据资产的统计、分析和挖掘,例如血缘分析、孤儿分析、影响性分析以及各类统计功能等,提升基于数据所做决策的准确性和可信性。
搭建元数据管理体系
银行元数据管理对于数据治理工作起着重要的作用,是数据标准和数据质量管理的重要基础。银行应该建立一个体系清晰、内容全面、标准明确的元数据管理体系,紧密围绕国家相关标准和行业规范,充分结合银行自身的整体系统发展战略,全面考虑相关规范和管理要求的可持续发展和良好的可操作性。
1、建立企业级元数据管理系统
对于银行来说,建立元数据管理系统是其元数据管理体系建设的核心。企业级元数据管理系统作为银行全行级的元数据管理平台,至少需要包含以下主要功能:元数据日常管理和维护、版本管理、权限管理、提交与审批管理等功能,以及血缘分析、影响性分析、关联度分析等信息统计分析功能 。亿信华辰的元数据管理平台EsPowerMeta正是基于长久的项目实践,可提供如下功能:
(1)元数据日常管理和维护
亿信华辰元数据管理平台支持开发人员通过页面联机、批量方式对技术元数据、业务元数据和操作元数据进行新增、修改、删除,提供各类元数据间的调用关系管理、变更通知以及配套的审批管控流程。
(2)版本管理
亿信华辰元数据管理平台里元模型和元数据均支持版本管理。不仅区分了最新元数据和定版元数据,还提供了历史版本查看和对比。元模型版本管理,实现了元模型在发布之前,都不会改变元数据结构,保障了元数据的稳定性。
(3)权限管理
信息安全是元数据管理系统的重要环节。亿信华辰元数据管理平台采用分类授权、分角色授权等原则,对访问元数据管理系统进行权限控制。设置用户角色与权限,建立与应用系统、各类元数据的关联关系;针对用户角色权限的变更,提供配套的角色与权限申请审批管理流程,加强事中的审核控制、事后的监督核查。
(4)提交与审批管理
亿信华辰元数据管理平台在管理各类元数据资产时,需要根据不同元数据的特性,并考虑实际应用场景和管理的需求,设定相应的审批控制流程,从而加强对元数据的管理,保证元数据平台的准确性、时效性和稳定性。
(5)信息统计分析
亿信华辰元数据管理平台主要提供元数据管理系统质量评估、各类资产多维度统计和报表功能、资产变更统计及排名分析等。通过信息统计分析功能,能够及时了解元数据管理系统中元数据资产整体和变更情况,为开展血缘分析、影响分析、全链分析、关联度分析、属性值差异分析等工作提供依据。
2、建立企业级元数据技术规范和实施指引
银行元数据管理体系,需要以各类元数据技术规范和实施指引为指导,规范元数据管理。由于元数据管理与数据质量管理、数据生命周期管理、数据分布、模型管理以及数据交换等领域关系密切,银行需要基于上述领域制定元数据管理的规范,以明确元数据管理的技术规则、技术要求、管理方法、实施原则、实施方法和手段,指导全行元数据日常管理及元数据系统建设。
3、制定合适的元数据管理流程
企业级元数据管理系统的集中式元数据管理模式需要将企业所有的元数据统一在元数据管理系统中进行管理。进行系统设计时需要充分重视元数据质量,不能脱离日常的应用系统研发管理流程,一旦脱离,久而久之,其管理的元数据就会变成食之无味、弃之可惜的“鸡肋”。同时,需要利用一系列工具和技术手段,确保元数据的数据质量。
结语:银行元数据管理应围绕“一个中心、一套制度一套流程”建设符合银行自身特色的元数据管理体系。中国农业发展银行利用亿信华辰的元数据管理平台建设了元数据管理系统 ,搭建了业务元数据和技术元数据的集中管理和发布平台。元数据管理平台为用户提供高质量、准确、易于管理的数据,它将贯穿数据中心构建、运行和维护的整个生命周期。
作者:宋懵懵的数据生活
链接:https://www.jianshu.com/p/74a55ebb7693
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。