文件名称：高效准确的数据更新-凌力尔特模拟电路设计手册（第二册英文版）
文件大小：326KB
文件格式：PDF
更新时间：2024-07-05 15:18:03
大数据
2.4 高效准确的数据更新 行业标准库链网络是由加入的各个节点（即注册用户） 共同构建的端到端分布式网络，需要全部节点共同维护。区 块链是一个不可更改的分布式数据库，智能合约是数据库上 的一个触发器。通过建立基于规则的数据和标准化智能合约， 能够利用互联网获取的外部数据以及读取区块链自身存储的 内部数据，实现复杂的业务逻辑。每个注册用户节点提交更 新数据以及调用智能合约自动化验证模型如图 7 所示。 智能合约 上传excel文件 注册用户 统一格式的 备选用词 转换管理 选择行业 写入模块 合法备选词 写入区块链 计数模块 对应合法词计数 读取模块 从行业标准 库链中读取 行业标准库链 区块 区块 区块 备选词：合法 备选词：重复 备选词：同义 备选词：无效备选词：缺损 验证模块 图 7 基于区块链的自动化验证流程 Fig.7 Automated verification process based on blockchain 注册用户做数据标准申请时，先预选待更新信息的所属 行业。再将整理完整的 excel 文件上传，经过转换管理成为 统一标准格式的备选用语。依次通过智能合约的验证模块， 判断其中的备选用词是否已经在行业标准库链上的行业标准 库中存在，是否有同义，是否有缺损，是否无效以及是否验 证通过为合法。验证后自动将验证反馈信息填入备注栏中， 用户可以在申请页面刷新查看。验证反馈信息为“合法”的 备选用词，则可记载于区块上，为“重复”、“缺损”、“同 义”或“无效”则不被记载于区块上。计数模块调用读取模 块，再对“合法”、“重复”和“同义”的备选用词进行比 对，执行计数后调用写入模块， 后将“合法”的备用词写 入行业标准库链中。涉及的用户行为及功能模块解释如下： Excel 文件：注册用户选择需要申请成为标准用语的数 据表（仅包含表头，不需要具体的值），整理完善至 excel 文件中。 选择行业：由于行业标准库是根据不同行业做细分采集， 因此注册用户在上传之前，必须预先选择待提交的 excel 文 件所属的行业，才能较好地对该行业数据标准的完善作贡献， 增加注册用户申请的标准用语验证通过率。 转换管理：excel 文件的数据内容可能会有重复项，规格 不统一，空值，需要丢弃的乱码等问题。转换管理旨在于 ETL （Extract Transform Load）的过程，即将数据从来源端经过 抽取（extract）、转换（transform）、加载（load），形成统 一格式的备选用词。 验证模块：验证模块是指对统一格式后的备选用词依次 调用智能合约进行比对和验证，即将备选用词和行业标准库 链中的标准用语进行文本分析和比对，验证该备选用词是否 能够写入标准库中。如果在已存标准用语中有一模一样的备 选用词则判定“重复”；有意思相近的备选用词则判定“相 近”；语义不完备的备选用词则被判定“缺损”；毫无意义 的备选用词则被判定为“无效”。只有语义完备且对比已存 标准用语，无重复、非近义、有意义的备选用词才能通过验 证判定“合法”，成为标准用语写入行业标准库链中。 计数模块：在验证模块中，通过验证的“合法”备选用 词计数加一。被判定“重复”和“同义”的备选用词，都将 对该行业标准库链中已存标准用词（即被“重复”/“同义” 的标准用词）计数加一。通过计数模块可以高效完整地统计 适用于全行业的通用标准用词，为后期权限管理和访问控制 提供依据。 读取模块：执行读取行业标准库链中标准用词信息的操 作，协助计数模块进行比对操作。 写入模块：执行将“合法”的备选用词写入行业标准库 链的操作。 行业标准库链：细分领域下，某一行业的标准用词集。 智能合约程序代替传统的人工审核机制，是一个可自动 执行的计算机程序，同时也是一个系统的具体参与者。本文 提出的方法旨在减少数据标准化过程中不必要的人工干预， 保证系统按照事先商定好的规则绝对可信地执行审核操作， 实现数据标准维护的高效性和客观性。 3 实验及分析 本文基于某证券公司大数据风控管理平台做了实验对比 和分析，该平台包含四个应用系统，分别为信用风险、市场 风险、操作风险、非现场监控等风控系统，四个风控系统共 计3073张数据库表，经数据标准化后共计10281个数据字段。 本实验通过传统数据标准管理系统与基于区块链的数据标准 管理系统进行了标准用语申请的比对和分析，区块链环境采 用以太坊平台搭建，部署了四个节点，设定区块难度值，使 得区块出块时间与以太坊公链大致相同，均为 13.55 秒。实 验结果表明，本文提出的模型和方法能够高效、安全的对数 据标准进行管理，减少过度的认为干预，提高行业数据标准 制定、监督维护的效率。