文件名称：实施和运行中的问题-golang高级编程
文件大小：2.1MB
文件格式：PDF
更新时间：2024-07-21 21:41:31
大数据分析 工业大数据
8.2 实施和运行中的问题 实施和运行中普遍面临的一个问题是：建立分析模型所用的数据 和运行中所用的数据存在差异。导致差异的原因包括：数据质量问题、 运行环境问题、精度劣化问题、范围变化问题。 8.2.1 数据质量问题 建立模型时，往往会对数据进行筛选，剔除掉一些错误和不合适 的劣质数据。但在实际应用的过程中，尤其是知识用于实时控制和管 理中，很多劣质数据无法像建模时那样剔除。这样，分析或预测结果 自然也就会出现更多异常。 8.2.2 运行环境问题 当分析结果用于实时控制或者管理时，会对数据采集的实时性、 计算的效率、计算机存储量、计算的稳定性等提出要求。 1) 数据采集的实时性通常用计算响应的时间来衡量，监控和告 警等实时控制业务要求在毫秒级进行响应，这对算法的集成 提出了较大挑战。 2) 计算效率是算法的效率，对于实时性有要求的业务，通常要求 优于线性的算法，使得数据量增加的时候达到可扩展。 3) 存储量是可扩展性的要求，在分布式集群部署环境下，通常要 求计算机存储量能够水平扩展。 4) 计算稳定性是指故障容忍能力，在分布式集群部署环境下，通 常要求计算框架能够自动对失败的错误进行重试。