【文件属性】：
文件名称：实施和运行中的问题-golang高级编程
文件大小：2.1MB
文件格式：PDF
更新时间：2021-07-02 03:54:51
大数据分析 工业大数据
8.2 实施和运行中的问题
实施和运行中普遍面临的一个问题是：建立分析模型所用的数据
和运行中所用的数据存在差异。导致差异的原因包括：数据质量问题、
运行环境问题、精度劣化问题、范围变化问题。
8.2.1 数据质量问题
建立模型时，往往会对数据进行筛选，剔除掉一些错误和不合适
的劣质数据。但在实际应用的过程中，尤其是知识用于实时控制和管
理中，很多劣质数据无法像建模时那样剔除。这样，分析或预测结果
自然也就会出现更多异常。
8.2.2 运行环境问题
当分析结果用于实时控制或者管理时，会对数据采集的实时性、
计算的效率、计算机存储量、计算的稳定性等提出要求。
1) 数据采集的实时性通常用计算响应的时间来衡量，监控和告
警等实时控制业务要求在毫秒级进行响应，这对算法的集成
提出了较大挑战。
2) 计算效率是算法的效率，对于实时性有要求的业务，通常要求
优于线性的算法，使得数据量增加的时候达到可扩展。
3) 存储量是可扩展性的要求，在分布式集群部署环境下，通常要
求计算机存储量能够水平扩展。
4) 计算稳定性是指故障容忍能力，在分布式集群部署环境下，通
常要求计算框架能够自动对失败的错误进行重试。