【文件属性】:
文件名称:异常识别-c# 8.0 and .net core 3.0
文件大小:3.27MB
文件格式:PDF
更新时间:2021-06-17 23:49:29
devops
6.2 监控数据处理
监控数据处理是指对数据进行过滤、转换、提取、聚合和存储等操作,是监控核心能力。监控数据
处理能力包括ETL功能丰富度、处理能力、存储能力和适配能力,如表3所示。
表3 监控数据处理
级别 ETL 功能 处理能力 存储能力 适配能力
1 从采集信息中提取出监
控对象、指标或事件用于
发送异常告警。
通过简单程序进行少量
的数据加工处理。
使用小规模通用关系数
据库存储监控数据。
应用于特定监控场景,提
供数据的直入直出能力。
2 对采集信息进行过滤后,
提取监控对象、指标或事
件,按时间粒度统计聚合
形成监控指标。
在单机上部署少量程序
对小量的数据加工处理。
对监控数据建立关系模
型存储在通用关系数据
库中。
应用于特定领域的监控
场景,提供该场景下的指
标查询和异常检测能力。
3 对采集信息进行清洗、翻
译、转换后,提取监控对
象、指标或事件,按时间
粒度统计聚合形成监控
指标。
在小型集群上部署数据
处理程序对数据加工处
理。
抽象监控数据模型,使用
存储集群存储监控数据,
提供高效数据查询接口。
应用于复杂的领域监控
场景,提取和转换计算出
该场景下的多个指标,提
供查询和异常检测能力。
4 对采集信息进行清洗、翻
译、转换后,提取监控对
象、指标或事件,按时间
粒度和维度统计聚合形
成多维度指标。
在中等规模集群上部署
分布式服务对数据进行
加工处理,集群规模和处
理能力可平行扩展。
抽象多维数据模型,使用
可扩展的存储集群存储
多维时间序列监控数据,
提供高效数据查询接口。
应用于复杂领域的精细
化监控场景,提取和转换
计算出多维度监控指标,
提供查询和分析能力。
5
通过自定义配置方式实
现多种类型采集信息的
清洗、翻译、转换和统计,
形成多维度指标。
在通用的分布式流处理
集群对多种类型的海量
数据进行加工处理。
使用高性能可扩展的多
维时间序列数据存储集
群存储多个业务的监控
数据,提供高效数据查询
接口。
应用于复杂领域的精细
化监控场景,支持多种业
务数据接入和监控,提供
查询、分析和关联整合能
力。
6.3 异常识别
异常识别是指对提取的监控指标或事件进行检测,识别出异常点用于告警和决策。异常识别主要包
括识别方法、收敛策略、有效性和告警时延,如表4所示。
表4 异常识别
级别 识别方法 收敛策略 有效性 告警时延
1 由监控对象直接发 直接发送原始异常事件 能感知监控对象发生异 能实时获知异常事件