发表于 2024年9月12日1年前 最近被派了个活，对一些指标进行异常检测并提示。了解了几天相关知识了，有几问题想请教一下大家。 数据特点 --- 需要检测的数据指标非常多，1k+ ，好消息就是大多数指标都比较类似 --- 时序图同一类型长的差不多 (实在太多了再找人筛点) 对于点异常的判断，考虑的是使用孤立森林。 一段时间内比较正常的数据作为模型建立的基础数据集。每隔一段时间(1h?)采集过去 24h 内所有的点，将两个数据集合并在一起，看看这 24 个小时里面有没有异常点。 尝试了一下，预测效果还算 ok ，那种明显突出的都能抓到。 --- 我理解这就是动态阈值(参数又多，人工定阈值太难了) 难点是时间序列 --- 设备指标变化趋势有没有问题。比如本来是周期性的，其中一块突然异常波动一下，但是没超过阈值。比如液位、温度 长期趋势的异常检测 --- 直接使用 prophet 了，尝试了几个指标拟合曲线好像还行。 prophet 适用于长时间的，强季节性的数据，而且对于调参来说也比较简单。但是要求就是数据量要大，时间跨度也不能很短。 我想询问大家，对于短时间（一周或者一天 24h ）的异常检测，应该怎么做呢？ 对于比较平稳的时间序列，我想的是使用 ARMA ，然后通过残差和设置阈值进行对比，判定异常。 比如根据一周的数据(采样频率 30min)进行 fit ，预测过去 2h 数据，通过和实际数据的对比，进行判断。 但是 pq 的选择还得慢慢调，同时，对于一些比较陡峭的趋势，预测之间就飞了。。。。 想问问大家有什么比较好的方法推荐吗。
最近被派了个活，对一些指标进行异常检测并提示。了解了几天相关知识了，有几问题想请教一下大家。
数据特点 --- 需要检测的数据指标非常多，1k+ ，好消息就是大多数指标都比较类似 --- 时序图同一类型长的差不多 (实在太多了再找人筛点)
对于点异常的判断，考虑的是使用孤立森林。 一段时间内比较正常的数据作为模型建立的基础数据集。每隔一段时间(1h?)采集过去 24h 内所有的点，将两个数据集合并在一起，看看这 24 个小时里面有没有异常点。 尝试了一下，预测效果还算 ok ，那种明显突出的都能抓到。 --- 我理解这就是动态阈值(参数又多，人工定阈值太难了)
难点是时间序列 --- 设备指标变化趋势有没有问题。比如本来是周期性的，其中一块突然异常波动一下，但是没超过阈值。比如液位、温度
长期趋势的异常检测 --- 直接使用 prophet 了，尝试了几个指标拟合曲线好像还行。 prophet 适用于长时间的，强季节性的数据，而且对于调参来说也比较简单。但是要求就是数据量要大，时间跨度也不能很短。
我想询问大家，对于短时间（一周或者一天 24h ）的异常检测，应该怎么做呢？ 对于比较平稳的时间序列，我想的是使用 ARMA ，然后通过残差和设置阈值进行对比，判定异常。 比如根据一周的数据(采样频率 30min)进行 fit ，预测过去 2h 数据，通过和实际数据的对比，进行判断。
但是 pq 的选择还得慢慢调，同时，对于一些比较陡峭的趋势，预测之间就飞了。。。。
想问问大家有什么比较好的方法推荐吗。