处理离群数据的一些想法

最近在做分段数据统计的时候,发现某些情况下,离群数据严重干扰了数据统计,所以一直在想办法对离群数据进行处理。

最典型的离群数据,莫过于单根峰了,在气显示相对活跃,特别是钻遇过裂缝的井里,频繁出现因为停泵引起的后效气测异常,这些异常不是地层含气性的真实反映,理应不参与数据统计。平常其实没有太多注意这类现象,但是有的井实在太频繁,并且单根峰与正常的气测值差异太大,有的已经达到10倍左右了,不处理对数据统计确实有很大的影响。

网上搜了一下,常见的方法不外乎平滑与滤波,origin是首选现成的软件。origin里给出了信号处理与滤波两大模块,滤波又分为低通、高通、带限等不同方法,更多的是适合时域信号,所以更多的希望寄托在信号处理这个模块里,当然这个模板本质上也是基于时域信号的,只是这里把它用到石油工程的深度数据里了。

origin给出了好几种平滑去噪的方法,移动平均是最常用的一种方法,但是origin首推的算法是Savitzky-Golay算法,是一种在时域内基于局域多项式最小二乘法拟合的滤波方法,也称卷积平滑。与直接的移动平均算法相比,Savitzky-Golay算法具有更稳定、误差更小的平滑去噪效果。

试用了一下不同的算法和参数设置,对比了效果,Savitzky-Golay的效果确实要比单纯的移动平均要好一些。但是,不管是用哪种算法,应用效果都不是特别好,主要是很多停泵后效的气测异常值非常高,如果遇到多个后效气,会导致最后的结果严重虚高,气测峰形和面积严重变形,虽然与原始数据相比,有一定的作用,但效果不好。

琢磨了几天,想到了一个办法。多数后效气是加单根引起的,如果把这些单根峰去掉,再做平滑,应该就能消除很大一部分后效气的影响,让处理结果不变形。

思路有了,但现成的工具没有找到,只好祭出R语言大法。

给定一个窗口,用平均值来替代离群点。这样处理以后,几乎40-60%的单根峰已经被去掉了,只有那些频繁停泵导致一个深度范围内出现两个以上的后效,特别是深度上有所连续的数值,没有办法完全去掉。如果单根峰不多,实际上这一步已经几乎很完美的把异常值切掉了。

在这个的基础上再做一次Savitzky-Golay平滑,没有大量的离群数据的影响,这个平滑效果就好了很多,全烃的峰形几乎完美的保留了下来。

同时,部分因为钻时特别高,导致的气测极低的异常值,也在处理离群数据的时候进行了补偿,平滑后的效果非常好。

发表评论

电子邮件地址不会被公开。 必填项已用*标注