多重共线性的情形及处理

何晓群教授《应用回归分析 R语言版》第6章

1、背景

多元线性回归模型的基本假设是自变量之间线性无关。但实际上自变量之间可能存在多重共线性,也称为复共线性,也就是变量之间存在较强的相关性。

当自变量存在多重共线性时,利用普通最小二乘法得到的回归参数估计值很不稳定,回归系数的方差随着多重共线性强度的增加而加速增长,会造成回归方程高度显著的情况下,有些回归系数通不过显著性检验,甚至导致回归系数的[......]

Read more

自变量选择与逐步回归

何晓群教授《应用回归分析 R语言版》 第5章

自变量的选择,是建模的重要工作。全模型是有偏估计,选模型预测的均方误差比全模型预测的方差更小,因此建立回归模型时,应当尽可能的剔除可有可无的自变量。

当自变量子集扩大时,残差平方和随之减小,复决定系数随之增加。如果按残差平方和越小越好的原则来选择自变量子集时,变量越多越好。由于变量的多重共线性,给变量的回归系数估计值带来不稳定性,加上变量的测量误差[......]

Read more

多元自适应回归样条

多元自适应回归样条(Multivariate Adaptive Regression Splines,简称MARS)是机器学习算法中的一种,属于能自适应处理高维数据的样条回归方法。

优点:

样条在实质上是一种具有一定光滑度的分段多项式,各相邻段上的多项式之间又具有某种连接性质,因而它既保持了多项式的简单性和逼近的可行性,又在各段之间保持了相对独立的局部性质。

由于mars方法应用过程中,不需[......]

Read more

20200206

2020.2.6日

每一个普通人,都曾经有一颗想成为英雄的愿望,但我们多数都成为了一个普通人。

感谢您,并没有想成为英雄,但做到了一个普通人的本分。

愿天堂没有冠状病毒...

致敬!

转:

他有多高尚,这时代就有多卑鄙。[......]

Read more

处理离群数据的一些想法

最近在做分段数据统计的时候,发现某些情况下,离群数据严重干扰了数据统计,所以一直在想办法对离群数据进行处理。

最典型的离群数据,莫过于单根峰了,在气显示相对活跃,特别是钻遇过裂缝的井里,频繁出现因为停泵引起的后效气测异常,这些异常不是地层含气性的真实反映,理应不参与数据统计。平常其实没有太多注意这类现象,但是有的井实在太频繁,并且单根峰与正常的气测值差异太大,有的已经达到10倍左右了,不处理对数[......]

Read more