分类目录归档:R

关于岭回归的一些简单概念

当解释变量存在严重的多重共线性特征时,会导致普通最小二乘法的效果不理想,因此出现了岭回归。1962年就有学者研究出了岭估计,这是一种改进最小二乘估计。

岭回归估计实际是一个估计族。有偏性是岭回归的一个重要特性。岭回归估计参数不是回归参数的线性变换,也不是因变量的线性函数。

当岭参数k在0到无穷大内变化时,岭回归参数时k的函数,画出的曲线称为岭迹。开展岭迹分析,可以判断采用最小二乘估计是否适用。[......]

Read more

多重共线性的情形及处理

何晓群教授《应用回归分析 R语言版》第6章

1、背景

多元线性回归模型的基本假设是自变量之间线性无关。但实际上自变量之间可能存在多重共线性,也称为复共线性,也就是变量之间存在较强的相关性。

当自变量存在多重共线性时,利用普通最小二乘法得到的回归参数估计值很不稳定,回归系数的方差随着多重共线性强度的增加而加速增长,会造成回归方程高度显著的情况下,有些回归系数通不过显著性检验,甚至导致回归系数的[......]

Read more

自变量选择与逐步回归

何晓群教授《应用回归分析 R语言版》 第5章

自变量的选择,是建模的重要工作。全模型是有偏估计,选模型预测的均方误差比全模型预测的方差更小,因此建立回归模型时,应当尽可能的剔除可有可无的自变量。

当自变量子集扩大时,残差平方和随之减小,复决定系数随之增加。如果按残差平方和越小越好的原则来选择自变量子集时,变量越多越好。由于变量的多重共线性,给变量的回归系数估计值带来不稳定性,加上变量的测量误差[......]

Read more

处理离群数据的一些想法

最近在做分段数据统计的时候,发现某些情况下,离群数据严重干扰了数据统计,所以一直在想办法对离群数据进行处理。

最典型的离群数据,莫过于单根峰了,在气显示相对活跃,特别是钻遇过裂缝的井里,频繁出现因为停泵引起的后效气测异常,这些异常不是地层含气性的真实反映,理应不参与数据统计。平常其实没有太多注意这类现象,但是有的井实在太频繁,并且单根峰与正常的气测值差异太大,有的已经达到10倍左右了,不处理对数[......]

Read more

win10下Rstudio里的一个奇怪的乱码问题

在Rstudio里,中文注释显示是正常的,读入中文路径下的文件也是正常的,但直接查看的数据,中文或者罗马数字是乱码,但是存为csv文件,罗马数字又是对的,部分中文有乱码。

直接用read.csv读入数据,加了 encoding = 'UTF-8',最后都有乱码。

win10本来是中文版,安装了英文语言包,win界面是英文显示,但我在其他软件里,输入中文,显示中文,罗马数字没有任何问题。[......]

Read more