分类目录归档:Math

关于岭回归的一些简单概念

当解释变量存在严重的多重共线性特征时,会导致普通最小二乘法的效果不理想,因此出现了岭回归。1962年就有学者研究出了岭估计,这是一种改进最小二乘估计。

岭回归估计实际是一个估计族。有偏性是岭回归的一个重要特性。岭回归估计参数不是回归参数的线性变换,也不是因变量的线性函数。

当岭参数k在0到无穷大内变化时,岭回归参数时k的函数,画出的曲线称为岭迹。开展岭迹分析,可以判断采用最小二乘估计是否适用。[......]

Read more

多重共线性的情形及处理

何晓群教授《应用回归分析 R语言版》第6章

1、背景

多元线性回归模型的基本假设是自变量之间线性无关。但实际上自变量之间可能存在多重共线性,也称为复共线性,也就是变量之间存在较强的相关性。

当自变量存在多重共线性时,利用普通最小二乘法得到的回归参数估计值很不稳定,回归系数的方差随着多重共线性强度的增加而加速增长,会造成回归方程高度显著的情况下,有些回归系数通不过显著性检验,甚至导致回归系数的[......]

Read more

自变量选择与逐步回归

何晓群教授《应用回归分析 R语言版》 第5章

自变量的选择,是建模的重要工作。全模型是有偏估计,选模型预测的均方误差比全模型预测的方差更小,因此建立回归模型时,应当尽可能的剔除可有可无的自变量。

当自变量子集扩大时,残差平方和随之减小,复决定系数随之增加。如果按残差平方和越小越好的原则来选择自变量子集时,变量越多越好。由于变量的多重共线性,给变量的回归系数估计值带来不稳定性,加上变量的测量误差[......]

Read more

多元自适应回归样条

多元自适应回归样条(Multivariate Adaptive Regression Splines,简称MARS)是机器学习算法中的一种,属于能自适应处理高维数据的样条回归方法。

优点:

样条在实质上是一种具有一定光滑度的分段多项式,各相邻段上的多项式之间又具有某种连接性质,因而它既保持了多项式的简单性和逼近的可行性,又在各段之间保持了相对独立的局部性质。

由于mars方法应用过程中,不需[......]

Read more

处理离群数据的一些想法

最近在做分段数据统计的时候,发现某些情况下,离群数据严重干扰了数据统计,所以一直在想办法对离群数据进行处理。

最典型的离群数据,莫过于单根峰了,在气显示相对活跃,特别是钻遇过裂缝的井里,频繁出现因为停泵引起的后效气测异常,这些异常不是地层含气性的真实反映,理应不参与数据统计。平常其实没有太多注意这类现象,但是有的井实在太频繁,并且单根峰与正常的气测值差异太大,有的已经达到10倍左右了,不处理对数[......]

Read more

瞎说神经网络&深度学习

还没有搞定机器学习,又开始惹上深度学习,反正二者有太多一样的思维。

很多人把深度学习称为神经网络的别名,也不是没有道理,基本上后面起作用的都是神经网络算法,数学家真是牛,能把那么复杂的现实问题,转化为数学问题,更重要的是,这些数学问题得到了解决。

最近买了本《深度学习的数学》,号称用excel就可以实践,很是诱人。买回来发现书很小,居然是32开本的,看了一下页数,二百来页,难怪,内容不够丰富。[......]

Read more