复习岭回归

复习岭回归

原理及简介

Rideg regression是对不适定问题进行回归分析时最经常使用的一种正则化方法。对于有些矩阵,当矩阵中的某个元素的一个很小的变动,可能就会引起最后计算结果变化很大,这种矩阵就是“病态矩阵”, (说明在小扰动之下是不稳定的),有时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。

在回归分析中常用的最小二乘法是一种无偏估计。对于一个适定的问题,X通常是列満秩的 $X\theta = y,$

这时候损失函数是 $|X\theta-y|^2.$

若采用闭式解的话,是这样的

但是当X不是列满秩的时候,比如说当数据的特征比样本点还要多.此时这个问题不再适定,这时候$X^TX$ 不可逆,数学里面的处理办法是算这个$(X^TX+\lambda I)^{-1}$,因为这个当$\lambda$ 足够大的时候一定是inverse的,而这时候实际上对应的损失函数是

这时候的闭式解是

那么当$\lambda$在动的时候就可以画出一个图,然后就可以选择一个合适的$\lambda$使得图稳定了.

打赏,谢谢~~

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,多谢支持~

打开微信扫一扫,即可进行扫码打赏哦