概念

正则化(Regularization) 是机器学习中对原始损失函数引入额外信息,以便防止过拟合和提高模型泛化性能的一类方法的统称。正则化是在经验风险上面加了一个正则化项或者惩罚项,正则化函数一般是模型法则度的单调增函数,模型越负责,正则化值就越大.

正则化的一般形式:

\min_{f \in F} \frac{1}{N} \sum^N_{i=1} L(y_i, f(x_i)) + \lambda J(f) $$ 第一项是经验风险,第二项就是正则化项,$\lambda \ge 0$ 为调整两者之间的关系. L1正则化和L2正则化可以看做是**损失函数的惩罚项**。所谓**惩罚**是指对损失函数中的**某些参数做一些限制**。对于线性回归模型,**使用L1正则化的模型叫做Lasso回归,使用L2正则化的模型叫做Ridge回归(岭回归)**。 线性回归L1正则化损失函数: $$\min_w [\sum_{i=1}^{N}(w^Tx_i - y_i)^2 + \lambda \|w\|_1 ]........(1) $$ 线性回归L2正则化损失函数: $$ \min_w[\sum_{i=1}^{N}(w^Tx_i - y_i)^2 + \lambda\|w\|_2^2] ........(2) $$ 可以看到正则化项是对系数做了限制。L1正则化和L2正则化的说明如下: - L1正则化是指权值向量$w$中各个元素的绝对值之和,通常表示为$∥w∥^1$ - L2正则化是指权值向量$w$中各个元素的平方和然后再求平方根(可以看到Ridge回归的L2正则化项有平方符号),通常表示为$∥w∥^2_2$。 - 一般都会在正则化项之前添加一个系数$λ$。 未完待续....


标 题:《深入理解L1,L2正则化》
作 者:zeekling
描 述:梅干菜你个小酥饼哦。
地 址:https://www.zeekling.cn/articles/2019/09/22/1569160001367.html
本站加了原创标签的文章都是本站原创作品, 转载请注明:转载自ZEEKLING博客