<aside> 💡 https://blog.csdn.net/zouxy09/article/details/24971995

</aside>

一般来说,监督学习可以看做最小化下面的目标函数:

$$ w^*= argmin \sum \mathcal{L}(y_i, f(x_i;w)) + \lambda \Omega(w) $$

其中,第一项 $\mathcal{L}(y_i, f(x_i;\theta))$ 衡量我们的模型(分类或者回归)对第 $i$ 个样本的预测值 $f(x_i;\theta)$ 和真实的标签 $y_i$ 之间的误差。因为我们的模型是要拟合我们的训练样本的嘛,所以我们要求这一项最小,也就是要求我们的模型尽量的拟合我们的训练数据。但正如上面说言,我们不仅要保证训练误差最小,我们更希望我们的模型测试误差小,所以我们需要加上第二项,也就是对参数 $\theta$ 的规则化函数 $\Omega(w)$ 去约束我们的模型尽量的简单。

OK,到这里,如果你在机器学习浴血奋战多年,你会发现,哎哟哟,机器学习的大部分带参模型都和这个不但形似,而且神似。是的,其实大部分无非就是变换这两项而已。

对于第一项Loss函数,

还有等等。不同的loss函数,具有不同的拟合特性,这个也得就具体问题具体分析的。但这里,我们先不究loss函数的问题,我们把目光转向“规则项Ω(w)”。

在 Convex 的基础上,增加条件项形成 k-strong convex,可以进一步避免获得全局最优解的迭代速度慢的问题,只需在约束项上增加 $\frac{\alpha}{2} ||W||_2$,其中 $\alpha$ 为强度系数,自行调节。

Regression

$$ Y=wX+b $$

已知自变量$X$和因变量$Y$,求解模型参数$W$的问题

OLS