作者注:本文大部分内容成文于2019年中,原来是打算将激活函数、优化策略、损失函数写成一篇文章发出来,谁知篇幅过长,写着写着没了兴趣。虽然时隔两年,但是激活函数部分的内容几乎没有什么需要增添的地方,所以就直接发出来了。接下来第二篇会用一个很容易记忆的框架聊聊 优化策略,敬请期待。

自2012年始,深度学习(Deep Learning, DL)横扫了计算机视觉领域(Computer Vision, CV)的诸多任务比赛,在包括识别 (classification)、检测 (detection)、分割 (segmentation)、跟踪 (tracking) 等领域逐渐取代原有方法称为学界和业界都接受的框架。作为我在深度学习领域写的第一篇文章,我将在这篇文章里面讲一下激活函数 (activate function)、优化函数 (optimization) 和损失函数 (loss function) 三个在模型训练过程中有着关键作用的内容。新入门的童鞋们,建议你们可以在了解完卷积层和池化层的作用后,再来看这篇文章。文后我也会附上参考内容的目录,希望有错误之处各位热情指正,感谢。

激活函数

本质上,深度学习算法可以被理解成一个自学习的函数逼近器,实质上与以前用统计方法得出的回归模型没有本质差别。那么为何深度学习能够在计算机视觉等复杂领域能够获得令人满意的拟合结果?

主要是两个原因:

一、“神经网络+反向传播”的组合大大增加了模型中的可学习参数量。在统计方法的思路下,最简单的回归思路是“线性模型+最小二乘法”,以此思路发展的一系列更高级的方法包括一些非线性模型的回归的方式比如逻辑回归(logisitic regression),它们的内在思想其实还是相通的,即,根据数据观察和参数选择(variable selection),我们先确定使用的回归模型的基本形式,然后通过“最大似然估计 (maximum likelihood estimation, MSE)”等方式计算回归模型中各参数的值。显见,理论上这些方法对参数量的多少和模型的复杂性没有太多的要求和限制,但是实际使用中碍于计算资源和难度等因素,我们不可能通过这样的方法去获得模型(想想CV里面需要在不同光照颜色形状等条件下识别多种类物体,不难发现模型鲁棒性所需要的变量数量会是何等之多)。而神经网络和反向传播则解决了这个问题,以后有机会再填坑讲一下原因。

二、激活函数层为深度学习这一函数逼近器增加了非线性,使模型能够趋于过拟合。以下图作为例子,现实生活中的数据,无论是表格型的商业数据还是图片,它们的识别模型的解边界往往不是光滑的直线或者是简单的曲线,而是一条十分复杂的非线性边界。在深度学习中,倘若不对卷积层的结果进行“激活”,那么无论卷积层池化层层数再多,参数量再大,模型也永远是线性的。激活函数就像是下图三个公式中的函数 g,当没有激活函数层的时候,这个函数 g = 1,模型不具有非线性。只有当模型采用激活函数的时候,模型才会开始具有非线性的特性。

Screen Shot 2021-12-06 at 21.44.56.png

因此,激活函数作为赋予深度学习模型非线性特性的层,实际上起到的画龙点睛的作用。没有非线性,深度函数就会丧失了它的神奇功效。下面将试着从简单到复杂去介绍几种常见常用的激活函数。

1. Sigmoid函数

$$ g(x)=\frac{1}{1+e^{-x}} $$

$$ g′(x) = g(x)(1 − g(x)) $$

Screen Shot 2021-12-06 at 21.45.22.png

观察上面示意图和公式可知,Sigmoid函数有以下特性: