激活函数
激活函数旨在帮助网络学习数据中的复杂模式，类似于人类大脑中的神经元模型，激活函数决定了向像一个传经元传递的数值。
激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。
在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。因此，激活函数是确定神经网络输出的数学方程式，本文概述了深度学习中常见的十种激活函数及其优缺点。
首先我们来了解一下人工神经元的工作原理，大致如下：
将其过程可视化如下图所示：
1. Sigmoid 激活函数
Sigmoid 函数的图像看起来像一个 S 形曲线。
函数表达式如下：
在什么情况下适合使用 Sigmoid 激活函数呢？
- Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到 1，因此它对每个神经元的输出进行了归一化；
- 用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1，因此 Sigmoid 函数非常合适；
- 梯度平滑，避免「跳跃」的输出值；
- 函数是可微的。这意味着可以找到任意两个点的 sigmoid 曲线的斜率；
- 明确的预测，即非常接近 1 或 0。
Sigmoid 激活函数有哪些缺点？
- 倾向于梯度消失；
- 函数输出不是以 0 为中心的，这会降低权重更新的效率；
- Sigmoid 函数执行指数运算，计算机运行得较慢。
2. Tanh / 双曲正切激活函数
tanh 激活函数的图像也是 S 形，表达式如下：
tanh 是一个双曲正切函数。tanh 函数和 sigmoid 函数的曲线相对相似。但是它比 sigmoid 函数更有一些优势。
- 首先，当输入较大或较小时，输出几乎是平滑的并且梯度较小，这不利于权重更新。二者的区别在于输出间隔，tanh 的输出间隔为 1，并且整个函数以 0 为中心，比 sigmoid 函数更好；
- 在 tanh 图中，负输入将被强映射为负，而零输入被映射为接近零。
注意：在一般的二元分类问题中，tanh 函数用于隐藏层，而 sigmoid 函数用于输出层，但这并不是固定的，需要根据特定问题进行调整。
3. ReLU 激活函数
ReLU 激活函数图像如上图所示，函数表达式如下：
ReLU 函数是深度学习中较为流行的一种激活函数，相比于 sigmoid 函数和 tanh 函数，它具有如下优点：
- 当输入为正时，不存在梯度饱和问题。
- 计算速度快得多。ReLU 函数中只存在线性关系，因此它的计算速度比 sigmoid 和 tanh 更快。
当然，它也有缺点：
- Dead ReLU 问题。当输入为负时，ReLU 完全失效，在正向传播过程中，这不是问题。有些区域很敏感，有些则不敏感。但是在反向传播过程中，如果输入负数，则梯度将完全为零，sigmoid 函数和 tanh 函数也具有相同的问题；
- 我们发现 ReLU 函数的输出为 0 或正数，这意味着 ReLU 函数不是以 0 为中心的函数。
4. Leaky ReLU
它是一种专门设计用于解决 Dead ReLU 问题的激活函数：
ReLU vs Leaky ReLU
为什么 Leaky ReLU 比 ReLU 更好？
- Leaky ReLU 通过把 x 的非常小的线性分量给予负输入（0.01x）来调整负值的零梯度（zero gradients）问题；
- leak 有助于扩大 ReLU 函数的范围，通常 a 的值为 0.01 左右；
- Leaky ReLU 的函数范围是（负无穷到正无穷）。
注意：从理论上讲，Leaky ReLU 具有 ReLU 的所有优点，而且 Dead ReLU 不会有任何问题，但在实际操作中，尚未完全证明 Leaky ReLU 总是比 ReLU 更好。
5. ELU
ELU vs Leaky ReLU vs ReLU
ELU 的提出也解决了 ReLU 的问题。与 ReLU 相比，ELU 有负值，这会使激活的平均值接近零。均值激活接近于零可以使学习更快，因为它们使梯度更接近自然梯度。
显然，ELU 具有 ReLU 的所有优点，并且：
- 没有 Dead ReLU 问题，输出的平均值接近 0，以 0 为中心；
- ELU 通过减少偏置偏移的影响，使正常梯度更接近于单位自然梯度，从而使均值向零加速学习；
- ELU 在较小的输入下会饱和至负值，从而减少前向传播的变异和信息。
一个小问题是它的计算强度更高。与 Leaky ReLU 类似，尽管理论上比 ReLU 要好，但目前在实践中没有充分的证据表明 ELU 总是比 ReLU 好。
6. PReLU（Parametric ReLU）
PReLU 也是 ReLU 的改进版本：
看一下 PReLU 的公式：参数α通常为 0 到 1 之间的数字，并且通常相对较小。
- 如果 a_i= 0，则 f 变为 ReLU
- 如果 a_i> 0，则 f 变为 leaky ReLU
- 如果 a_i 是可学习的参数，则 f 变为 PReLU
PReLU 的优点如下：
- 在负值域，PReLU 的斜率较小，这也可以避免 Dead ReLU 问题。
- 与 ELU 相比，PReLU 在负值域是线性运算。尽管斜率很小，但不会趋于 0。
7. Softmax
Softmax 是用于多类分类问题的激活函数，在多类分类问题中，超过两个类标签则需要类成员关系。对于长度为 K 的任意实向量，Softmax 可以将其压缩为长度为 K，值在（0，1）范围内，并且向量中元素的总和为 1 的实向量。
Softmax 与正常的 max 函数不同：max 函数仅输出最大值，但 Softmax 确保较小的值具有较小的概率，并且不会直接丢弃。我们可以认为它是 argmax 函数的概率版本或「soft」版本。
Softmax 函数的分母结合了原始输出值的所有因子，这意味着 Softmax 函数获得的各种概率彼此相关。
Softmax 激活函数的主要缺点是：
- 在零点不可微；
- 负输入的梯度为零，这意味着对于该区域的激活，权重不会在反向 传播期间更新，因此会产生永不激活的死亡神经元。
8. Swish
函数表达式：y = x * sigmoid (x)
Swish 的设计受到了 LSTM 和高速网络中 gating 的 sigmoid 函数使用的启发。我们使用相同的 gating 值来简化 gating 机制，这称为 self-gating。
self-gating 的优点在于它只需要简单的标量输入，而普通的 gating 则需要多个标量输入。这使得诸如 Swish 之类的 self-gated 激活函数能够轻松替换以单个标量为输入的激活函数（例如 ReLU），而无需更改隐藏容量或参数数量。
Swish 激活函数的主要优点如下：
- 「无界性」有助于防止慢速训练期间，梯度逐渐接近 0 并导致饱和； （同时，有界性也是有优势的，因为有界激活函数可以具有很强的正则化，并且较大的负输入问题也 能解决）；
- 导数恒 > 0；
- 平滑度在优化和泛化中起了重要作用。
9. Maxout
在 Maxout 层，激活函数是输入的最大值，因此只有 2 个 maxout 节点的多层感知机就可以拟合任意的凸函数。
单个 Maxout 节点可以解释为对一个实值函数进行分段线性近似 (PWL) ，其中函数图上任意两点之间的线段位于图（凸函数）的上方。
Maxout 也可以对 d 维向量（V）实现：
假设两个凸函数 h_1(x) 和 h_2(x)，由两个 Maxout 节点近似化，函数 g(x) 是连续的 PWL 函数。
因此，由两个 Maxout 节点组成的 Maxout 层可以很好地近似任何连续函数。
10. Softplus
Softplus 函数：f（x）= ln（1 + exp x）
Softplus 的导数为
f ′(x)=exp(x) / ( 1+exp x )
= 1/ (1 +exp(−x ))
，也称为 logistic / sigmoid 函数。
Softplus 函数类似于 ReLU 函数，但是相对较平滑，像 ReLU 一样是单侧抑制。它的接受范围很广：(0, + inf)。
实现多分类
在机器学习尤其是深度学习领域中，经常需要把一些输入映射到0-1之间的概率值。这个时候最先想到的就是sigmoid和softmax了，softmax是二分类函数sigmoid在多分类上的推广，目的就是将多分类结果以概率的形式展现出来。在数学，尤其是概率论和相关领域中，softmax函数又称归一化指数函数，是逻辑函数的一种推广。Softmax函数实际上是有限项离散概率分布的梯度对数归一化。因此，Softmax函数在包括 多项逻辑回归，多项线性判别分析，朴素贝叶斯分类器和人工神经网络等的多种基于概率的多分类问题方法中都有着广泛应用。
在多分类问题中，超过两个类标签则需要类成员关系，对于长度为K的任意实向量，Softmax可以将其压缩为长度为k，值在（0,1）范围，并且向量中元素和为1的实向量。
softmax函数与max函数不同，max函数只输出最大值，而softmax确保较小的值具有较小的概率，并不会直接丢弃，可以认为它是argmax函数的概率版或soft版本，但这个soft其实并不那么soft。softmax函数的分母结合了输出值的所有因子，这意味着softmax函数获得的各种概率彼此相关，但softmax函数的缺点是在零点不可微，负输入的梯度为零，这意味着对于该区域的激活，权重不会在反向传播期间更新，因此会产生拥不激活的死亡神经元。
在解决多分类问题时，我们可以直接构建一个softmax回归模型，同时对所有类别进行识别。
在softmax回归中，包括了两个步骤:
步骤1，输入一个样本的特征向量，输出多个线性预测结果。
步骤2，将这些结果输入到softmax函数，softmax函数会将多个线性输出，转换为每个类别的概率。
先来看步骤1:
在某多分类问题中，有三个目标类别o1、o2、o3，四个输入特征，x1到x4。
softmax回归会基于输入x，计算o1、o2、o3三个线性输出。
在计算每一个线性输出o时，都会依赖一组w和b参数。
我们可以将softmax回归，看做是一个具有多个输出的单层神经网络。
我们可以基于矩阵，计算线性输出o。
例如，在计算o=Wx+b时，W是一个34的权重矩阵，b代表了一个31的偏置列向量，x是4*1的特征向量。
经过计算，会得到3*1的输出结果o。
计算出线性输出o后，进行步骤2:
将o输入到softmax函数，从而将线性输出o转换为每个类别的预测概率y。
设有n个输出，o1到on。第k个输出是ok，它对应的类别概率是yk。
其中yk等于，常数e的ok次方，除以e的o1次方加上e的o2次方，等等到e的on次方，所有指数函数的和。
这样，我们就通过softmax函数，将所有线性输出，都转换为0到1之间的实数了。
并且输出的总和，y1+y2加到yn，这个结果恰好为1。
而y1到yn，还可以看做是样本属于某个类别的概率，它们之间是可以比较的，并且y值较大的类别对应的概率更高。
例如，设输出o1、o2、o3分别等于3个浮点数，0.3、2.9和4.0。
然后计算e的0.3、2.9、4.0次方。
将它们累加到一起，结果是74.12。
然后使用e的oi次方除以74.12，就得到了对应的yi。
这时计算y1+y2+y3的和，结果恰好等于1。
因为y3的值最大，所以最终识别的结果为类别3。
总结来说:
softmax函数不会改变线性输出o之间的大小顺序，只会为每个类别分配相应的概率。
softmax回归模型的优势在于模型简洁和高效。
我们只需要一次训练，就可以得到同时识别所有类别的多分类模型。