激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端，旨在帮助网络学习数据中的复杂模式。
下图展示了一个神经元是如何输入激活函数以及如何得到该神经元最终的输出：
如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。
使用激活函数能够给神经元引入非线性因素，使得神经网络可以任意逼近任何非线性函数，使深层神经网络表达能力更加强大，这样神经网络就可以应用到众多的非线性模型中。
当多层神经网络中的每个神经元使用这种非线性激活函数时，会产生原始数据的新 “表示”，并最终允许非线性决策边界，例如XOR问题。因此，在 XOR 的情况下，如果我们在一个隐藏层中添加两个 S 形神经元，我们可以在另一个空间中将原始 2D 图形重塑为类似于下图左侧的 3D 图像。因此，这个脊允许对 XOR 门进行分类，它表示下图右侧 2D XOR 门的淡黄色区域。因此，如果我们的输出值位于山脊的较高区域，则它应该是 true 或 1（例如天气寒冷但不热，或天气炎热但不寒冷），如果我们的输出值位于两个角的下部平坦区域，那么它是 false 或 0，因为说天气既热又冷或既不热也不冷是不正确的。
https://towardsdatascience.com/multi-layer-neural-networks-with-sigmoid-function-deep-learning-for-rookies-2-bf464f09eb7f
https://machinelearningmastery.com/choose-an-activation-function-for-deep-learning/