指数函数十分重要，因为后面将要学习到的激活函数有很多都与指数函数有关，所以我建议大家在学习所有的激活函数之前，先学习或者复习一下指数函数相关的知识点。
最初，指数函数指的是形式为$b^{x}$的数学函数，其中：$b$是底数，$x$是指数。而如今，指数函数通常特指以$e$为底数的指数函数，即$e^{x}$，也可以写作$exp(x)$。
$e$是数学常数，是个与$π$同等重要的数学常数，其近似值为$2.718281828$。$e$又称为欧拉数，因为是欧拉给$2.718281828$这个常数命名为$e$。
指数函数的特点是按恒定速率翻倍。例如，细菌培养时细菌总数（近似的）每三个小时翻倍，家庭汽车的折旧成本可以按照每年减少10%价值来计算，居民存款的复利计算等等，这些都可以被表示为一个指数。
指数函数对于x的负数值非常平坦，对于x的正数值迅速攀升，在x等于0的时候等于1。它的y值总是等于在这一点上的斜率