网站营销工作流程传奇小程序源码

笔记内容侵权联系删

激活函数的概念
神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层(隐层或输出层)。在多层神经网络中，上层节点的输入在加权求和后与下层节点的输入之间具有一个函数关系，这个函数称为激活函数(又称激励函数)

【 如果在神经网络中不添加激活函数，那么它不具备非线性能力，就无法解决非线性问题】

1.  Sigmoid函数

2.tanh函数

3.Rectified Linear Unit(ReLU)函数

4.LeakyRelu函数

5.Softplus函数

6.Softmax函数