做网站框架图哪个在线网站好用,模板生成网站,上海公共招聘网官方网站,什么叫网站被k三、深度学习
#xff08;二#xff09;人工神经网络
人工神经网络是模仿人类大脑神经系统工作原理所创建的数学模型#xff0c;有并行的分布处理能力、高容错性和自我学习等特征。
1、感知器
感知器由Frank Roseblatt于1957年提出#xff0c;是一种广泛使用的线性分类…
三、深度学习
二人工神经网络
人工神经网络是模仿人类大脑神经系统工作原理所创建的数学模型有并行的分布处理能力、高容错性和自我学习等特征。
1、感知器
感知器由Frank Roseblatt于1957年提出是一种广泛使用的线性分类器感知器可谓是最简单的人工神经网络只有一个神经元。 感知器是对生物神经元的简单数学模拟有与生物神经元相对于的部件如权重对应突触偏置对应阈值激活函数对应细胞体输出为1或-1。
2、神经网络模型
下图是神经网络的结构模型图最左边的层是输入层最右边的层是输出层输入层和输出层之间的层叫做隐藏层包含多个隐藏层的神经网络叫做深度神经网络。 对于拟合任何一个函数而言浅层神经网络浅而宽需要大量神经元而深层神经网络深而窄需要更多的层和较少的神经元。一般来说深层神经网络参数更少更节省资源但深层神经网络并不好训练需要大量数据和很好的技巧才能训练出好的神经网络。
3、反向传播算法
学习规则可以用来修改神经网络的权重和偏置值其目的是训练网络更好的拟合特定任务的需求。常见的学习规则有Hebb学习规则、Delta算法及反向传播算法BP。 BP算法是人工神经网络较常采用的学习方法其基本思想是逐一由样本集中的样本XkYk计算出实际输出Ok和误差测度Ep对w1w2…wn权值做调整重复这个循环直到误差降至最低。 用输出层的误差调整输出层的权值矩阵并因此误差估计输出层的直接前导误差再用输出层直接前导层误差估计更前一层的误差如此获得所有其他各层的误差估计并用这些估计实现对权值矩阵的修改形成将输出端出现的误差沿着与输入信号相反的方向逐级向输入端传递的链式求解过程。 BP算法学习过程应用到深度学习中分为两个子过程。输入数据正向传递子过程和误差数据方向传递子过程正向传播求误差反向传播求偏导。 下面以三层神经网络为例详细说明BP算法的原理及推导求解过程。
1正向传播求误差
网络分为三层设输入层到隐藏层的权值为wji(0)隐藏层到输出层的权值为wji(1)权重和偏置的初始值一般根据实际情况采用随机值或经验值。输入层神经元个数为n隐藏层神经元个数为m输出层为1采用sigmod激活函数。 输入层的输入向量X(x1,x2,…,xn)隐藏层的输出向量H(h1,h2,…,hm)有式子1 其中netj(0)为未激活之前的神经网络计算输出wji(0)为权值bj(0)为节点hj的偏置值f()为激活函数θj(0)是阈值用来改变神经元的活性只有当神经元接收的信息达到阈值时才会被激活同样输出层向量O(o1,o2,…,xl)有式子2
2反向传播求偏导
设d为期望输出o为实际输出E为损失函数又称误差信号则损失函数定义为式子3 dk是输出层第k个单元的期望输出ok是输出层第k个单元的实际输出。将损失函数E展开到隐藏层即把式子2带入到式子3中可以得到式子4 再把损失函数E展开到输入层即把式子1带入到式子4中可以得到式子5 从式子5中可以看出损失函数E是关于权值和偏置的函数要使E最小就要沿着梯度的反方向不断修改和调整权值和偏置。对于wkj(1)来说可以选择任意初始点wki(1)从wki(1)沿着梯度下降的方向新进所以取式子6 其中η是学习率取值0-1可以用于避免陷入求解空间的局部最优值。同理可得式子7 对Δwki(1)和Δbk(1)进一步展开可以得式子8 对隐藏层的Δwji(0)和Δbj(0)进一步展开可以得式子9 对输出层和隐藏层各定义一个误差权值信号令式子10 则式子11
式子12 ξko和ξjy又可以展开为式子13 由此根据式子3损失函数对o和h求偏导可得式子14 其中由sigmod函数性质可知 并将式子14带入式子13可得式子15 将式子15带入到式子11和式子12中即可求得BP算法的权值和偏置更新计算公式。
