人工神经网络是近几年来发展起来的新兴学科,它是一种大规模并行分布处理的非线性系统,适用解决难以用数学模型描述的系统,逼近任何非线性的特性,具有很强的自适应、自学习、联想记忆、高度容错和并行处理能力,使得神经网络理论的应用已经渗透到了各个领域。近年来,人工神经网络在水质分析和评价中的应用越来越广泛,并取得良好效果。在这些应用中,纵观应用于模式识别的神经网络,BP网络是最有效、最活跃的方法之一。
BP网络是多层前向网络的权值学习采用误差逆传播学习的一种算法(Error Back Propagation,简称BP)。在具体应用该网络时分为网络训练及网络工作两个阶段。在网络训练阶段,根据给定的训练模式,按照“模式的顺传播”→“误差逆传播”→“记忆训练”→“学习收敛”4个过程进行网络权值的训练。在网络的工作阶段,根据训练好的网络权值及给定的输入向量,按照“模式顺传播”方式求得与输入向量相对应的输出向量的解答(阎平凡,2000)。
BP算法是一种比较成熟的有指导的训练方法,是一个单向传播的多层前馈网络。它包含输入层、隐含层、输出层,如图4-4所示。
图4-4 地下水质量评价的BP神经网络模型
图4-4给出了4层地下水水质评价的BP神经网络模型。同层节点之间不连接。输入信号从输入层节点,依次传过各隐含层节点,然后传到输出层节点,如果在输出层得不到期望输出,则转入反向传播,将误差信号沿原来通路返回,通过学习来修改各层神经元的权值,使误差信号最小。每一层节点的输出只影响下一层节点的输入。每个节点都对应着一个作用函数(f)和阈值(a),BP网络的基本处理单元量为非线性输入-输出的关系,输入层节点阈值为0,且f(x)=x;而隐含层和输出层的作用函数为非线性的Sigmoid型(它是连续可微的)函数,其表达式为
f(x)=1/(1+e-x) (4-55)
设有L个学习样本(Xk,Ok)(k=1,2,…,l),其中Xk为输入,Ok为期望输出,Xk经网络传播后得到的实际输出为Yk,则Yk与要求的期望输出Ok之间的均方误差为
区域地下水功能可持续性评价理论与方法研究
式中:M为输出层单元数;Yk,p为第k样本对第p特性分量的实际输出;Ok,p为第k样本对第p特性分量的期望输出。
样本的总误差为
区域地下水功能可持续性评价理论与方法研究
由梯度下降法修改网络的权值,使得E取得最小值,学习样本对Wij的修正为
区域地下水功能可持续性评价理论与方法研究
式中:η为学习速率,可取0到1间的数值。
所有学习样本对权值Wij的修正为
区域地下水功能可持续性评价理论与方法研究
通常为增加学习过程的稳定性,用下式对Wij再进行修正:
区域地下水功能可持续性评价理论与方法研究
式中:β为充量常量;Wij(t)为BP网络第t次迭代循环训练后的连接权值;Wij(t-1)为BP网络第t-1次迭代循环训练后的连接权值。
在BP网络学习的过程中,先调整输出层与隐含层之间的连接权值,然后调整中间隐含层间的连接权值,最后调整隐含层与输入层之间的连接权值。实现BP网络训练学习程序流程,如图4-5所示(倪深海等,2000)。
图4-5 BP神经网络模型程序框图
若将水质评价中的评价标准作为样本输入,评价级别作为网络输出,BP网络通过不断学习,归纳出评价标准与评价级别间复杂的内在对应关系,即可进行水质综合评价。
BP网络对地下水质量综合评价,其评价方法不需要过多的数理统计知识,也不需要对水质量监测数据进行复杂的预处理,操作简便易行,评价结果切合实际。由于人工神经网络方法具有高度民主的非线性函数映射功能,使得地下水水质评价结果较准确(袁曾任,1999)。
BP网络可以任意逼近任何连续函数,但是它主要存在如下缺点:①从数学上看,它可归结为一非线性的梯度优化问题,因此不可避免地存在局部极小问题;②学习算法的收敛速度慢,通常需要上千次或更多。
神经网络具有学习、联想和容错功能,是地下水水质评价工作方法的改进,如何在现行的神经网络中进一步吸取模糊和灰色理论的某些优点,建立更适合水质评价的神经网络模型,使该模型既具有方法的先进性又具有现实的可行性,将是我们今后研究和探讨的问题。
一文搞懂BP神经网络——从原理到应用
BP网络算法流程主要包括信号的正向传播和误差的反向传播两个阶段。神经元模型 每个神经元接受其他神经元的输入信号,通过带有权重的连接传递信号,计算总输入值,与阈值进行对比后,通过激活函数处理得到最终输出。激活函数 引入激活函数是为了引入非线性。常用激活函数包括Sigmoid、Tanh和ReLU,每种函数在处理数...
神经网络,BP算法的理解与推导
在理解神经网络与BP算法之前,首先需要明确神经网络的基本概念,并对BP算法有初步了解。BP算法全称为反向传播算法,是一种用于训练多层神经网络的常见方法。它通过计算网络输出与期望输出之间的误差,然后反向传播这个误差,对网络的权重进行调整,以减少这个误差。神经网络的数学描述 接下来,我们将从数学角度...
bp是什么意思 基因?
()BP是什么意思?BP全称为“反向传播算法”,是神经网络中一种常见的训练方法,也是深度学习中最核心的技术之一。BP算法通过不断调整神经网络的权重和偏置,使得网络能够更好地拟合训练数据,从而达到更高的准确率和泛化能力。()BP算法的原理是什么?BP算法本质上是一种梯度下降优化方法,通过计算神经...
BP完成是什么意思?
BP的全称是“Back Propagation”,是一种神经网络训练算法。它的作用是将神经网络在误差反向传播的过程中对各层权值和阈值进行调整,使神经网络输出接近于实际值。BP算法的本质是基于梯度下降的优化方法,通过对网络参数的迭代学习,不断调整权重和偏置值,直到找到最优的参数组合,从而提升神经网络的预测能力...
什么是bp神经网络
BP神经网络是一种基于反向传播算法的多层前馈神经网络。其主要特点是能够通过学习样本数据中的模式,调整网络参数,从而实现复杂的非线性映射和决策任务。BP神经网络主要由输入层、隐藏层和输出层构成。其中,输入层负责接收外部输入数据,输出层负责输出网络的处理结果,而隐藏层则位于输入层和输出层之间,用于...
bp神经网络算法介绍
BP神经网络算法,全称为反向传播神经网络算法,是一种在多层前馈神经网络中应用的学习算法。其核心是通过反向传播的方式,调整神经网络的参数,使得网络能够学习到输入与输出之间的映射关系。这种算法广泛应用于模式识别、图像处理、语音识别等领域。其主要分为两个阶段:前向传播和反向传播。在前向传播阶段,...
深度神经网络中的BP算法矩阵求导
首先,我们采用符号表示。假设神经网络有L层,第一层输入为列向量x,对应神经元输出为a1,其它层神经元输入用z表示,输出为a,z与a的关系由激活函数和权重矩阵确定。权重矩阵W的维度为a的神经元数量乘以z的神经元数量。最后一层偏差b由代价函数和预测值y与真实值t定义,采用均方误差(MSE)作为代价...
bp神经网络和卷积神经网络的区别
一、计算方法不同 1、BP神经网络:是一种按照误差逆向传播算法训练的多层前馈神经网络。3、卷积神经网络:包含卷积计算且具有深度结构的前馈神经网络。二、用途不同 1、BP神经网络:(1)函数逼近:用输入向量和相应的输出向量训练一个网络逼近一个函数 (2)模式识别:用一个待定的输出向量将它与输入...
bp神经网络算法介绍
input)、隐层(hide layer)和输出层(output layer)。2、BP神经网络算法是在BP神经网络现有算法的基础上提出的,是通过任意选定一组权值,将给定的目标输出直接作为线性方程的代数和来建立线性方程组,解得待求权,不存在传统方法的局部极小及收敛速度慢的问题,且更易理解。
bp神经网络算法介绍
其结构包括输入层、隐层和输出层,构成了一种灵活且强大的模型。相较于传统的BP神经网络算法,BP神经网络算法有所创新。它在原有的基础上,通过设计新的策略,如直接设定一组权值,将目标输出作为线性方程组的解,以求得未知权重。这种方法有效地避免了传统方法易陷入局部极小值以及收敛速度慢的问题,...