摘 要:人工神经网络(ANN)是在现代神经生物学和认识科学对人类信息处理研究基础上提出的,并利用物理器件来模拟生物神经网络某些结构和功能,由于神经网络具有很强的自适应性和学习能力,非线性映射能力,鲁棒性和容错能力等特性,其广泛应用于控制领域。提出了一种基于三次V变换的神经网络系统。该系统在逼近非线性曲线时明显优于BP网络和Chebyshev神经网络,收敛时间和学习时间明显缩短,在较少的隐含神经元个数的情况下,达到较好的逼近效果,并在拐点处有较好的逼近特性。
关键词:人工神经网络;三次V系统;函数生成元
中图分类号:TP389.1 文献标识码:A 文章编号:1672-7800(2011)04-0112-03
作者简介:邱兆新(1983-),男,广西陆川人,桂林理工大学机械与控制工程学院硕士研究生,研究方向为嵌入式系统应用与智能控制;邹自明(1965-),男,江西崇仁人,桂林理工大学机械与控制工程学院金工实习实验中心主任,研究方向为计算机控制。
1 神经网络简介
1.1 神经元模型
神经元是神经网络的基本处理单元,其结构模型如图1。 其中x-1,x-2,x-3,…,x-n为输入信号,w-{i1},w-{i2},w-{i3},…,w-{in}为神经元j之权值,u-i为线性组合结果,θ-i为阈值,y-i为神经元j的输出,将该模型用数学公式描述,可写为:
u-j=∑p[]i=1w-{ij}x-iv-j=u-j-θ-jy-j=φ(v-j)
φ(•)成为人工神经网络的变换函数或激活函数,根据需要可选择不同的函数类型。
1.2 神经网络学习算法
网络结构确定之后,唯一可变的是网络的权重和阈值。网络的学习就是指调整权重及阈值的过程。按有无教师指导可分为有教师指导学习型与无教师指导学习型。本文采用有教师指导学习型,其基本结构原理如图2所示。 这种学习方式需要外界存在一个“教师”,它可对一组给定的输入数据提供应有的输出结果。这组已知的输入、输出数据称为训练样本集。学习系统可根据已知的输出与实际输出的差值来调整系统参数。
2 三次V神经系统构造
如图3所示,其中输入层至隐层的权值恒为1,隐层至输出层的权值设为ω-i,输入层和输出层神经元的激励函数均为恒等映射,所有神经元的阈值恒为0.隐层神经元的激励函数g-i(x)是正交多项式基函数,由此构成的神经网络,统称为正交多项式神经网络。
该神经网络的输出y=∑n[]i=0ω-ig-i(x),如此构造的单输入正交多项式基函数神经网络,只需要三层便可逼近任意非线性函数f(x),且只有隐层至输出层的权值需要调整。
如图3所示的神经网络,令隐层神经元的激励函数为三次V变换正交多项式基函数,则可构造一种V3神经网络模型,其模型操作如下:
输入层:o=x
隐神经元输入:net-t=o
隐神经元输出:o-i=V-i(net-i)
输出层:y=∑n[]i=0ω-io-i=∑n[]i=0ω-iV-i(x).
设在样本(x-t,f(x-t)),t=1,2,…,s(s为样本点数)输入作用下,网络输出y与目标值f(x)的误差记为e-t=f(x-t)-y-t,t=1,2,…,s
网络训练指标: E=1[]2∑s[]t=1e+2-t
可采用如下基于梯度下降的BP学习算法进行权值修正:
Δω-i=-ηE[]ω-i=ηe-tV-i(x-t);i=0,1,2,…,s
ω-i(k+1)=ω-i(k)+Δω-i(k)
其中,0<η<1为学习率;k为学习(训练)次数。
其学习算法描述如下:
Step 1:任取隐神经元个数n>=3,随机选取初始权值ω-i(0),学习率0<η<1,给定任意小正数ε和训练样本集(x-t,f(x-t));t=1,2,…,s,令E=0,t=1,k=0。
Step 2:计算
y-t(x)= ∑n[]i=0ω-iV-i(x),e-t=f(x-t)-y-t(k),E←E+0.5e+2-t
Step 3:权值调整ω-i(k+1)=ω-i(k)+ηe-tV-i(x-t)
Step 4:t←t+1,若t
Step 5:若E≤ε,则结束学习(训练),否则E=0,t=1,k←k+1,跳回Step2.
在V3神经网络模型中,由于采用了较为复杂的非线性激励函数(例如,其隐神经元的激励函数为一组三次V正交基函数,他们两两不同,且彼此正交),因此当用该网络逼近复杂非线性目标特性时,比传统BP网络的神经元个数可明显减少。另外传统的BP网络需要调整输入层至隐层,隐层至输出层两个环节的权值,而V3神经网络只需要调整隐层至输出层一个环节的权值,调整工作量大大减少,有利于加快算法的收敛性。Chebyshev网络可以有效的逼近任意非线性曲线,但是对于剧烈变化的点,拐点或是不可导的点,其逼近效果相当不理想,利用V3网络的分段性可以很好的逼近此类非线性曲线。
3 实验结果与分析
考虑非线性目标函数f(u)=4u/(1+4u+2),本文分别采用BP网络,Chebyshev网络和V3网络逼近f(u),比较结果如下:
(1)文献[5]采用BP神经网络逼近f(u),其网络结构为1*20*20*1,学习效率η=0.1,学习5000次后得到满意的逼近效果。
(2)采用Chebyshev神经网络,选用1*16*1的网络结构,学习效率η=0.1,学习100次后得到均方差为9.6352e-008的逼近效果,如图4所示。
(3)采用V3神经网络,其网络结构为1*16*1,学习效率η=0.1,仅学习20次就能达到均方差为3.6831e-008的优异逼近效果,如图5所示
图5 V3神经网络仿真结果
通过对比,从图4和图5可以看出,我们知道采用V3神经网络与同结构的Chebyshev网络相比,学习较少的次数就可得到更好的逼近效果, V3神经网络的逼近效果优于Chebyshev神经网络。
考虑非线性目标函数
f(u)=u 0≤u<0.250.25-u 0.25≤u<0.5 u-0.25 0.5≤u≤0.75,本文分别Chebyshev网络和V3网络逼近f(u),比较结果如下:
(1)采用Chebyshev神经网络,选用1*16*1的网络结构,学习效率η=0.1,学习600次后得到均方差为2.4096e-010的逼近效果,如图6所示。
(2)采用V3神经网络,其网络结构为1*16*1,学习效率η=0.1,仅学习60次就能达到均方差为2.9677e-012的优异逼近效果,如图7所示。
实验表明,当所要逼近的曲线具有拐点时,V3神经网络明显优于Chebyshev神经网络,学习次数明显减少,从而加快了网络学习速度,而且逼近效果更好。
4 结束语
本文借助于三次正交V多项式,构造了一种基于V系统的神经网络。讨论了V神经网络的具体构造过程,并与传统的神经网络模型做了比较。实验表明,由于采用了较为复杂的非线性激励函数,当逼近非线性目标时,比传统的BP网络的隐神经元个数显著减少,而且学习效率明显提高。三次V系统具有分段的特性,故对于具有拐点的非线性函数,具有很好的逼近特性,与基于Chebyshev的神经网络相比,收敛速度明显加快,拐点处逼近效果更好。
参考文献:
[1] 邹阿金,沈洪远.Chebyshev 神经网络辨识器[J].煤矿自动化,1998(4).
[2] 章兢,邹阿金,童调生.多项式基函数神经网络模型[J].湖南大学学报,1996(2).
[3] 邹阿金.基于Chebyshev 神经网络的非线性预测应用研究[J].计算机应用,2001(4).
[4] 叶军.Chebyshev 神经网络的改进及其应用[J].机床与液压,2003(3).
[5] 沈清,胡德文.神经网络应用技术[M].长沙:国防科技大学出版社,1993.
(责任编辑:王 钊)
Three V-based neural network system
Abstract:Artificial neural network (ANN) is in modern neurobiology and cognitive science research on human information processing made on the basis, and using physical device to simulate the biological neural network structure and function of some, the neural network has a strong adaptability and learning ability, nonlinear mapping capability, robustness and fault tolerance and other characteristics, widely used in control applications. This paper proposes a transformation based on the cubic V of neural network system. The system is non-linear curve approximation is better than BP network and Chebyshev neural network, convergence time and learning time was significantly shorter, less hidden in the number of neurons in the circumstances, to achieve better approximation results, and inflection point better approximation properties.
Key Words: Artificial Neural Networks,Three V-based system Function generator