未来智库 > 神经网络论文 > 浅谈径向基神经网络模型及学习算法

浅谈径向基神经网络模型及学习算法

发布时间:2018-08-28 01:06:30 文章来源:未来智库    
    [关键词]径向基神经网络 模型
    
    一、径向基函数神经网络结构模型
    1985年,Powell提出了多变量插值的径向基函数(Radical Basis Function,RBF)方法。1988年,Moody和Darken提出了一种神经网络结构,即RBF神经网络,属于前向神经网络类型,它能够以任意精度逼近任意连续函数,特别适合于解决分类问题。
    RBF网络的结构与多层前向网络类似,它是一种三层前向网络。输入层由信号源结点组成;第二层为隐含层,隐单元数视所描述问题的需要而定,隐单元的变换函数是“基函数”,它是对中心点径向对称且衰减的非负非线性函数;第三层为输出层,它对输入模式的作用作出响应。从输入空间到隐含层空间的变换是非线性的,而从隐含层空间到输出层空间变换是线性的。
    RBF网络的基本思想是:用RBF作为隐单元的“基”构成隐含层空间,这样就可将输入矢量直接(即不需要通过权连接)映射到隐空间。当RBF的中心点确定以后,这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的,即网络的输出是隐单元输出的线性加权和,此处的权即为网络可调参数。由此可见,从总体上看,网络由输入到输出的映射是非线性的,而网络输出对可调参数而言却又是线性的。这样网络的权就可由线性方程组直接解出,从而加快学习速度并避免局部极小问题。
    径向基函数神经网络结构共分3 层:输入层、径向基层( radbas 层) 和线性层(purelin 层),隐层神经元变换函数为radbas (高斯函数),其输出为radbas 的输出,radbas 的输入为输入矢量乘以权值矢量。
    二、径向基函数神经网络学习算法
    RBF神经网络学习算法需要求解的参数有3个:基函数的中心,方差以及隐含层到输出层的权值。根据径向基函数中心选取方法不同,RBF函数有多种学习方法,如随机选取中心法、自组织选取中心法、有监督选取中心法和正交最小二乘法等,其中最为常用的是自组织选取中心的RBF神经网络学习法。该方法由两个阶段组成:一是自组织学习阶段,此阶段为无导师学习过程,求解隐含层基函数的中心与方差。二是有导师学习阶段,此阶段为求解隐含层到输出层的权值。学习算法具体步骤如下:
    1.基于k均值聚类方法求取基函数中心c
    网络初始化:随机选取h个训练样本作为聚类中心c��i(i=1,2,…h)。
    将输入的训练样本集合按最近邻规则分组:按照xp与中心为c��i之间的欧式距离将xp分配到输入样本的各个聚类集合中。
    重新调整聚类中心:计算各个聚类集合中训练样本的平均值,即新的聚类中心c��i ,如果新的聚类中心不再发生变化,则所得到的c��i即为RBF神经网络最终的基函数中心,否则返回,进行下一轮的中心求解。
    2.求解方差σ��i
    该RBF神经网络的基函数为高斯函数,因此方差σi可以由下式求解:
    式中 c��max――所选取中心之间的最大距离。
    3.计算隐含层和输出层之间的权值
    隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到,计算公式如下:
    三、径向基函数神经网络的特点
    神经网络最初是模拟人类神经元对外界刺激反应方式而设计出来的,在bp网络中,这一点便是通过一个模拟神经元的反应门限值的阈值和非线性的sigmoid函数fx=1/1+e-x体现的。而对人脑的研究成果显示:人类大脑对外界刺激的反应形式是基于感受野的,也就是不同部位的细胞对于外界刺激的反应强度是不同的,各个神经元的作用域都是一个局部的范围,只有当输入在一定的范围内(感受野)时,该神经元才响应,否则不响应或响应很小。这一点在bp网络神经元映射函数中并没有得到体现,与神经元的作用原理有一定的出入,致使bp神经网络的性能不是很好(易陷入局部极小,收敛速度慢等)。
    径向基函数神经网络与多层感知器比较起来特点如下:
    1. RBF网络只有一个隐含层,而多层感知器的隐含层可以是一层也可以是多层。
    2.多层感知器的隐含层与输出层其神经元模型是一样的。而RBF网络的隐含层神经元和输出层神经元不仅模型不同,而且在网络中起到的作用也不一样。
    3. RBF网络的隐含层是非线性的,输出层是线性的。然而,当用多层感知器解决模式分类问题时,它的隐含层和输出层通常选为非线性的。当用多层感知器解决非线性回归问题时,通常选择线性输出层。
    4. RBF网络的基函数计算的是输入向量和中心的欧式距离,而多层感知器隐单元的激励函数计算的是输入单元和连接权值间的内积。
    5.多层感知器是对非线性映射的全局逼近,而RBF网络使用局部指数衰减的非线性函数(如高斯函数)对非线性输入输出映射进行局部逼近。这也意味着,逼近非线性输入输出映射,要达到相同的精度,RBF网络所需要的参数要比多层感知器少得多。
    参考文献:
    [1]张茂元,卢正鼎.基于李雅普诺夫函数的BP神经网络算法的收敛性分析[J].小型微机计算机系统,2004.
    [2]张海燕,胡光锐,张东红.多层前向神经网络的一种改进BP算法[J].通讯技术,2003,(11):6-7.
    [3]高隽.人工神经网络原理及仿真实例.北京:机械工业出版社,2007.02.
    注:本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文

转载请注明来源。原文地址:https://www.7428.cn/page/2018/0828/29939/
 与本篇相关的热门内容: