未来智库 > 神经网络论文 > 关于递归神经网络的一个结果

关于递归神经网络的一个结果

发布时间:2017-12-06 16:47:00 文章来源:未来智库    
    【关键词】递归神经网络;梯度下降法;惩罚项;有界性
    0 引言
    人工神经网络以其自身的自组织、自适应和自学习的特点,被广泛应用于各个领域.实际中, 有时我们希望建立的对象的模型能够反映出系统的动态特性, 而传统的前馈神经网络属于静态网络,在处理动态系统的应用中存在很多问题.虽然通过引入时滞环节来描述系统的动态性是可行的, 但仍有严重不足,因为这需要大量的神经元来表示动态响应, 并且需要预先知道系统的阶次.近年来递归神经网络 (RNN) 的研究有了很大发展.与前馈网络相比, 它是动态网络, 利用网络的内部状态反馈来描述系统的非线性动力学特性,能更直接的反应系统的动态特性.1987年, Pineda首先提出了递归神经网络的BP算法[1];接着, 1989年, Willams 和 Zipser提出了基于梯度下降法的实时递归学习算法(RTRL)[2].但是, 与传统的BP网络一样, 在训练中, RTRL算法可能会使网络权值变得很大, 甚至无界.
    本文的安排如下:下一节, 我们介绍递归神经网络的RTRL学习算法, 第三节讨论权值的无界性.
    1 网络结构及权值无界性
    2 权值序列的无界性
    可见, 在训练时当误差函数E(wm)趋向极小值E*时, 序列可能会变得越来越大.实际计算中, 当Ew(wm)训练到充分小的值时, 我们就停止网络的学习.
    【参考文献】
    [1]Pineda F J. Generalization of back propaga-tion to Recurrent neural networks[J]. Physical Rev.Lett, 1987,59:2229-2232.
    [2]Willams R J, Zipser D A. learning algorithm for continually running fully recurrent neural networks[J]. Neural Computation,1989,1:270-280.
    [3]Xu Dongpo, Li Zhengxue, Wu Wei. Convergence of gradient descent algorithm for a recurrent neuron[C]//Lecture Notes in Computer Science, ISNN 2007, PartⅢ, LNCS 4493, 117-122.
    [4]Simon Haykin,著.神经网络原理[M].叶世伟,史忠植,译.北京:机械工业出版社,2004.
    [责任编辑:汤静]
转载请注明来源。原文地址:https://www.7428.cn/vipzj5338/
 与本篇相关的热门内容: