未来智库 > 神经网络论文 > 【一种大规模神经网络并行技术】
    【关键词】:BP神经网络;并行;动态负载平衡
    中图分类号:O1文献标识码:B文章编号:1002-6908(2007)0510065-02
    
    1引言
    近年来,神经网络理论的应用取得了令人瞩目的进展,特别是在人工智能、控制和优化、通信和空间科学等领域得到了广泛的应用。目前,在人工神经网络的实际应用中,BP网络是神经网络里应用最广泛的一种网络,它使用的是反向传播算法(back-propagation algorithm),该算法采用权值空间的随机梯度下降方法,使得收敛速度缓慢,导致训练时间长。在实际应用中,经常遇到大规模神经网络训练的情况,这时不得不考虑收敛速度和训练时间的问题。并行技术为解决大规模神经网络问题提供了一个可行的方案。近十年来随着并行分布式计算技术的发展和神经网络的应用越来越广泛,国外许多人开始研究并行神经网络,早期的研究多集中在并行神经网络算法的设计和实现上,如文[1]给出了基于节点并行的BP网络在Intel iPSC/860超立方体结构上的实现,文[2]在MasPar MP-1216上实现了将训练集并行(数据并行)和节点并行结合BP网络并行算法等等,这些大多都没有考虑通信动态负载平衡的问题,文[3]用Java实现了在异构环境下一个并行SOM(Self-Organizing Map)神经网络的应用,并提出了一个动态负载平衡方案,一定程度上改进了动态负载平衡问题,但并未给出具体的任务划分方法。
    本文从反向传播算法(back-propagation algorithm)的原理剖析了BP神经网络的并行划分方法,提出了在异构网络环境下或多类型处理机的PC集群环境下的一种动态负载平衡方案。
    2 传统神经网络算法
    BP神经网络(Back-propagation NN)是一种单向传播的多层前向网络,它采用误差反向传播算法(back-propagation algorithm)训练网络。一次反向传播学习由两步组成:一次前向通过网络计算误差和一次反向通过网络计算权值。对于一个给定的训练集,反向传播学习有两种方式:一、串行的方式,二、集中的方式。
    (1)串行训练方式
    反向传播算法的串行方式也称为在线方式(on-line)、模式方式或随机方式。在这种方式里算法在每个训练模式(输入向量)呈现之后进行权值更新,网络的所有神经元的权值都是在一个模式(输入向量)接着一个模式的基础上调整的。每次的代价函数为
    
    定义。由上式知,在集中方式中,权值的校正值是在整个训练集提交以后才决定。
    串行方式的随机性质使得要得到算法收敛的理论条件变得困难了,因此串行方式比集中方式慢得多。比较而言,集中方式的使用为梯度向量提供了一个精确的估计;收敛到局部最小只要简单的条件就可以保证。因此,集中方式比串行方式更容易并行化[4]。
    3 并行神经网络算法
    由上一节对串行和集中两种训练方式的分析比较知集中训练方式更容易并行化,所有这里只考虑集中方式下的并行划分,权值更新策略采用集中方式(批处理方式)。
    3.1 数据并行
    在前向计算部分,训练样本以流水线的形式逐个输入网络,通过各个节点的计算得到一个相应的输出值和误差值,一个回合结束后,根据误差调整整个网络权值。由于权值的改变是在一个回合的所有训练样本都呈现后才进行的,所以在一个回合中,不同的训练样本之间不存在数据依赖,因此它们的计算可以同时执行,这样我们就可以将训练集划分成多个子集,分别放在多个处理机上(这样就完成了前向计算的任务划分),然后用一个主处理机汇总误差并执行权值更新。算法描述如图1所示。
    
    图 1 并行神经网络MPI算法描述
    3.2 消息调度和负载平衡
    由于所有处理机执行相同的主控程序,因此尽管计算是并行的,但处理机之间的通信是串行的,它们共享同一个通信信道。在同一时刻,主处理机只能与一个从处理机通信。假设主处理机向一个从处理机发送权值W的时间为都为a,从处理机个数为N,这里假定每个从处理机的处理速度都一样,且完成一次前向计算的时间都为P,每个从处理机向主机发送误差信号所花的时间都为c,主机汇总误差信号并更新权值W所花的时间为S。则这种并行方式下,一个回合所用的时间为
    
    这样就不用考虑任务的分布问题了,关键是知道处理速度,由于各个数据是并行的,各个从处理机处理完全相同的网络、相同数量的训练数据,每次前向计算处理相同个数的神经元、每个相应的神经元所执行的相同的加法、乘法和指数操作,故速率取决于处理器的速度。因为不需要精确值,所以只需各处理机相对速率因子即可,假设每机速率因子为,这样就可以直接针对不同的进行排序。
    
    3.3 结构并行
    神经网络处于同一层的各节点之间存在着天然的并行处理能力[5]。由于同一层的各节点之间没有连接,因此没有通信的必要。它们可以在同一时刻并行执行各自的计算任务,因此可以将这些并行节点划分在不同的处理机上,从结构上将计算任务分解,这种结构并行也叫节点并行(node parallelism)。这种划分方法的关键是在节点和处理机之间建立一个合适的映射。多隐层的BP网络的节点的划分会带来频繁的通信,可以采用节点并行和数据并行混合的方式[4]。
    结构并行的负载平衡也可以采用以上类似的方法,不同的是任务的划分是对节点的划分。
    4 实验结果分析
    我们在MPI环境下实现了数据并行的BP神经网络算法,采用集中式的训练方式,任务(训练集)平均划分给各个从处理机,主处理机负责协调和更新权值。试验平台式是基于windows的PC集群。下表1显示了随着处理机个数的增加得到的不同的训练时间。
    
    表 1不同处理机个数得到的训练时间
    从图2训练时间随处理机个数变化曲线知,当有两个处理机时候,可以获得加速比为0.002248/0.001839=1.2224,而当增加到更多的处理机时,加速比减小了,甚至并行时间超过了串行执行的时间,原因是处理机增加后主处理机要和更多的处理机通信,原来的计算虽然时间减少了但通信开销加大了,通信增加的时间超过了计算时间减少的部分,所以整个训练时间增大,加速比就减小了,但是从曲线的变化趋势看,随着处理机个数增加,总的训练时间增加的速度在减小。可以预知,当处理机增加到一定数目时,曲线会趋于平缓或者下跌,说明种并行划分确实减少了计算时间,是有意义的。
    
    
    5 结论
    在大规模并行神经网络应用下,通信的负载平衡问题是很关键的一个问题,尤其是在异构网络环境下通信开销和延迟尤为突出。由实验结果及其分析可知,本文提出的动态平衡方案在一定程度上可以改善该问题。虽然文中的动态平衡方案是基于BP网络提出的,但此方案同时也适用于其它神经网络。它不仅适合于有不同处理机的集群环境,也适合异构网络环境。
    近年来,随着Internet的发展,PC机群日益膨胀,尤其在高校和研究机构闲置资源随处可见,这为并行分布式计算提供了廉价的计算资源,随着神经网络的深入应用,基于神经网络的大型异构网络环境下的并行计算必将有可观的发展的前景。

         
    参考文献:
    [1]Darin Jackson and Dan Hammerstrom. Distributing back propagation networks over the Intel iPSC/860 hypercube[C]. Proceedings of International Joint Conference on Neural Networks, volumeⅠ, page 569-574, July, 1991, Seattle, USA.
    [2] G. Chinn et al. Systolic array implementations of neural nets on the MasPar MP-1 massively parallel processor[C]. Proceedings of International Joint Conference on Neural Networks, volumeⅡ, page 169-173, June 1990, San Diego, California, USA.
    [3] G. Labonté and M. Quintin , Network Parallel Computing for SOM Neural Networks[C], Proceedings of the High Performance Computing Symposium, April, 1999, San Diego, California, USA.
    [4] Simon Haykin著,叶世伟 史忠植 译. 神经网络原理[M]. 北京:机械工业出版社, 2004,page 113-120.
    [5] F. Valafar and O.K. Ersoy. A Parallel Implementation of Backpropagation Neural Network on Maspar MP-1[C], Proceedings of the International Conference on Parallel and Distributed Processing Techniques and Applications, Athens, GA, November 1995.
    
    注:本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。
转载请注明来源。原文地址:https://www.7428.cn/vipzj17200/
 与本篇相关的热门内容: