论文摘要
反向传播神经网络能从未知映射函数的输入数据中有效地提取隐含的特征和规律，具有强大的自组织和自学习的能力，在模式识别、数据分类、预测决策等诸多领域发挥着显著作用。然而，在实际应用中，处理大量数据的复杂多模式分类问题时，单一BP神经网络的分类性能和时间效率不尽人意，传统BP改进算法的效果也难以达到要求。本文对BP模型结构进行研究，分析了单一的具有多个输出的神经网络其分类原理和局限性，提出了一种基于结构并行的模块化MBP多模式分类模型，将一个多模式的分类问题简化为多个模块并发执行的单一模式的分类问题，从而提高训练精度；从并行计算的执行过程角度出发，在MPI集群环境下通过显式地数据和任务分配，对MBP模型设计了粗粒度计算分解的结构并行算法，通过将每个子模块的结构单元映射给集群中不同节点，实现MBP模型中子模块间的并行处理，加快MBP网络运算的速度，减少训练的时间。实验结果证明，该并行算法在图像多模式分类中取得了总体平均85.9%的查全率与85.3%的准确率，并呈现趋近线性的加速比，这充分证明了该并行算法是正确的、高效的。针对样本预处理阶段的数据分组策略，本文提出了一种基于数据并行的SOM-MBP组合分类模型，利用SOM网络为MBP提供高紧凑性和规律性的样本数据组，深层次提高分类精度；从分析SOM-MBP模型的计算逻辑出发，考虑到集群的容错能力，在Hadoop分布式集群系统中采用计算向数据迁移的方式，设计了SOM-MBP网络内部并行的Map和Reduce方法，实现SOM网络和MBP子模块内部的并行处理，采用MapReduce编程框架下的Submit并行多job提交方法，实现MBP子模块间的并行。实验结果表明该算法在处理大数据量的图像多模式分类问题时，具有较好的分类性能和较高的加速比及容错能力，说明了该并行分类算法是有效并可行的，表明了该算法在处理数据密集型问题中的优越性。