首页>文献首页>基于优先排序的神经元适配分割算法

基于优先排序的神经元适配分割算法

刊名 《青岛大学学报(工程技术版)》
作者 刘文丽 英文名 年,卷(期) 2017 年 , 第 4 期
主办单位 青岛大学 国内刊号 37-1268/TS 国际刊号 1006-9798
关键词 PONN 增量学习 遍历样本选取中心向量法 前馈神经网络 入库时间 2018/1/12 15:57:00

基于优先排序的神经元适配分割算法

人工神经网络被人们熟识,其中前馈神经网络最受人们的青睐[1<。D. E. Rumelhart等人?提出的采用误 差反传学习算法的多层前馈神经网络,是一种典型的前馈神经网络。前馈神经网络可以对任意的分布模式进行 分类、对任意函数进行逼近等特点,广泛应用到模式分类和系统辨别等领域w。传统的前馈网络具有缺乏记忆功 能、网络结构需要预先设定、对于外来异类样本不能拒识,不能保证收敛性等缺点因此传统前馈神经网络模 型的构造和使用成为难题。优先度排序神经网络是一种与人类的认知学习相似的神经网络模型?,与传统的前 馈神经网络模型相比,它的优点在于其增量学习功能与自适应构造网络功能也就是,当遇到新知识时,它 不需要对旧知识进行复习,具有很好地记忆功能和认知能力,并且这种网络对于神经元的设定是自适应的,不需 提前设定神经元的个数,但该网络构造的难点是神经元的选择[1°]。在目前的算法中,对半径的选取是以距离中 心点最近的异类样本与中心点样本间距,或者取比该样本间距略小一点的距离作为半径。通过这种方法得到的 模型在进行分类识别时,分类的超平面小球很容易将不属于本类的区域“挖”到。针对以上问题,本文提出了一种 神经元最优适配分割网络。如果把每个神经元比作一个球体,即找到每个球体最合适的中心点和半径的方法。 首先将训练样本集中的所有样本作为中心进行计算。根据异类样本到球面的最短距离由大到小进行排序,将样本 集中样本的顺序进行调整。从前2/3的样本中选出划分同类样本最多的一个作为当前神经元的中心向量。该算 法保证每个神经元尽可能多的识别样本,并尽可能不误识异类样本。与传统的优先度排序网络相比,该方法在样 本识别率上有了较大提高。

1优先度排序的高阶神经网络

如何设定传统前馈神经网络的网络结构及内部参数是一个难题[n],然而优先度排序的高阶神经网络,通过 学习样本集自适应生成网络结构及参数方法,有效的解决了这个难题。优先度排序的高阶神经网络模型,每个神 经元函数都可以用一个球体表示,且神经元的优先度不同[1244]。在识别过程中,当一个样本落到某个球体内时, 就认定这个样本激活了这个神经元。根据神经元优先度的不同,激活优先度最高的神经元所区分的类别为识别 该样本的类别M。

优先度排序的高阶神经网络如图1所示。设每个样本有N个输入层节点,将这N个节点依次输人到优先 度不同的M个神经元。其中,编号为1的神经元优先度最高,编号越大,优先度越低。

根据每个样本到球心的距离么通过硬极限函数划分样本。其中,硬极限结果为1,代表此样本在这个球内,此神经元被激活。统计最后输出,被激活的神经元中,优先度最高的神经元为 划分此样本的神经元,此神经元所划分的类别为识别的样本类别。每个样本 到球心的距离为

blob.png

blob.png

式中,K为对应神经元的半径;F为输出层的输出结果。该网络模型与BP神 经网络模型相比,具有如下优势:

1) 该网络的输入层节点可以根据输人样本的维度确定。

2) 该网络的神经元个数是根据学习样本自适应生成,克服了 BP神经网络设定神经元个数的难题[15]。 

3) 该网络有很好的认知能力,对新事物及新特征进行学习而不影响旧知识。但由于在分割时容易误将

其他类样本划人超平面球,从而影响识别结果的准确率。 方式来提高识别率。

为解决该问题,本文改进了原有算法,提出适配分割的2优先度排序的适配分割算法实现

对于优先度排序的高阶神经网络的构造主要是找到对应球体的中心点及半径。目前,常用寻找中心点的方 法有随机分割算法(random partitioning algorithm,RPA)、中心选择算法(center selection algorithm,CSA)、中心 适配选择算法(center adaptive selection algorithm,CASA)[17_18]。而半径是指与距离中心点最近的异类样本与 中心点的样本间距,或者取比此样本间距略小一点的距离作为半径[19]。通过这种方法得到的模型,在进行分类 识别时,分类的超平面小球很容易将不属于本类的区域“挖”到。针对以上问题,本文提出了新的算法。首先结合 遍历样本选取中心向量法将训练样本集中的所有样本分别作为中心进行计算;其次将异类样本到球面的最短距 离由大到小进行排序;然后以样本集2/3处的样本所对应的半径为阈值,从前2/3的样本中选出划分同类样本最 多的一个作为当前神经元的中心向量。通过该方法得到的神经元,可以保证选取的神经元尽可能多的分割样本, 又尽可能少的挖到异类样本,从而减少了错误识别率。

设有《种样本,每种样本有N个,取每种样本w个,组成学习样本S,其余样本为待测样本。具体算法为:

1) 取S中的任意样本/,依次计算样本/与S中其他样本的间距,并根据这些样本间距确定样本(样本 人为距离第/个样本最远的同类样本,且在此之前的样本皆为第/个样本的同类样本)和样本/2 (样本/2为距离 第/个样本最近的异类样本),则将样本与样本f的样本间距记录为兄,/,与/2的距离记录为2) 以样本/为中心,依次将其他样本与样本/的样本间距与艮作比较,记样本间距小于尺的样本数为%。

3) 重复2),直到将S中的每个样本都作为中心点计算一遍为止。

4) 分别将和a,的值按降序排列,取第2S/3个&的值为0 .将最大时所对应的a,与0进行比较,若a, 〉0,则选择R,+e(?为一个极小值,本次实验取为a,/20)作为分隔球的半径,所对应的样本作为分隔球的球心 O],并记录可分隔类别D,;若。;<0,则继续根据的值从大到小挑选,直到满足条件为止。

5) 将以上所得分隔球作为得到的第1个神经元,也是优先度最高的神经元,之后得到的优先级依次降低。

6) 将4)中选出的分隔球可分隔的样本从S样本集中删除后,重复1)?4),直至S样本集中所有样本全部 分完为止(当出现S样本集中只剩1个样本,而无法计算样本间距的情况时,认定此样本为最后1个分隔球的中 心,此分隔球的半径为0,并记录其分隔种类)。

至此,该神经网络构造完毕,接下来进行分类识别。在识别待测样本时,样本输人网络后,被激活的神经元将 会输出1,未被激活的神经元输出0。根据神经元的优先级进行识别,在被激活的神经元中,优先级最高的神经元 所分隔的种类D,为此待测样本的种类。与改进前的网络相比,改进后网络的识别率有显著提高。此外,本算法 也保留了优先度排序学习模型的增量学习功能,此功能可以对现有网络

参考文献 (19 篇)

  • [期刊论文]        赵银平。张刚林,温阳东,等。基于VP算法的前馈神经网络参数优化
  • [期刊论文]        曾晓勤。周建新,郑星,等。一种高效二进前馈神经网络学习算法
  • [期刊论文]    Rumelhart D E,Hinton G E,Williams R J     Learning Internal Representations by Error Propagation
  • [期刊论文]    Rumelhart D E,Hinton G E,Williams R J     车四方。前馈神经网络的混合训练算法及其离群鲁棒回归问题研究
  • [期刊论文]    Rumelhart D E,Hinton G E,Williams R J     魏莱,徐菲菲,王守觉。一种多权值神经元覆盖网络的构造方法
  • [期刊论文]    Rumelhart D E,Hinton G E,Williams R J     邵红梅,安凤仙。一类训练前馈神经网络的梯度算法及收敛性
  • [期刊论文]    Rumelhart D E,Hinton G E,Williams R J     杨国为,王守觉,卫成兵,等。基于同源的同类事物连通本性的模式分类神经网络模型
  • [期刊论文]    Rumelhart D E,Hinton G E,Williams R J     张鲁波。人工脑模式识别一种新的神经网络算法
  • [期刊论文]    Zhu S J     A forgetting Scheme for Layered-Neurons Procedure
  • [期刊论文]    Zhu S J     潘竹生,莫毓昌,赵建民。优先级边排序策略及其性能分析
  • [期刊论文]    Zhu S J,Yang J     Risk Bound of Priority Ordered Neural Network with Multi-Weighted Neurons
  • [期刊论文]    Zhu S J,Yang J     熊润华,张启灿。基于优先度排序的3维数据缺失快速插补法
  • [期刊论文]    Zhu S J,Yang J     蒋华,戚玉顺,曾梅梅。球结构支持向量机的主动自适应方法
  • [期刊论文]    Zhu S J,Yang J     蒋华,戚玉顺。基于球结构SVM的多标签分类
  • [期刊论文]    Zhu S J,Yang J     刘春艳,凌建春,寇林元,等。GA-BP神经网络与BP神经网络性能比较
  • [期刊论文]    Zhu S J,Yang J     徐喆,毛志忠。基于超球的支持向量机增量学习算法
  • [期刊论文]    Zhu S J,Yang J     李建龙,陈向东,倪进权,等。基于NIOS的湿度传感器数据处理RBF神经网络实现
  • [期刊论文]    Zhu S J     Covering Method for Short Voice Language Identification Based on P()NN
  • [期刊论文]    Zhu S J     赵元庆,吴华。多尺度特征和神经网络相融合的手写体数字识别

010-56181807

周一至周五9:00-17:30

中国终身教育数据服务平台--中国终身教育学术研究中心课题组中教汇据(北京)科技有限公司

京ICP备15058941号-1Copyright © 2013-2016 ZJHJ Corporation,All Rights Reserved

京ICP证161029