关于神经网络的生长机制

5 提交 / 0个新回复
最新回复
关于神经网络的生长机制

一直以来,对生物大脑中神经元的生长机制不甚了解。最近买了西安交大程国建教授的的《神经计算与生长自组织网络》(2008年10月出版),才知道已经有了许多生长算法。(相信在出版后的这几年时间还有不少新的算法涌现出来)

径向基函数(RBF)网络
  目前个人接触到的关于人工神经网络的介绍中,还比较缺乏对径向基函数(RBF)网络的介绍——而实际上该类型神经网络更加逼近真实的生物神经元的特性,性能能要明显好于BP网络,而且能求得全局最小值。

古典生长型网络
  在生长型网络方面,古典的学习算法有:堆砌式算法(tiling algorithm)、宝塔式算法(tower algorithm)、爆发式算法(upstart algorithm)、级联式算法(cascade-correlation algorithm)、约束库仑能量算法(restricted coulomb energy algorithm)以及资源配置网络。

生长型自组织神经网络

  由芬兰赫尔辛基大学Kohonen教授提出的自组织特征映射(简称Kohonen映射)或SOM(self-organizing maps)试图通过局部互联网络和使用基于局部领域的学习算法模拟大脑中拓扑映射发生。自组织映射可产生一个有序的输入数据空间的低维表达。

  SOM的基本学习规则是竞争学习。竞争学习是一种适配过程——神经网络中的神经元对输入空间特定区域的样本集的不同类属逐渐敏感起来。为了让样本之间的有序关系在训练中得以保持,Kohonen提出允许输出神经元之间有相互作用,这就构成自组织映射。
  人类的大脑皮层可以认为是一个二维神经元平面,而空间映射用于建立复杂输入关系模型,这意味着受外界刺激的拓扑关系可加以保持,并且高维复杂数据可以在一个低维(通常是二维拓扑)空间中得到表达。
  对SOM,Kohonen也采用了另外的学习技术,称之为学习矢量量化(LVQ,learning vector quantilization),并可用它来进行精确化特征映射。
  学习矢量量化LVQ是一个监督学习算法,用于分类问题。它的效果是增加映射中不同区域的距离,以使有这些区域所代表的类之决策边界在理论上接近最优贝叶斯决策曲面。
  动态学习矢量量化(DLVQ)能自动确定一个合适的、邻近区域最小的网络拓扑结构。尤其对大的训练样本,其速度更快。
  内插型自组织映射(ISOM)由Goppert提出,是SOM与对传网络的结合。它由三层组成:输入层、竞争层(内插层)及输出层。其基本思想是为了采用对传网络输出空间的关系而提取输入空间的几何信息。
  生长自组织映射网络
  SOM的局限性是:使用的是固定拓扑的网络结构,即神经元的数目及排列方法必须在训练前事先加以确定。而现实中,输入空间所需的合适维数事先并不知道。为了解决该问题,可以使用高级学习机制进行两方面的协调——不但调整神经元的权矢量,而且对输出空间的拓扑本身进行适配,这就是变拓扑自组织网络(VTSONN,variable topology self-organizing neural networks)。VTSONN又可分为构造型SOM、生长型SOM或增量型SOM。此类网络包括自组织表面(SOS)、进化自组织(ESOM)、增量式格栅生长(IGG)、生长层次自组织映射(GHSOM)。

生长神经元结构及其变种
  对某些应用而言,当SOM用于模式聚类时,会导致性能下降。Fritzke提出了SOM的一种生长模型,即GCS。它产生的降维映射可用于高维数据的可视化或聚类。一维GCS接近于环状,可用于产生欧氏TSP(旅行推销商问题)的逼近解答。通过对高维输入数据选择一个小的网络维数k,可将网络潜入一个k维空间从而进行数据的可视化。
  GCS基于非监督学习算法,但可以扩展到监督学习,即监督学习生长神经元结构(SGCS,supervised GCS)。SGCS结合了两个类型的网络——SOM和RBF网络,并有能力在学习过程中不断生长及拓扑。
  由Burkes提出的(DCS,dynamic cell structures)属于一类拓扑表达网格(TRN)。它采用一个修正的Kohonen学习律结合竞争Hebb学习。将DCS思想用于GCS算法可导致一个有效的精炼算法,可比拟传统的可变拓扑模型。

  基于层次聚类和GCS,Hodge提出了一个树型生长GCS(TreeGCS)。TreeGCS是一种非监督、生长的、自组织学习算法,用于形成离散聚类。它改善了GCS算法的非一致性,部分克服了GCS中固有的不稳定问题。可自适应的确定聚类层次深度,不需要像SOM那样预定义网络维数。
  GCS学习算法的一个概率型变种是概率生长神经元结构(PGCS,probalbilistic GCS)。通过递归的估计聚类的均值及方差,并通过引入新的聚类插入/删除标准,使PGCS比原始GCS更为有效。