GMDH神经网络训练方法

8 提交 / 0个新回复
最新回复
GMDH神经网络训练方法

训练方法
——————————————
1.将数据集分为训练集和测试集。
2.建立输入层
3.建立所有符合5楼条件的神经元(只考虑“攻”和“受”的关系,不考虑具体的权值)。如果前面几层共有N个神经元,那么我们就需要建立N(N-1)/2个神经元。
4.用最小二乘法确定权值
5.计算每一个神经元在测试集上的表现。
6.选取表现最好的K个神经元放在后面一层。(K可以自己选择)
7.重复3,直到网络的性能足够好,或者网络开始过拟合。
 
每一个“受”神经元的激活值都是它前面几层的两个“攻”神经元的激活值的二次函数,例如:

 

 

y = p0 + p1*x1 + p2*x2 + p3*x1^2 + p4*x2^2 + p5*x1*x2

这使得我们能够使用最小二乘法对它进行训练。GMDH神经网络是“生长”的。这个网络从只有输入单元开始,一层一层地往上添加隐藏神经元。