1.简介

L-GEM能够较好地描述分类器的范化能力，分类器的在训练数据集上的训练误差以及ST-SM越小，其范化能力则越强。但是，以往的文章，是把训练误差和ST-SM作为单个优化目标，而实验中训练误差的值往往比ST-SM要大，这样就会造成优化过程中，训练误差占主导的情况。故本文把L-GEM分解成训练误差和ST-SM两个优化目标，采用基于帕累托[1]的多目标优化方法NSGA-II[2]来寻找最优的网络结构及其相应权重，同时采用iRprop+[3]算法加速优化的权重值的搜索过程。

2.算法

iRprop+的思想大体如下：

  1.如果当前梯度方向与前一时刻梯度方向一致，则加大梯度更新步长;
  2.如果当前梯度方向与前一时刻梯度方向相反(越过了local minimal)，且相反的梯度方向使得E变大，那么就让下一时刻的权重重新回到前一时刻权重的位置(weight backtracking)，同时调小梯度更新步长;
  3.如果当前梯度方向与前一时刻梯度方向相反(越过了local minimal)，但E仍然是变小的，则不需要weight backtracking，只需调小梯度更新步长。

3.实验

4.参考资料

[1]帕累托最优

[2]NSGA-II多目标遗传算法

[3]Empirical evaluation of the improved Rprop learning algorithms

[4]Visualize Back Propagation: (6) RProp and iRProp+