神经网络和深度学习 (II) - 性能优化 - 1. 常见技巧

1.1模型初始化

• 简单的考虑，把所有权值在[-1,1]区间内按均值或高斯分布
  进行初始化。
• Xavier初始化:为了使得网络中信息更好的流动，每一层输
  出的方差应该尽量相等。因此需要实现下面的均匀分布:
  

1.2训练数据与测试数据

• 数据包括

• 训练数据

• 验证数据

• 测试数据

• 通常，三者比例为 70 70%,15%,15%70 或 60 60%,20%,20%60，当数据很多时，训练和验证数据可适当减少

• K 折交叉验证

• 原始训练数据被分成 K 个不重叠的子集。 然后执行 K 次模型训练和验证，每次在 K−1 个子集上进行训练， 并在剩余的一个子集（在该轮中没有用于训练的子集）上进行验证。 最后，通过对 K 次实验的结果取平均来估计训练和验证误差。

1.3欠拟合与过拟合

• 欠拟合：误差一直比较大；
• 过拟合：在训练数据集上误差小而在测试数据集上误差大。
  

1.4权重衰减（L2正则化）

• 为防止过拟合和权值震荡，加入新的指标函数项：
  
• 第二项约束了权值不能过大。在梯度下降时，导数容易计算：
  

1.5暂退（Dropout）

• 在整个训练过程的每一次迭代中，标准暂退法包括在计算下一层之前将当前层中的一些节点置零。