深度学习 | 三个概念：Epoch, Batch, Iteration

在训练神经网络的时候，我们难免会看到 Batch、Epoch 和 Iteration 这几个概念。曾对这几个概念感到模糊，看了网上的一些文章后，在这里做几个小小的总结。

????如有错误之处，还望指出。

名词解释：

【 图片来源：https://zhuanlan.zhihu.com/p/29409502 】

• Epoch（时期）：
  当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次 > epoch。（也就是说，所有训练样本在神经网络中都* 进行了一次正向传播* 和一次反向传播* ）
  再通俗一点，一个 Epoch 就是将所有训练样本训练一次*的过程。

然而，当一个 Epoch 的样本（也就是所有的训练样本）数量可能太过庞大（对于计算机而言），就需要把它分成多个小块，也就是就是分成*多个 Batch 来进行训练。*

• Batch（批 / 一批样本）：
  将整个训练样本分成若干个 Batch。

• Batch_Size（批大小）：
  每批样本的大小。

• Iteration（一次迭代）：
  训练一个 Batch 就是一次 Iteration（这个概念跟程序语言中的迭代器相似）。

• 为什么要使用多于一个 epoch?

在神经网络中传递完整的数据集一次是不够的，而且我们需要将完整的数据集在同样的神经网络中传递多次。但请记住，我们使用的是有限的数据集，并且我们使用一个迭代过程即梯度下降来优化学习过程。如下图所示。因此仅仅更新一次或者说使用一个 epoch 是不够的。

随着 epoch 数量增加，神经网络中的权重的更新次数也在增加，曲线从欠拟合变得过拟合。

那么，问题来了，几个 epoch 才是合适的呢？

不幸的是，这个问题并没有正确的答案。对于不同的数据集，答案是不一样的。但是数据的多样性会影响合适的 epoch 的数量。比如，只有黑色的猫的数据集，以及有各种颜色的猫的数据集。

【 来源：https://blog.****.net/qq_39521554/article/details/84480429 】

换算关系：

实际上，梯度下降的几种方式的根本区别就在于上面公式中的 Batch_Size 不同。

【 图片来源：https://zhuanlan.zhihu.com/p/29409502 】

举个例子：

mnist 数据集有

张图片作为训练数据，

张图片作为测试数据。假设现在选择 Batch_Size =

对模型进行训练。迭代

次。

• 每个 Epoch 要训练的图片数量：

  

  (训练集上的所有图像)

• 训练集具有的 Batch 个数：

  

• 每个 Epoch 需要完成的 Batch 个数：

  

• 每个 Epoch 具有的 Iteration 个数：

  

  （完成一个 Batch 训练，相当于参数迭代一次）

• 每个 Epoch 中发生模型权重更新的次数：

  

• 训练 10 个 Epoch 后，模型权重更新的次数：

  

• 不同 Epoch 的训练，其实用的是同一个训练集的数据。

  第 1 个 Epoch 和第 10 个 Epoch 虽然用的都是训练集的

  

  图片，但是对模型的权重更新值却是完全不同的。因为不同 Epoch 的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。

• 总共完成 30000 次迭代，相当于完成了

  

  个 Epoch

【 来源：https://blog.****.net/xiaohuihui1994/article/details/80624593 】

写在最后：

参考资料：

• 知乎：训练神经网络中最基本的三个概念：Epoch, Batch, Iteration
• 博客：深度学习中为什么要使用多于一个 epoch?
• 博客：神经网络中 Epoch、Iteration、Batchsize 相关理解和说明
• 博客：深度学习 (深度神经网络) 中最基本的三个概念：Epoch, Batch, Iteration

路远且艰，你我共勉。