(Tensorflow之二十三)BATCH_SIZE的计算方法以及取值方法

时间:2024-03-31 22:15:49

一、BATCH_SIZE对计算参数的影响

BATCH_SIZE的主要影响到loss以及反向传播时的递度计算;在同一批次的训练中,loss及反向传播梯度为单个loss及反向传播递度的平均值。

二、BATCH_SIZE选取

当BATCH_SIZE过小

例,当BATCH_SIZE为1时,相邻的两个样本之间差异非常大,则会使梯度值过大,导致始终无法收敛;
(Tensorflow之二十三)BATCH_SIZE的计算方法以及取值方法

当BATCH_SIZE过大

一方面,计算机内存消耗大,可以无法同时计算太大的数据量;
另一方面,变成只有一轮的训练,无法在多轮的训练中再次调整数据训练参数;