一、BATCH_SIZE对计算参数的影响
BATCH_SIZE的主要影响到loss以及反向传播时的递度计算;在同一批次的训练中,loss及反向传播梯度为单个loss及反向传播递度的平均值。
二、BATCH_SIZE选取
当BATCH_SIZE过小
例,当BATCH_SIZE为1时,相邻的两个样本之间差异非常大,则会使梯度值过大,导致始终无法收敛;
当BATCH_SIZE过大
一方面,计算机内存消耗大,可以无法同时计算太大的数据量;
另一方面,变成只有一轮的训练,无法在多轮的训练中再次调整数据训练参数;