如何跳出局部最优

初始参数随机，用不同的初始参数进行多组实验找出最优的一组解，这相当于从不同的位置进行搜索

带动量的梯度下降，可能会越过最低点

随机梯度下降，加入随机因素，每次取一个样本计算梯度，因为单点的最优方向可能不是全局的最优方向，表现在图像上就是在寻找全局最优的路上饶了很多弯路才到达最优点。

使用模拟退火算法，每次以一定的概率允许移动到比当前解差的点，可以跳过局部最优