每次迭代，loss的波动很大，有如下几方面：
- 学习率选取较大；
- 在loss不再下降的时候降低学习率；
- 每个epoch训练之前，对数据进行重新打乱，如果你的 batch 的内容和顺序都是固定的，可能造成模型 overfit 这个顺序；
- 各个 batch 的 loss 有不同是正常的，但如果波动太大，可能说明你的各个 batch 不是 homogeneous 的（即内容差别太大），不能代表整体数据。可以试试加大 batch size。
总结就是： 当loss不下降时，降低学习率，一般降低到原来的0.1，在每个epoch开始之前，均打乱一次数据，适当增大batch_size的大小。
————————————————