torch-cifar10-5

torch-cifar10-5

看了李沐大神的paper之后,决定多做一些实验验证一下,今天结果出来后确实惊叹了,意识到了学习率的重要性,直接对比结果吧,我用resnet18做的cifar10的分类,学习率初始值为0.1,如果一直不变的话,结果是这样的。

avator

这时候学习率一直没有变化,过程也很平稳,最终的训练的准确性在90%左右,就上不去的感觉了。而且训练了200个epoch。

后来我加了step的学习率变化,结果是这样的

avator

不光如此,在kaggle上直接刷到了前5,

avator avator

当增大batch_size时训练加快了速度,并且变得更加地平稳。

avator

当用cos学习率的时候,效果是这样的。

avator

如果初始的改成0.1 batch增大到1024的话,是下面的图

avator

打赏,谢谢~~

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,多谢支持~

打开微信扫一扫,即可进行扫码打赏哦