开发者

pytorch中model.train()和model.eval()用法及说明

目录
  • model.train()和model.eval()用法
    • 1.1 model.train()
    • 1.2 model.eval()
    • 1.3 分析原因
  • 总结

    model.train()和model.eval()用法

    1.1 model.train()

    model.train()的作用是启用 BATch 编程客栈Normalization 和 Dropout。

    如果模型中有BN层(Batch Normalization)和Dropout,需要在训练时添加model.train()。

    model.train()是保证BN层能够用到每一批数据的均值和方编程客栈差。

    对于Dropout,model.train()是随机取一部分网络连接来训练更新参数。

    1.2 model.eval()

    model.eval()的作用是不启用 Batch Normalization 和 Dropout。

    如果模型中有BN层(Batch Normalization)和Dropout,在测试时添加model.eval()。

    model.eval()是保证BN层能够用全部训练数据的均值和方差,即测试过程中要保证BN层的均值和方差不变。

    对于Dropout,model.eval()是利用到了所有网络连接,即不进行随机舍弃神经元。

    训练完train样本后,生成的模型model要用来测试样本。

    在model(twww.devze.comest)之前,需要加上model.eval(),否则的话,有输入数据,即使不训练,它也会改变权值。这是model中含有BN层和Dropout所带来的的性质。

    在做one classification的时候,训练集和测试集的样本分布是不一样的,尤其需要注意这一点。

    1.joBwtUlc3 分析原因

    使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval。

    model.eval()时,框架会自动把BN和Dropout固定住,不会取平均,而是用训练好的值

    不然的话,一旦test的batch_size过小,很容易就会被BN层导致生成图片颜色失真极大!!!!!!

    总结

    以上为个人经验,希望能给大家一个参考,http://www.devze.com也希望大家多多支持编程客栈(www.devze.com)。

    0

    上一篇:

    下一篇:

    精彩评论

    暂无评论...
    验证码 换一张
    取 消

    最新开发

    开发排行榜