返回顶部
首页 > 资讯 > 后端开发 > Python >pytorch 实现在测试的时候启用dropout
  • 261
分享到

pytorch 实现在测试的时候启用dropout

2024-04-02 19:04:59 261人浏览 泡泡鱼

Python 官方文档:入门教程 => 点击学习

摘要

我们知道,dropout一般都在训练的时候使用,那么测试的时候如何也开启dropout呢? 在PyTorch中,网络有train和eval两种模式,在train模式下,dropout

我们知道,dropout一般都在训练的时候使用,那么测试的时候如何也开启dropout呢?

PyTorch中,网络有train和eval两种模式,在train模式下,dropout和batch nORMalization会生效,而val模式下,dropout不生效,bn固定参数。

想要在测试的时候使用dropout,可以把dropout单独设为train模式,这里可以使用apply函数:


def apply_dropout(m):
    if type(m) == nn.Dropout:
        m.train()

下面是完整demo代码:


# coding: utf-8
import torch
import torch.nn as nn
import numpy as np
class SimpleNet(nn.Module):
    def __init__(self):
        super(SimpleNet, self).__init__()
        self.fc = nn.Linear(8, 8)
        self.dropout = nn.Dropout(0.5)
    def forward(self, x):
        x = self.fc(x)
        x = self.dropout(x)
        return x
net = SimpleNet()
x = torch.FloatTensor([1]*8)
net.train()
y = net(x)
print('train mode result: ', y)
net.eval()
y = net(x)
print('eval mode result: ', y)
net.eval()
y = net(x)
print('eval2 mode result: ', y)
def apply_dropout(m):
    if type(m) == nn.Dropout:
        m.train()
net.eval()
net.apply(apply_dropout)
y = net(x)
print('apply eval result:', y)

运行结果:

可以看到,在eval模式下,由于dropout未生效,每次跑的结果不同,利用apply函数,将Dropout单独设为train模式,dropout就生效了。

补充:Pytorch之dropout避免过拟合测试

一.做数据

在这里插入图片描述

二.搭建神经网络

三.训练

在这里插入图片描述

四.对比测试结果

注意:测试过程中,一定要注意模式切换

在这里插入图片描述

以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。

--结束END--

本文标题: pytorch 实现在测试的时候启用dropout

本文链接: https://lsjlt.com/news/126933.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作