Pytorch中dataloader加载batch卡死问题如何处理

Admin 2022-07-30 群英技术资�

这篇文章主要介绍“Pytorch中dataloader加载batch卡死问题如何处理”,有一些人在Pytorch中dataloader加载batch卡死问题如何处理的问题上存在疑惑,接下来小编就给大家来介绍一下相关的内容,希望对大家解答有帮助,有这个方面学习需要的朋友就继续往下看吧�


问题�

自己写了个dataloader,为了部署方便,用OpenCV的接口进行数据读取,而没有用PIL,代码大致如下:

    def __getitem__(self, idx):
        sample = self.samples[idx]
 
        img = cv2.imread(sample[0])
        img = cv2.resize(img, tuple(self.input_size))
        img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        # if not self.val and random.randint(1, 10) < 3:
        #     img = self.img_aug(img)
        img = Image.fromarray(img) 
        img = self.transforms(img)        
        ...

结果在训练过程中,在�1个epoch的最后一个batch时,程序卡死�

解决�

可能是因为OpenCV与Pytorch互锁的问题,关闭OpenCV的多线程,问题解决�

cv2.setNumThreads(0)
cv2.ocl.setUseOpenCL(False)

补充:pytorch 中一个batch的训练过�

# 一般情况下
optimizer.zero_grad()             # 梯度清零
preds = model(inputs)             # inference,前向传播求出预测�
loss = criterion(preds, targets)  # 计算loss
loss.backward()                   # 反向传播求解梯度
optimizer.step()                  # 更新权重,更新网络权重参�

此外,反向传播前,如果不进行梯度清零,则可以实现梯度累加,从而一定程度上解决显存受限的问题�


以上就是关于“Pytorch中dataloader加载batch卡死问题如何处理”的介绍了,感谢各位的阅读,如果大家想要了解更多相关的内容,欢迎关注群英网络,小编每天都会为大家更新不同的知识�

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:[email protected]进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容�

猜你喜欢

成为群英会员,开启智能安全云计算之旅

立即注册
专业资深工程师驻�
7X24小时快速响�
一站式无忧技术支�
免费备案服务
免费拨打  400-678-4567
免费拨打  400-678-4567 免费拨打 400-678-4567 � 0668-2555555
在线客服
微信公众号
返回顶部
返回顶部 返回顶部