Pytorch中dataloader加载batch卡死问题如何处理
Admin 2022-07-30 群英技术资�
自己写了个dataloader,为了部署方便,用OpenCV的接口进行数据读取,而没有用PIL,代码大致如下:
def __getitem__(self, idx): sample = self.samples[idx] img = cv2.imread(sample[0]) img = cv2.resize(img, tuple(self.input_size)) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # if not self.val and random.randint(1, 10) < 3: # img = self.img_aug(img) img = Image.fromarray(img) img = self.transforms(img) ...
结果在训练过程中,在�1个epoch的最后一个batch时,程序卡死�
可能是因为OpenCV与Pytorch互锁的问题,关闭OpenCV的多线程,问题解决�
cv2.setNumThreads(0) cv2.ocl.setUseOpenCL(False)
补充:pytorch 中一个batch的训练过�
# 一般情况下 optimizer.zero_grad() # 梯度清零 preds = model(inputs) # inference,前向传播求出预测� loss = criterion(preds, targets) # 计算loss loss.backward() # 反向传播求解梯度 optimizer.step() # 更新权重,更新网络权重参�
此外,反向传播前,如果不进行梯度清零,则可以实现梯度累加,从而一定程度上解决显存受限的问题�
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:[email protected]进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容�
猜你喜欢
我们需要知道用户对键盘按了哪些键,所以需要用到监听键盘时间。这篇文章就主要给大家分享python如何实现监听键盘,下文是具体的实例,对大家理解python实现监听键盘有一定帮助�
这篇文章主要为大家详细介绍了Python中的time模块以及如何利用time模块实现时间戳与结构化时间,文中的示例代码讲解详细,需要的可以参考一�
Python中倒排列是倒序排列的意思。Python中倒序排列的方法有多少�
python框架是对基础代码进行封装和提供相应的应用编程接口,开发人员在使用框架时直接调用封装的应用编程接口可以,提高生产效率和开发速度
这篇文章主要介绍了如何从Python的cmd中获�.py文件参数操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐�
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所�
增值电信经营许可证 : B1.B2-20140078