Pytorch实现计算平均有几种方法,怎样�
Admin 2022-07-19 群英技术资�
给定损失函数的输入y,pred,shape均为bxc�
若设定loss_fn = torch.nn.MSELoss(reduction='mean'),最终的输出值其实是(y - pred)每个元素数字的平方之和除以(bxc),也就是在batch和特征维度上都取了平均�
loss_fn = torch.nn.MSELoss(reduction='sum') loss = loss_fn(pred, y) / pred.size(0)
补充:PyTorch中MSELoss的使�
torch.nn.MSELoss(size_average=None, reduce=None, reduction: str = 'mean')
size_average和reduce在当前版本的pytorch已经不建议使用了,只设置reduction就行了�
reduction的可选参数有�'none' �'mean' �'sum'
reduction='none'
:求所有对应位置的差的平方,返回的仍然是一个和原来形状一样的矩阵�
reduction='mean'
:求所有对应位置差的平方的均值,返回的是一个标量�
reduction='sum'
:求所有对应位置差的平方的和,返回的是一个标量�
更多可查看官方文档�
首先假设有三个数据样本分别经过神经网络运算,得到三个输出与其标签分别�:
y_pre = torch.Tensor([[1, 2, 3], [2, 1, 3], [3, 1, 2]]) y_label = torch.Tensor([[1, 0, 0], [0, 1, 0], [0, 0, 1]])
如果reduction='none'�
criterion1 = nn.MSELoss(reduction='none') loss1 = criterion1(x, y) print(loss1)
则输出:
tensor([[0., 4., 9.],
[4., 0., 9.],
[9., 1., 1.]])
如果reduction='mean'�
criterion2 = nn.MSELoss(reduction='mean') loss2 = criterion2(x, y) print(loss2)
则输出:
tensor(4.1111)
如果reduction='sum'�
criterion3 = nn.MSELoss(reduction='sum') loss3 = criterion3(x, y) print(loss3)
则输出:
tensor(37.)
一般在反向传播时,都是先求loss,再使用loss.backward()求loss对每个参� w_ij和b的偏导数(也可以理解为梯度)�
这里要注意的是,只有标量才能执行backward()函数,因此在反向传播中reduction不能设为'none'�
但具体设置为'sum'还是'mean'都是可以的�
若设置为'sum',则有Loss=loss_1+loss_2+loss_3,表示总的Loss由每个实例的loss_i构成,在通过Loss求梯度时,将每个loss_i的梯度也都考虑进去了�
若设置为'mean',则相比'sum'相当于Loss变成了Loss*(1/i),这在参数更新时影响不大,因为有学习率a的存在�
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:[email protected]进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容�
猜你喜欢
这篇文章主要介绍了在python中设置柱状图参数的操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐�
今天我们来重点看下Django中session和cookie的用法吧。我们会介绍cookie和session的工作原理,还会分享实际应用的案例�
在机器视觉中,对于图像的处理有时候因为放置的原因导致ROI区域倾斜,这个时候我们会想办法把它纠正为正确的角度视角来,方便下一步的布局分析与文字识别,这个时候通过透视变换就可以取得比较好的裁剪效果�
这篇文章主要介绍了Python通过ffmpeg实现修改图片分辨率,文中的代码介绍详细,对我们的工作或学习有一定的价值,感兴趣的小伙伴可以学习一�
这篇文章主要介绍Python中requests做接口测试的内容,下面有具体的过程和步骤,对新手学习和了解requests做接口测试的方法有一定借鉴价值,感兴趣的朋友可以参考下�
推荐内容
联系我们
24小时售后 � 24小时售后TEL�0668-2555666 售前咨询TEL�400-678-4567 投诉建议TEL�0668-2555999 投诉建议邮箱:t[email protected] 信息安全TEL�0668-2555118 域名空间客服 � 公司总机�0668-2555555 公司传真�0668-2555000Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所� 茂名市群英网络有限公�
增值电信经营许可证 : B1.B2-20140078