Pytorch实现计算平均有几种方法,怎样�

Admin 2022-07-19 群英技术资�

在实际应用中,我们有时候会遇到“Pytorch实现计算平均有几种方法,怎样做”这样的问题,我们该怎样来处理呢?下文给大家介绍了解决方法,希望这篇“Pytorch实现计算平均有几种方法,怎样做”文章能帮助大家解决问题�




给定损失函数的输入y,pred,shape均为bxc�

若设定loss_fn = torch.nn.MSELoss(reduction='mean'),最终的输出值其实是(y - pred)每个元素数字的平方之和除以(bxc),也就是在batch和特征维度上都取了平均�

如果只想在batch上做平均,可以这样写�

loss_fn = torch.nn.MSELoss(reduction='sum')
loss = loss_fn(pred, y) / pred.size(0)

补充:PyTorch中MSELoss的使�

参数

torch.nn.MSELoss(size_average=None, reduce=None, reduction: str = 'mean')

size_average和reduce在当前版本的pytorch已经不建议使用了,只设置reduction就行了�

reduction的可选参数有�'none' �'mean' �'sum'

reduction='none':求所有对应位置的差的平方,返回的仍然是一个和原来形状一样的矩阵�

reduction='mean':求所有对应位置差的平方的均值,返回的是一个标量�

reduction='sum':求所有对应位置差的平方的和,返回的是一个标量�

更多可查看官方文档�

举例

首先假设有三个数据样本分别经过神经网络运算,得到三个输出与其标签分别�:

y_pre = torch.Tensor([[1, 2, 3],
                      [2, 1, 3],
                      [3, 1, 2]])

y_label = torch.Tensor([[1, 0, 0],
                        [0, 1, 0],
                        [0, 0, 1]])

如果reduction='none'�

criterion1 = nn.MSELoss(reduction='none')
loss1 = criterion1(x, y)
print(loss1)

则输出:

tensor([[0., 4., 9.],

[4., 0., 9.],

[9., 1., 1.]])

如果reduction='mean'�

criterion2 = nn.MSELoss(reduction='mean')
loss2 = criterion2(x, y)
print(loss2)

则输出:

tensor(4.1111)

如果reduction='sum'�

criterion3 = nn.MSELoss(reduction='sum')
loss3 = criterion3(x, y)
print(loss3)

则输出:

tensor(37.)

在反向传播时的使�

一般在反向传播时,都是先求loss,再使用loss.backward()求loss对每个参� w_ij和b的偏导数(也可以理解为梯度)�

这里要注意的是,只有标量才能执行backward()函数,因此在反向传播中reduction不能设为'none'�

但具体设置为'sum'还是'mean'都是可以的�

若设置为'sum',则有Loss=loss_1+loss_2+loss_3,表示总的Loss由每个实例的loss_i构成,在通过Loss求梯度时,将每个loss_i的梯度也都考虑进去了�

若设置为'mean',则相比'sum'相当于Loss变成了Loss*(1/i),这在参数更新时影响不大,因为有学习率a的存在�


到此这篇关于“Pytorch实现计算平均有几种方法,怎样做”的文章就介绍到这了,更多相关Pytorch实现计算平均有几种方法,怎样做内容,欢迎关注群英网络技术资讯频道,小编将为大家输出更多高质量的实用文章�

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:[email protected]进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容�

猜你喜欢

群英网络开启智能安全云计算之旅

注册领取新人大礼�
专业资深工程师驻�
7X24小时快速响�
一站式无忧技术支�
免费备案服务

联系我们

24小时售后 24小时售后TEL�0668-2555666 售前咨询TEL�400-678-4567 投诉建议TEL�0668-2555999 投诉建议邮箱:t[email protected] 信息安全TEL�0668-2555118 域名空间客服 公司总机�0668-2555555 公司传真�0668-2555000
免费拨打  400-678-4567
免费拨打  400-678-4567 免费拨打 400-678-4567 � 0668-2555555
在线客服
微信公众号
返回顶部
返回顶部 返回顶部