如何在卷积神经网络的不同输出通道中应用不同的成本函数？

2016-5-26 22:1:7
收藏：0
阅读：80
评论：1

我有一个卷积神经网络，其输出是一个4通道的2D图像。我希望将sigmoid激活函数应用于前两个通道，然后使用BCECriterion来计算生成图像与真实图像的损失。我希望对后两个通道应用平方损失函数，最后计算出梯度并进行反向传播。我还希望将每个最后两个通道的平方损失成本乘以一个所需的标量。

所以成本的形式如下：

成本=交叉熵Ch[{1、2}]+l1×squaredLossCh_3+l2×squaredLossCh_4

我想要做的方式如下：

criterion1=nn.BCECriterion()
criterion2=nn.MSECriterion()

error=criterion1:forward(model.output[{{},{1,2}}],groundTruth1)+l1×criterion2:forward(model.output[{{},{3}}],groundTruth2)+l2×criterion2:forward(model.output[{{},{4}}],groundTruth3)

然而，我认为这不是正确的做法，因为我将不得不进行3个分别对应于每个成本项的反向传播步骤。所以，我想问问，有没有人能够给我更好的解决方案，在Torch中实现这个问题？

点赞
用户865004
用户865004

你的问题可能会受到nn.SplitTable和nn.ParallelCriterion的帮助。

你当前的输出层后面跟着一个nn.SplitTable，它将你的输出通道分割并将你的输出张量转换为一个表格。你也可以通过使用ParallelCriterion来组合不同的函数，以便每个标准应用在输出表格的相应条目上。

有关详情，建议您阅读关于Torch表的文档。

在评论后，我添加了以下代码段解决原问题。

M = 100
C = 4
H = 64
W = 64
dataIn = torch.rand(M, C, H, W)

layerOfTables = nn.Sequential()
--由于SplitTable丢弃了要应用的维度，因此我们插入了一个额外的维度。
layerOfTables:add(nn.Reshape(M,C,1,H,W))
--我们要在第二维上拆分（即通道）。
layerOfTables:add(nn.SplitTable(2, 5))

-- 我们使用ConcatTable来创建访问数据的路径以供许多个标准使用。ConcatTable的每个分支将可以访问该数据（即输出表）。
criterionPath = nn.ConcatTable()
--从偏移量1开始，NarrowTable将选择2个元素。由于您想要使用此部分作为2维通道，因此我们需要使用JoinTable将它们组合在一起。如果没有JoinTable，输出将再次是一个具有2个元素的表格。
criterionPath:add(nn.Sequential():add(nn.NarrowTable(1, 2)):add(nn.JoinTable(2)))
-- SelectTable是NarrowTable的简化版本，它获取所需的元素。
criterionPath:add(nn.SelectTable(3))
criterionPath:add(nn.SelectTable(4))

layerOfTables:add(criterionPath)

--这里是标准容器。您可以将其用作常规标准函数（请参阅文档页面上的示例）。
criterionContainer = nn.ParallelCriterion()
criterionContainer:add(nn.BCECriterion())
criterionContainer:add(nn.MSECriterion())
criterionContainer:add(nn.MSECriterion())

由于我使用了几乎所有可能的表操作，它看起来有点复杂。然而，这是我能解决这个问题的唯一方式。我希望它能帮助您和其他遇到同样问题的人。这是结果的样子：

dataOut = layerOfTables:forward(dataIn)
print(dataOut)
{
  1 : DoubleTensor - size: 100x2x64x64
  2 : DoubleTensor - size: 100x1x64x64
  3 : DoubleTensor - size: 100x1x64x64
}
2016-05-26 08:41:50

作者:

用户2838606

用户2838606
推荐文章