将 AlexNet 的第一层在 lua 中并行化

我正在尝试在 Torch,Lua 中为 Alexnet 的第一层添加并行表。我想要将两个带有 RGB 图像的批次传递到网络中,然后将它们的加法发送到下一层。例如:假设我想要将带有 6 个通道的图像发送到 alexnet 的第一层,但在这种情况下,我想要将两个每个包含 3 个通道的批次发送到第一个并行层中,将它们合并,然后将输出发送到下一层。 实际的代码如下所示:

net = nn.Sequential()
net:add(nn.SpatialConvolution(3,96,11,11,4,4,2,2))
net:add(nn.SpatialBatchNormalization(96))
net:add(nn.ReLU(true))
net:add(nn.SpatialMaxPooling(3,3,2,2))
net:add(nn.SpatialConvolution(96,256,5,5,1,1,2,2))
net:add(nn.SpatialBatchNormalization(256))
net:add(nn.ReLU(true))
net:add(nn.SpatialMaxPooling(3,3,2,2))
net:add(nn.SpatialConvolution(256,384,3,3,1,1,1,1))

我认为会起作用的代码是:

net = nn.Sequential()
c = nn.ParallelTable()
c:add(nn.SpatialConvolution(3,48,11,11,4,4,2,2))
c:add(nn.SpatialConvolution(3,48,11,11,4,4,2,2))
net:add(c)
net:add(nn.JoinTable(1,8))
net:add(nn.SpatialBatchNormalization(96))
net:add(nn.ReLU(true))
net:add(nn.SpatialMaxPooling(3,3,2,2))

我得到的错误是:

在 nn.ParallelTable 的 1 个模块中: /torch/install/share/lua/5.1/cudnn/init.lua:171:断言失败!

我想知道我在实现中犯了什么错误,希望得到帮助。

谢谢

点赞
用户3754413
用户3754413

你的错误出现在 net:add(nn.JoinTable(1,8)) 这一行,应该把 8 改成 3。这个值是你输入张量的维数(不计 batch 维度),在这里,你输入的是 3D 图像,所以应该写成 net:add(nn.JoinTable(1,3))

我使用了下面的代码,一切都很顺利

require 'nn'
require 'cutorch'
require 'cunn'
require 'cudnn'

net = nn.Sequential()
c = nn.ParallelTable()
c:add(nn.SpatialConvolution(3,48,11,11,4,4,2,2))
c:add(nn.SpatialConvolution(3,48,11,11,4,4,2,2))
net:add(c)
net:add(nn.JoinTable(1,3))
net:add(nn.SpatialBatchNormalization(96))
net:add(nn.ReLU(true))
net:add(nn.SpatialMaxPooling(3,3,2,2))

net:cuda()

input1 = torch.rand(128,3,227, 227):cuda()
input2 = torch.rand(128,3,227,227):cuda()

out = net:forward({input1, input2})

print(out:size())
2017-06-27 02:32:23