使用ClassNLLCriterion在Torch中进行批处理。
2015-9-14 11:27:9
收藏:0
阅读:76
评论:1
我正在尝试在 Torch 中实现一个简单的神经网络,以了解更多相关信息。 我创建了一个非常简单的数据集:从 0 到 15 的二进制数,我的目标是将数字分为两类 - 类 1 是数字 0-3 和 12-15,类 2 是其余数字。 以下是我现在拥有的代码(我只删除了数据加载程序):
require 'torch'
require 'nn'
data = torch.Tensor( 16, 4 )
class = torch.Tensor( 16, 1 )
network = nn.Sequential()
network:add( nn.Linear( 4, 8 ) )
network:add( nn.ReLU() )
network:add( nn.Linear( 8, 2 ) )
network:add( nn.LogSoftMax() )
criterion = nn.ClassNLLCriterion()
for i = 1, 300 do
prediction = network:forward( data )
--print( "prediction: " .. tostring( prediction ) )
--print( "class: " .. tostring( class ) )
loss = criterion:forward( prediction, class )
network:zeroGradParameters()
grad = criterion:backward( prediction, class )
network:backward( data, grad )
network:updateParameters( 0.1 )
end
这是数据和类张量的样子:
0 0 0 0
0 0 0 1
0 0 1 0
0 0 1 1
0 1 0 0
0 1 0 1
0 1 1 0
0 1 1 1
1 0 0 0
1 0 0 1
1 0 1 0
1 0 1 1
1 1 0 0
1 1 0 1
1 1 1 0
1 1 1 1
[torch.DoubleTensor of size 16x4]
2
2
2
2
1
1
1
1
1
1
1
1
2
2
2
2
[torch.DoubleTensor of size 16x1]
这是我预计的结果。然而,当运行此代码时,我在第 loss = criterion:forward( prediction, class ) 行收到以下错误:
torch/install/share/lua/5.1/nn/ClassNLLCriterion.lua:69: attempt to perform arithmetic on a nil value 当我像这样修改训练程序时(一次处理单个数据点而不是 16 个数据点的一批),它会工作并且网络成功地学习识别两个类别:
for k = 1, 300 do
for i = 1, 16 do
prediction = network:forward( data[i] )
--print( "prediction: " .. tostring( prediction ) )
--print( "class: " .. tostring( class ) )
loss = criterion:forward( prediction, class[i] )
network:zeroGradParameters()
grad = criterion:backward( prediction, class[i] )
network:backward( data[i], grad )
network:updateParameters( 0.1 )
end
end
我不确定我正在尝试做的“批处理”可能有什么问题。对 ClassNLLCriterion 的简短查看没有帮助,它似乎提供了我期望的输入(如下所示),但仍然失败。它收到的输入(prediction 和 class 张量)如下所示:
-0.9008 -0.5213
-0.8591 -0.5508
-0.9107 -0.5146
-0.8002 -0.5965
-0.9244 -0.5055
-0.8581 -0.5516
-0.9174 -0.5101
-0.8040 -0.5934
-0.9509 -0.4884
-0.8409 -0.5644
-0.8922 -0.5272
-0.7737 -0.6186
-0.9422 -0.4939
-0.8405 -0.5648
-0.9012 -0.5210
-0.7820 -0.6116
[torch.DoubleTensor of size 16x2]
2
2
2
2
1
1
1
1
1
1
1
1
2
2
2
2
[torch.DoubleTensor of size 16x1]
有人能帮我解决这个问题吗?谢谢。
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?
- addEventListener 返回 nil Lua
- Lua中获取用户配置主目录的跨平台方法
经验表明,
nn.ClassNLLCriterion期望目标值是一个大小为batch_size的 1维张量 或一个 标量。你的class是一个大小为batch_size x 1的2D张量,但是class[i]是1D的,这就是为什么你的非批处理版本起作用的原因。所以,这将解决你的问题:
class = class:view(-1)或者,你可以用下面的等价方法替换:
network:add( nn.LogSoftMax() ) criterion = nn.ClassNLLCriterion()criterion = nn.CrossEntropyCriterion()有趣的是,
nn.CrossEntropyCriterion也能接受一个 2D张量,为什么nn.ClassNLLCriterion不能呢?