关于教程/2_supervised/4_train.lua中的 feval 函数
2016-9-19 10:43:23
收藏:0
阅读:78
评论:1
在Github上: https://github.com/torch/tutorials/blob/master/2_supervised/4_train.lua 我们有一个脚本定义了训练程序,我对该脚本中 feval 函数的构造很感兴趣。
-- 创建一个 closure 来评估 f(X) 和 df/dX
local feval = function(x)
-- 获取新参数
if x ~= parameters then
parameters:copy(x)
end
-- 重置梯度
gradParameters:zero()
-- f 是所有 criterions 的平均值
local f = 0
-- 为整个 mini batch 评估函数
for i = 1,#inputs do
-- 评估 f
local output = model:forward(inputs[i])
local err = criterion:forward(output, targets[i])
f = f + err
-- 评估 df/dW
local df_do = criterion:backward(output, targets[i])
model:backward(inputs[i], df_do)
-- 更新 confusion
confusion:add(output, targets[i])
end
-- 标准化梯度和 f(X)
gradParameters:div(#inputs)
f = f/#inputs
-- 返回 f 和 df/dX
return f,gradParameters
end
我尝试通过取消循环来修改此函数: for i = 1,#inputs do ... 因此,我不是针对每个输入单独对其进行前向和反向处理(inputs[i]),而是针对整个 mini batch(inputs)进行处理。这真正加快了处理速度。这是修改后的脚本:
-- 创建一个 closure 来评估 f(X) 和 df/dX
local feval = function(x)
-- 获取新参数
if x ~= parameters then
parameters:copy(x)
end
-- 重置梯度
gradParameters:zero()
-- f 是所有 criterions 的平均值
local f = 0
-- 为整个 mini batch 评估函数
-- 评估 f
local output = model:forward(inputs)
local f = criterion:forward(output, targets)
-- 评估 df/dW
local df_do = criterion:backward(output, targets)
-- 更新权重
model:backward(inputs, df_do)
-- 更新 confusion
confusion:batchAdd(output, targets)
-- 返回 f 和 df/dX
return f,gradParameters
end
但是,当我详细检查给定 mini batch 的feval返回值(f,gradParameters)时,使用循环和不使用循环得到的结果不同。
所以我的问题是: 1 - 为什么要使用循环? 2 - 是否可能在不使用循环的情况下获得相同的结果?
敬礼 Sam
注:我是 Torch7 的初学者
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则,禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?

我相信你一定注意到了要让第二种方法工作起来比仅仅改变feval要多做一些事情。在你的第二个例子中,inputs需要是一个4D的张量,而不是一个3D张量的表格(除非我最近更新时有所改变)。这些张量的大小取决于所使用的损失标准/模型。实现示例的人必须认为循环在这里是更容易的方法。此外,ClassNLLCriterion似乎不喜欢批处理(通常会使用CrossEntropy标准来处理这个问题)。
但是,两种方法应该给出相同的结果。唯一的小差异是,第一个例子使用平均误差/梯度,而第二个使用总和,如下所示:
在第二种情况下,f和gradParameters应该仅在一个因素opt.batchSize中与第一种情况有所不同。就优化目的而言,这些数学上是等价的。