当克隆的网络被放置在较大的模块中时,复制品不会被训练。
2016-8-1 20:51:55
收藏:0
阅读:47
评论:1
我想通过将一个小的网络模块克隆并放置在几个不同的大型网络中来训练它。但是当我将它放入这样的一个环境中时,它的参数在训练过程中没有更新。下面是一个小例子,展示了这个问题。
我这样制造了这个小原始网络:
function mkPrimitive()
local inp = nn.Linear(2, 2)()
local outp = nn.Tanh()(nn.Linear(2, 2)(nn.Tanh()(inp)))
return nn.gModule({inp}, {outp})
end
prim = mkPrimitive()
然后我将它放到一个较大的网络中,称为 toTrain,就像这样:
function mkNet()
local fst = prim:clone('weight', 'gradWeight', 'bias', 'gradBias')()
local snd = prim:clone('weight', 'gradWeight', 'bias', 'gradBias')(fst)
return nn.gModule({fst}, {snd})
end
toTrain = mkNet()
然后我训练了这个较大的网络,并打印出它的参数和 prim 的参数。我看到,在迭代过程中,较大的 toTrain 网络的参数改变了,而 prim 的没有。下面是训练代码。有没有方法解决这个问题?
numRuns = 10
function train()
local crit = nn.MSECriterion()
for i = 1, numRuns do
toTrain:zeroGradParameters()
local inData = torch.rand(1, 2) --生成一些输入/输出数据
local outData = torch.rand(1, 2)
local pred = toTrain:forward(inData)
local err = crit:forward(pred, outData)
local grad = crit:backward(pred, outData)
toTrain:backward(inData, grad)
toTrain:updateParameters(0.01)
local bigWs = toTrain:getParameters()
local primWs = prim:getParameters()
print(bigWs) --大网络的参数在学习过程中改变,
print(primWs) --但原始网络的参数没有。
print("------------------------------")
end
end
train()
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?
- addEventListener 返回 nil Lua
- Lua中获取用户配置主目录的跨平台方法
getParameters()会更改网络参数的内存位置,因此任何共享都会丢失。请查看此链接获取更多详情。