如何在并行流之间共享权重?
2017-7-26 12:2:18
收藏:0
阅读:82
评论:1
有没有一种方法可以在 torch-model 的并行流之间共享权重?
例如,我有以下模型。
mlp = nn.Sequential();
c = nn.Parallel(1,2) -- 并行容器将把一个模块与维度1
-- (行空间)的每个切片关联起来,并在第二个维度上连接输出。
for i=1,10 do -- 并行添加10个线性 + 重塑模块(输入=3,输出=2x1)
local t=nn.Sequential()
t:add(nn.Linear(3,2)) -- 线性模块(输入=3,输出=2)
t:add(nn.Reshape(2,1)) -- 重塑大小为2的1D张量为大小为2x1的2D张量
c:add(t)
end
mlp:add(c)
现在我想要共享 nn.Linear 层的权重(包括所有内容,权重、偏差、梯度),跨不同的 i 数字(例如 nn.Linear(3,2)[1] 与 nn.Linear(3,2)[9])。 我有哪些选项可以共享这些权重?
还是推荐使用不同的容器/模块方法?
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则,禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?

你可以创建将被重复使用的模块:
t = nn.Sequential() t:add(nn.Linear(3,2)) t:add(nn.Reshape(2,1))然后,使用torch的
clone函数和额外参数共享权重(https://github.com/torch/nn/blob/master/doc/module.md#clonemlp):mlp = nn.Sequential() c = nn.Parallel(1,2) for i = 1, 10 do c:add(t:clone('weight', 'bias')) end mlp:add(c)