使用Element Research RNN for Torch Lua处理可变长度序列的批处理
2016-7-23 6:47:45
收藏:0
阅读:64
评论:1
我正在尝试使用Element Research的RNN模块中提供的LSTM模型来训练音素音译数据。我有单独的X和Y的训练数据表。X和Y都包含每个训练示例作为张量,即X中的张量包含序列中每个字符的ASCII值,而Y中的张量包含生成的序列的ASCII值。我已经创建了数据,使得对于来自X和Y的特定示例,它被完美地排列并用零填充进行训练。因此,我可以一次训练一个LSTM。但是,问题是,我不知道如何进行批次训练,因为每个示例张量具有不同的长度。
我认为,通过这种表示,我可以让它变得清晰:
X{ Y{
[EEEEE00000] [00000MMMMM]
[EEE0000] [000MMMM]
[EEEEEEEE0000000000] [00000000MMMMMMMMMM]
. .
. .
. .
} }
其中, EEEE..代表输入序列,MMMM...代表输出序列..
我还没有设计模型,因为我正在考虑一个能够支持批量训练的适当模型。我要修改我的数据还是应该设计一种可以修改这个数据的模型?如果是在模型上,我怎么做?
注:每个训练示例都是独立的。因为每个示例都是独立的,所以这个LSTM必须在每次训练示例后忘记前一个序列。也就是说,反向传播只能在单个示例长度的时间步骤上进行。
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?
- addEventListener 返回 nil Lua
- Lua中获取用户配置主目录的跨平台方法
你有一个长度可变的序列数据集,并且想要批处理。解决方案是将 X 和 Y 组织为
seqlen x batchsize的张量,其中每个独立的序列都由零(或零张量)分隔:在上面的示例中,我们有序列 1-1-2、2-2-1、2-2-3 和 3-3-2,每个序列之间由零分隔。
使用 rnn:maskZero(),
rnn可以检测这些零,并在检测到时忘记先前的隐藏状态。这有效地意味着 BPTT 仅在序列的持续时间内反向传播(即零重置了 BPTT)。