Torch 中卷积神经网络的静态/常数损失
2016-8-9 10:46:57
收藏:0
阅读:145
评论:1
我有一个一维时间序列分类问题,并将数据导入 Torch。我编写了两个不同的网络来学习数据。每行标记为 1 或 0。
问题是卷积网络的损失在第一次迭代后不会下降。在迭代一后,它仍然保持在 完全 相同的值。对于另一个网络 - 逻辑回归 - 并非如此。该网络的损失随时间而下降。
下面是 ConvNet:
model = nn.Sequential()
for i = 1, iteration do
model:add(nn.TemporalConvolution(1,1,3,1))
model:add(nn.BatchNormalization(1))
model:add(nn.ReLU())
model:add(nn.TemporalMaxPooling(3,2))
if i == iteration then
model:add(nn.Sigmoid())
end
end
由于 LogReg 的损失会下降,我认为问题与 ConvNet 本身有关,而不是代码中的其他内容。
如有需要,我很乐意发布更多代码。
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则,禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?

通常情况下,如果在最小化损失函数时没有改进,那么模型已经达到了局部(全局)最小值。
这可能有几个原因,例如学习率、正则化、数据在某种程度上不适合模型等等。仅仅依据模型很难说清楚。
您在 LogReg 的训练中使用了完全相同的代码吗?
您可以查看这个教程获取关于 temporalConvolution 的一些信息: http://supercomputingblog.com/machinelearning/an-intro-to-convolutional-networks-in-torch/