高效阅读、解析和存储 .txt 文件内容到 Torch 张量中
2016-10-19 14:54:48
收藏：0
阅读：98
评论：1
我有大量的 .txt 文件（可能有大约1000万个），每个文件都具有相同的行/列数。它们实际上是一些单通道图像，像素值用空格隔开。以下是我编写的代码，用于执行此任务，但速度非常慢。我想知道是否有人可以建议更优化/高效的方法来完成此任务：
require 'torch'
f = assert(io.open(txtFilePath, 'r'))
local tempTensor = torch.Tensor(1, 64, 64):fill(0)
local i = 1
for line in f:lines() do
local l = line:split(' ')
for key, val in ipairs(l) do
tempTensor[{1, i, key}] = tonumber(val)
end
i = i + 1
end
f:close()
点赞
评论区的留言会收到邮件通知哦~
作者:
用户2838606
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则，禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1：1导入真实世界的地形？
- 求解，lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教：如何用lua实现游戏内调用数据库函数实现账号密码注册？
- Lua实现网站后台开发
- LUA错误显式返回，社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接，并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下，有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值（不考虑键的顺序）
- 有个lua简单的项目，外包，有意者加微信 liuheng600456详谈，最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码？
简而言之，如果可能，修改你的源文件。
我唯一能建议的是使用二进制数据而不是txt作为源文件。 你有长期的方法：
f：lines(),line：split(' ')和tonumber（val）。它们都使用字符串作为变量。据我所知，你有这样的文件：
所以将你的源更改为二进制，像这样：
其中
<18>是十六进制中的一个字节，即12，<20>是16，等等。要读取
fid = io.open(sup_filename, "rb") while true do local bytes = fid:read(1) if bytes == nil then break end -- EOF local st = bytes[0] print(st) end fid：close()https://www.lua.org/pil/21.2.2.html 这会快得多。
或许使用正则表达式（而不是
：split（）和lines（））可以帮助你，但我不认为。