在Lua中创建大位数组的最佳方法

我想使用 Lua 将一个大型二进制文件(1MB 大小)读入内存。目标设备是移动设备,所以我非常想尽可能减少内存占用。

从网上快速查看,似乎 Lua 表会为每个顺序整数索引(键)使用 16B,加上存储值的空间,由于我存储的是二进制数据,希望只使用 2 位,但先说 1 字节。

对于 1000000 条记录,大约有 1e6 * 17 = 17MB - 这是巨大的!

从我的简短阅读中,似乎我可以使用 userdata 在 C 中实现任何我想要的东西。虽然我以前没有使用过 C,但似乎它会使用

1b * 1e6 = 125kB

我应该这样做还是我理解有误/有更简单的方法可以解决这个问题?

欢迎任何建议,甚至是针对糟糕计算的谩骂 :)

编辑:下面有一些关于将数据存储在字符串中(谢谢!)并使用位运算的有趣答案。我刚刚在 PIL 书中(第三版,第 293 页)遇到了一个例子,比较存储布尔数组在 C 中的方式,使它们使用 3% 的内存。虽然这很酷且有用,但对于我来说可能有些过度kill,因为下面的解决方案表明我可以适合 1MB,这对我来说很好。

编辑:遇到了这个 C Blob 实现

编辑:解决方案-如建议将文件内容读入字符串中,在使用 5.1 版时必须使用第三方位 op lib-我选择了纯 Lua 实现 LuaBit。谢谢大家!

点赞
用户7806
用户7806

你可以将一个大的二进制数据存储在 Lua 字符串中,它可以处理任何二进制数据。现在的问题是你想对这些数据做些什么。无论如何,你都可以使用 string.byte 提取任何单个字节,并使用 Lua 的 bit32 库进一步处理位。(对于 Lua 5.1 及更旧的版本,你要么必须编写自己的 C 例程,要么使用第三方软件包。)

2013-07-12 13:59:45
用户1009479
用户1009479

你可以使用string存储数据并且可以通过string库和Lua BitOp进行操作。如果可用,建议优先使用Lua5.2的内置bit32库。

2013-07-12 14:02:54
用户199201
用户199201

如果你想要将 1MB 的数据读入内存,你不会得到 250kB……

如果你将文件读入 Lua 字符串,你就得到了 1MB 的数据,因为 Lua 字符串只是 8 位清洁的字节。

然后,你可以根据数据的结构使用 struct 库 对数据进行处理。

2013-07-12 14:05:51