Lua 表中最大条目数

我正在尝试在 Lua 中构建 厄拉多塞筛法,我尝试了几种方法,但我看到自己面临以下问题:

Lua 的表对于这种场景来说太小了。如果我只想创建一个包含所有数字的表格(参见下面的示例),即使只有该数字的 1/8 (...),表格也太"小"了(我承认该数字很大)...

max = 600851475143
numbers = {}

for i=1, max do
    table.insert(numbers, i)
end

如果我在我的 Windows 机器上执行此脚本,会出现错误消息:C:\Program Files (x86)\Lua\5.1\lua.exe: not enough memory。 在我的 Linux 机器上运行 Lua 5.3,我也尝试了该错误,只有killed。所以很明显,Lua 无法处理这么多条目。

我真的不知道是否仅仅无法在 lua 表中存储那么多条目,还是说有一个简单的解决方案(也尝试了使用长字符串...)?Lua 表中最大的条目数是多少?

更新: 是否有可能为表格手动分配更多内存?

更新 2(对第二个问题的解决方案):第二个问题很简单,我只是通过运行每个数字直到程序崩溃来测试它:33,554,432个(2 ^ 25)条目适合我的 12 GB RAM 系统中的一个一维表格。为什么是2 ^ 25?因为每个数字64位 * 2 ^ 25 = 2147483648位,这正是 Lua for Windows 32 位编译器的标准内存分配大小2GB。这似乎是 Windows 32 位编译器的标准内存分配大小。

P.S. 您可能已经注意到,这个数字来自 Euler 项目问题 3。是的,我正在努力实现这个。请不要给出具体提示(..)。谢谢 :)

点赞
用户2858170
用户2858170

Lua 使用双精度浮点数来表示数字。每个数字占用 64 位。 600851475143 个数字需要近 4.5TB 的内存。

因此,这不是 Lua 或其表的错。错误信息甚至说:

内存不足

你只是没有足够的 RAM 来分配那么多内存。

如果你仔细阅读了链接的维基百科文章,你会发现以下段落:

正如 Sorenson 所指出的,Eratosthenes 筛法的问题不在于它执行的操作数量,而在于它的内存要求。[8] 对于大的 n,素数的范围可能无法适应内存;更糟糕的是,即使对于适度的 n,其缓存使用也非常低效。该算法走遍整个数组 A,几乎没有局部引用。

对这些问题的解决方案是由分段筛法提供的,其中只有部分范围是一次筛选的。[9] 这些自从 1970 年代以来就已经被知道了,它们按照以下方式工作...

2017-12-20 08:49:18
用户3308532
用户3308532

埃拉托色尼筛法只需要一个比特位来表示该数字是否被标记为非质数。

降低内存使用的方法之一是使用位运算来表示每个表条目中的多个位。当前的 Lua 实现具有位或、位与等内在支持。根据底层实现,您应该能够表示每个表条目的 32 或 64 位(数字标志)。

另一个选择是使用一个或多个非常长的字符串来代替表格。您只需要一个线性数组,这实际上就是一个字符串。只需在每个位置上有一个带有 "t" 或 "f",或 "0" 或 "1" 的长字符串。

注意:在 Lua 中进行字符串操作总是涉及到复制,这很快就会成为以性能为基础的 n² 或更糟糕的复杂性。您不希望为整个巨大序列使用一个连续的字符串,但是您可能可以将其分成一千个块或某个 2 的幂,以减少内存使用并最小化开销。

编辑: 在注意到其他地方提出的一点之后,我意识到您的最大数字非常大,即使每个数字仅有一个比特位,您的内存需求也将达到最大约 73 GB,这非常不切实际。我建议您遵循 Piglet 在他们的答案中提供的建议,查看 Jon Sorenson 的筛网版本,该版本适用于空间的片段而不是全部。

我会保留我的建议,因为它仍然可能对 Sorenson 的筛选器有用,但是,是的,您面临的问题比您意识到的要大得多。

2017-12-20 22:28:27