如何在 Linux 上绕过 64 位 LuaJIT 的 1GB 内存限制？

只有由LuaJIT本身分配的对象才被限制为2GB内存。这意味着，表、字符串、完全的userdata（即非lightuserdata）和使用ffi.new分配的FFI对象将计入限制，但是使用malloc、mmap等分配的对象不受此限制（无论是由C模块还是FFI调用）。

分配结构体示例使用malloc：

ffi.cdef[[
    typedef struct { int bar; } foo;
    void* malloc(size_t);
    void free(void*);
]]

local foo_t = ffi.typeof("foo")
local foo_p = ffi.typeof("foo*")

function alloc_foo()
    local obj = ffi.C.malloc(ffi.sizeof(foo_t))
    return ffi.cast(foo_p, obj)
end

function free_foo(obj)
    ffi.C.free(obj)
end

据我所知，LuaJIT 3.0中要实现的新GC不会有这个限制，但我最近没有听到任何关于它的开发的消息。

来源：http://lua-users.org/lists/lua-l/2012-04/msg00729.html

以下是那些在未来发现此问题的人的跟进信息：

关键信息如Colonel Thirty Two所发表的，即C模块扩展和FFI代码很容易超出限制。（而引用的Lua列表帖子也提醒了超出限制的纯Lua表将非常缓慢地回收）

我花了一些时间来整合访问和保存/加载我的对象，所以在这里：

我使用lds作为起点，在https://github.com/neomantra/lds上使用了特别是1-D数组代码。

这使得使用torch.save()时出现了问题，因为它不知道如何编写新对象。对于每个对象，我添加了以下代码（以Array为例）：

function Array:load(inp)
   for i=1,#inp do
      self._data[i-1] = tonumber(inp[i])
   end
   return self
end

function Array:serialize ()
   local siz = tonumber(self._size)
   io.write(' lds.ArrayT( ffi.typeof("double"), lds.MallocAllocator )( ', siz , "):load({")
   for i=0,siz-1 do
      io.write(string.format("%a,", self._data[i]))
   end
   io.write("})")
end

请注意，我的应用程序特定使用双精度和malloc()，因此更好的实现将存储和在self中使用这些值，而不是像上面那样硬编码。

然后，如在PiL和其他地方讨论的那样，我需要一个可以处理对象的序列化程序：

function serialize (o)
     if type(o) == "number" then
       io.write(o)
     elseif type(o) == "string" then
       io.write(string.format("%q", o))
     elseif type(o) == "table" then
       io.write("{\n")
       for k,v in pairs(o) do
          io.write("  ["); serialize(k); io.write("] = ")
         serialize(v)
         io.write(",\n")
       end
       io.write("}\n")
     elseif o.serialize then
        o:serialize()
     else
       error("cannot serialize a " .. type(o))
     end
end

这需要用以下内容进行包装：

io.write('do local _ = ')
serialize( myWeirdTable )
io.write('; return _; end')

然后，可以使用以下内容重新加载该输出

local myWeirdTableReloaded = dofile('myWeirdTableSaveFile')

有关dofile()，请参见PiL（Lua编程书）

希望这能帮助到某人！

你可以使用 torch tds 模块。在 README 中，它描述道：

这些数据结构不依赖 Lua 的内存分配器，也不受 Lua 垃圾回收器的限制。

仅支持 C 类型的存储：当前支持的类型有数字、字符串、数据结构本身（参见嵌套：例如可以在哈希中包含哈希或向量），以及 torch 张量和存储。所有数据结构都可以存储异构对象，并支持 torch 序列化。