从Lua向C传递大型二进制数据的最佳方法

我有一个应用,在通过LuaSockets从网络获取大量二进制数据(500KB)(尚未实现此部分)。根据我所知,这个数据将会被存储在某种类型的字符串、表格或数组中。

我需要对这个数据进行复杂的处理,我已经有了一个现有的、经过验证的ANSI-C库,我需要将数据传递给C。我查看过的方法通常将数据在调用堆栈中传递,但由于数据大小,这对我来说不可行。

现有的ANSI-C库需要一个指向数据和大小的指针。我可能可以用一个新的API包装这个API,使其逐个字节地接受数据,并在确定整个大小后调用真正的API,但这意味着要从Lua调用一些C函数的大量次数,而且不理想,因为我想要提高性能。

如何将这个大数据传递给C是最好的方法?(我考虑过写入文件并传递文件名,但这并不理想,我真的希望直接传递内存)

点赞
用户1358661
用户1358661

在我看来,您不必关心 Lua 栈的大小。大多数情况下,如果不是所有元素都实际上是堆分配的。如果您正在使用 luasocket,则接收到的二进制数据已经可用作 Lua 字符串(我猜想是 socket:receive 的返回值),因此您不需要额外分配任何内容! Lua 栈实际上更有可能传递某种引用,因此复制不会发生或者是非常廉价的。 要与您的 C 库进行交互,您可以: a)编写 C 绑定 b)使用 alien c)luajit 在99%的情况下,我更喜欢 a).有几种方法可以做到这一点,但似乎是一个相当简单的 C API,因此我将在不使用任何其他绑定库(如 luabind)的情况下进行操作。

您可以查看 lua-cjson 源代码 http://www.kyne.com.au/~mark/software/lua-cjson-manual.html。这是一个很好的 C 绑定示例。

2012-10-21 15:36:18
用户734069
用户734069

假设 LuaSocket 以字符串形式提供数据,那么就非常简单。

你的 C 应用程序将直接从 Lua 获得该字符串。因此,它在 Lua 栈上。使用 lua_tolstring 获取字符串及其大小。这将返回一个指向 Lua 拥有的内存的指针(因此在使用该指针时需要确保其仍然在 Lua 栈、注册表或其他地方,以防止 Lua 进行垃圾收集)。然后将该字符串+大小传递给你选择的 API。

假设 LuaSocket 以字符串形式提供数据,那么就非常简单。

你的 C 应用程序将直接从 Lua 获得该字符串。因此,它在 Lua 栈上。使用 `lua_tolstring` 获取字符串及其大小。这将返回一个指向 Lua 拥有的内存的指针(因此在使用该指针时需要确保其仍然在 Lua 栈、注册表或其他地方,以防止 Lua 进行垃圾收集)。然后将该字符串+大小传递给你选择的 API。
2012-10-21 15:36:38
用户312586
用户312586

如果我处于你的情况,我会跳过使用 luasocket 而只使用 C/C++ socket 库。

既然处理过程无论如何都会在 C/C++ 中进行,使用 luasocket 可以简化一下套接字处理,但却会在将接收到的数据与 C/C++ 二进制数据处理库进行接口时产生明显的复杂性。

使用 C/C++ socket 库在套接字处理上会更加困难一些(但不会太多),但是将数据传输到处理库中将变得非常简单。

2012-10-23 10:31:11