如何使用 cmsgpack 和 Lua 在 Redis 中存储带有空值的 JSON?

我一直在阅读 cjson 的文档,了解将空值转换为 cjson.null 值(因为无法将 nil 存储在 Lua 表中)。如果我使用 cjson.decode 和 cjson.encode,这个方法很有效。

但是,当我尝试使用 cmsgpack 打包和解包表的内容时,具有空值的键不存在。我使用类似于此 代码

你如何解决这个问题?是在调用 cmspack.pack 之前用一个特殊值 ({isnull: true}) 替换空值,然后再将 {isnull: true} 替换回 null,还是使用其他技术?

点赞
用户9783845
用户9783845

我进行了快速研究,没有找到任何处理哈希表中 null 值的 msgpack 库。不过,我并不是说这样的库不存在。

我选择了另一种方法。由于 lua-cmsgpack 在解码 MessagePack 二进制数据时不会针对处理 null 值进行任何特殊处理,且 nil 值只是在表格中存在问题,因此我们可以为哈希转换为表格的解码器添加一些特殊情况的代码。

实际上,这个补丁非常简单:

--- a/lua_cmsgpack.c
+++ b/lua_cmsgpack.c
@@ -565,6 +565,10 @@ void mp_decode_to_lua_hash(lua_State *L, mp_cur *c, size_t len) {
         mp_decode_to_lua_type(L,c); /* key */
         if (c->err) return;
         mp_decode_to_lua_type(L,c); /* value */
+        if (lua_isnil(L, -1)) {
+            lua_pop(L, 1);
+            lua_pushlightuserdata(L, NULL);
+        }
         if (c->err) return;
         lua_settable(L,-3);
     }

这里的第二次调用 mp_decode_to_lua_type 将哈希条目 转换为相应的 Lua 类型值,当值为 nil(即 MessagePack 中的 null)时,我们将其替换为一个轻量级用户数据(NULL 指针)。这个相同的用户数据(NULL 指针)被用作 cjson.null 值。

我们不需要对编码器进行补丁,因为它会将任何不支持的值(包括任何用户数据)编码为 null,也就是说,您可以使用 cjson.null 用户数据来表示 null 值(cjson.decode 就是这样做的)。当哈希表被解码时,您将获得相同的用户数据。

相同的技巧可以应用于类似数组的表格,但如果您知道表格的大小,就没有必要这样做 —— 您可以从第一个索引迭代表格到最后一个索引。

local cjson = require('cjson')
local cmsgpack = require('cmsgpack')

local encoded_hash = cmsgpack.pack({k1 = nil, k2 = cjson.null, k3 = 'baz'})
local decoded_hash = cmsgpack.unpack(encoded_hash)
print('decoded_hash.k2 == cjson.null?', decoded_hash.k2 == cjson.null)
for k, v in pairs(decoded_hash) do
    print(k, '->', v)
end

local encoded_array = cmsgpack.pack({'foo', nil, cjson.null, 'bar'})
local decoded_array = cmsgpack.unpack(encoded_array)
print('#decoded_array =', #decoded_array)
for i = 1, 4 do
    print(i, '->', decoded_array[i])
end

输出:

decoded_hash.k2 == cjson.null?  true
k3  ->  baz
k2  ->  userdata: (nil)
#decoded_array =    4
1   ->  foo
2   ->  nil
3   ->  userdata: (nil)
4   ->  bar

由于 LuaRocks,我们甚至不需要为这个微小的补丁支持库的 fork。补丁可以直接包含在 rockspec 文件中。我创建了一个修改后的 rockspec 的 gist:https://gist.github.com/un-def/d6b97f5ef6b47edda7f65e0c6144663c

您可以使用以下命令安装库的修补版本:

luarocks install https://gist.github.com/un-def/d6b97f5ef6b47edda7f65e0c6144663c/raw/8fe2f1ad70c75bfe2532a1f4cf9213f4e28423d3/lua-cmsgpack-0.4.0-0.rockspec
2020-06-15 22:22:09