如何避免在Lua脚本中出现Redis调用限制？

2013-10-6 13:22:35
收藏：0
阅读：82
评论：2

我正在设置一个 PHP 标记缓存实现，将使用 Redis 和 APCu 两者。由于 APC 是键-值存储，我将使用 Redis 来进行键-标记关系，并在 APC 的每个 Web 服务器上同步。

我的当前问题仅涉及 Redis。可能您已经了解了实现方式，但为了让事情更清楚：一个键可以与标记相关联。在以后的某个时间点，您可以通过一些标记删除缓存的键。有许多键而不是太多的标签，并且键和标签之间存在 n 对 n 的关系。

set(key, value, tags) 包含：

SET key value
foreach tag in tags
    SADD tag key

因为在set之后没有必要检索或更改标签，所以我只需要保留标记到键的关系。

deleteByTag(tags) 如下：

keys = SUNION tag1 tag2 tag3...
DEL key1 key2 key2...

为了使事情更快，我创建了 2 个简单的 Lua 脚本，我将使用 SCRIPT LOAD 调用 EVALSHA。

Lua set 脚本：

redis.call('set', KEYS[1], KEYS[2])
for _, tag in pairs(ARGV) do
    redis.call('sadd', tag, KEYS[1])
end

如下调用：

EVALSHA setHash 2 key value tag1 tag2 tag3...

我遇到问题的 deleteByTag 脚本如下：

redis.call('del', unpack(redis.call('sunion', unpack(ARGV))))
redis.call('del', unpack(ARGV))

调用如下：

EVALSHA deleteByTagHash 0 tag1 tag2 tag3…

一切都很好，除非redis.call('sunion', unpack(ARGV))返回大量的键。在我的环境中，它有一个方法可以拥有的参数数量的限制，达到了 8000。

我想知道是否有一种方法可以通过标记清除键，但避免：

  • （1）往返传输数据到服务器，并将键传送回客户端。
  • （2）对键进行 for-each。我尝试了这个修改后的脚本，比（1）还慢。

这是不太快的（2）：

for _, key in pairs(redis.call('sunion', unpack(ARGV))) do
    redis.call('del', key)
end
redis.call('del', unpack(ARGV))
点赞
用户1150918
用户1150918

我很确定您可以通过更改环境中的 luaconf.h 中的 LUAI_MAXCSTACK 值并重新构建它（Lua 环境）来增加该数字（8000）。

默认值是，正如您已经注意到的：

/ * 
@@ LUAI_MAXCSTACK 限制 C 函数可以使用的 Lua 堆栈插槽数量。
@ * 可以更改它以获取大量（Lua）堆栈空间以用于您的 C
@ * 函数。 此限制是任意的； 它的唯一目的是防止 C
@ * 函数消耗无限制的堆栈空间。 （必须小于
@ * -LUA_REGISTRYINDEX）
* /
#define LUAI_MAXCSTACK 8000

只是这看起来有点淫秽。

使用表并通过 table.concat() 块迭代 <=8000 个键怎么样？

2013-10-07 15:19:15
用户753382
用户753382

有相同的问题，并使用此 Lua 函数解决：

local call_in_chunks = function (command, args)
    local step = 1000
    for i = 1, #args, step do
        redis.call(command, unpack(args, i, math.min(i + step - 1, #args)))
    end
end

call_in_chunks('del', keys)
2016-10-10 13:37:00

作者:

用户755194

用户755194
推荐文章