在Node中使用lua脚本扫描Redis键
2020-2-12 9:15:32
收藏:0
阅读:109
评论:2
我一直在尝试使用scan获取Redis中的所有键,同时避免使用count。问题在于,当有许多键时(例如1000000),扫描 SCAN 0 MATCH * 比以下方式要慢得多:
KEYS *
或
SCAN 0 MATCH * COUNT 1000000
我阅读了一篇文章,建议使用Lua以获得更好的性能。有人能帮我处理这个问题吗?我想使用Lua处理超过1M个键的扫描。我正在使用通过npm安装的redis包。
点赞
用户12882502
发现相关解决方案。请查看此链接。
不建议使用键(Keys),如果查看文档,你会发现这一点。尽管这里提供了性能,但仅仅是为了更深入地了解知识,别无其他。最好的方法是使用建议使用Lua脚本,性能确实非常好。如果你看一下评论,也会了解到差异,我想。
TEXTAREA:
- KEYS:最快的方法
- SCAN:慢约1.5倍
- 带有Lua的扫描:慢约2.4倍
- 带有Lua和额外检查的扫描:慢约4.3倍
- KEYS与Lua:慢约18倍
对我来说,理解Lua的语法非常困难。因此,这里是代码帮助理解语法。
在Lua脚本中不带计数进行扫描:
local ans, has, cursor = {}, {}, "0";
repeat
local t = redis.call("SCAN", cursor, "MATCH", KEYS[1], "COUNT", 1000000000);
local list = t[2];
for i = 1, #list do
local s = list[i];
if has[s] == nil then
has[s] = 1;
ans[#ans + 1] = s;
end;
end;
cursor = t[1];
until cursor == "0";
return #ans; --或者返回ans;
2020-02-13 06:05:13
评论区的留言会收到邮件通知哦~
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则,禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?

在
COUNT 1000000的情况下使用SCAN要比使用KEYS略微糟糕。Redis 是单线程的。引入
SCAN命令的原因之一是允许在不长时间阻塞服务器的情况下一次前进几步遍历所有的键。默认值是 10。这意味着该命令会返回大约 10 个键,如果键在哈希槽中稀疏分布或被 MATCH 模式过滤掉,则可能少于 10 个。如果某些键共享一个哈希槽,则可能会返回更多。无论如何,执行的工作量与 COUNT 参数成比例。
这并不意味着
KEYS命令(或带有大量COUNT数字的SCAN)被禁止使用。如果您可以接受服务器被阻塞的时间,那就使用它吧。请参阅 Redis 中 SCAN / HSCAN 命令的 COUNT 有没有推荐的值? 了解更多详细信息和一个 Lua 示例。
在 如何将 Redis 中运行的两个单独的 DB(例如 db0、db1)合并为一个单独的 DB(db0)? 和 如何获取 Redis 中的所有集合? 中,我发布了如何使用 Lua 脚本中的
SCAN命令实现定制需求的示例。您可能会觉得 Redic `SCAN`:如何在新键可能匹配并确保结果在合理时间内得出之间保持平衡? 很有趣。
如何在 node.js 中使用 Lua 和 Redis:执行 Redis 中的 eval 命令以在 nodeJS 中运行 Lua 脚本。