如何使用 Redis 结合搜索文本和其他条件?
我成功地编写了一个使用 Redis 进行文本搜索和其他条件交集的 Lua 脚本。 为了实现这一点,我使用了一个 Lua 脚本。 问题在于,我不仅从该脚本中读取值,而且还从该脚本中写入值。 从 Redis 3.2 开始,可以通过调用 redis.replicate_commands() 来实现,但是在 3.2 之前不可能。
以下是我存储值的方式。
名称
> HSET product:name 'Cool product' 1
> HSET product:name 'Nice product' 2
价格
> ZADD product:price 49.90 1
> ZADD product:price 54.90 2
然后,为了获取所有匹配 'ice' 的产品,我调用:
> HSCAN product:name 0 MATCH *ice*
但是,由于 HSCAN 使用游标,因此我必须多次调用它以获取所有结果。这就是我使用 Lua 脚本的地方:
local cursor = 0
local fields = {}
local ids = {}
local key = 'product:name'
local value = '*' .. ARGV[1] .. '*'
repeat
local result = redis.call('HSCAN', key, cursor, 'MATCH', value)
cursor = tonumber(result[1])
fields = result[2]
for i, id in ipairs(fields) do
if i % 2 == 0 then
ids[#ids + 1] = id
end
end
until cursor == 0
return ids
由于不可能使用脚本的结果进行另一个调用,例如 SADD key EVAL(SHA) ...。此外,不能在脚本中使用全局变量。我已经更改了字段循环内部的一部分,以从脚本外部访问 ID 列表:
if i % 2 == 0 then
ids[#ids + 1] = id
redis.call('SADD', KEYS[1], id)
end
我不得不将 redis.replicate_commands() 添加到第一行。通过这种改变,我可以从调用脚本时传递的键中获取所有 ID(请参见 KEYS[1])。
最后,为了获取名字包含"ice" 的价格在 40 到 50 之间的前 100 个产品 ID 列表,我执行以下操作:
> ZUNIONSTORE tmp:price 1 product:price WEIGHTS 1
> ZREMRANGEBYSCORE tmp:price 0 40
> ZREMRANGEBYSCORE tmp:price 50 +INF
> EVALSHA b81c2b... 1 tmp:name ice
> ZINTERSTORE tmp:result tmp:price tmp:name
> ZCOUNT tmp:result -INF +INF
> ZRANGE tmp:result 0 100
我使用 ZCOUNT 调用事先知道有多少结果页面,执行 count / 100。
正如我之前所说,这在 Redis 3.2 上运行得很好。 但是当我试图在 AWS 上运行代码时,由于 AWS 只支持 Redis 2.8,我无法再使其正常运行。 我不确定如何迭代 HSCAN 游标,而不使用脚本或从脚本中写入。 有没有办法在 Redis 2.8 上使其工作?
一些注意事项:
- 我知道我可以在 Redis 外部进行部分处理(如迭代游标或交集匹配),但这会影响应用程序的整体性能。
- 我不想部署自己的 Redis 实例以使用版本 3.2。
- 以上标准(价格范围和名称)仅是为了让事情保持简单。 我还有其他字段和匹配类型,不仅仅是这些。
- 我不确定存储数据的方式是否是最佳方式。 我愿意听取有关此方面的建议。
问题不在于你正在写入数据库,而是在HSCAN之后进行了写入,而HSCAN是一个非确定性的命令。
在我看来,很少有使用Lua脚本中的SCAN命令的好理由。该命令的主要目的是允许您以小批量方式执行操作,以便您不会锁定服务器处理大量键空间(或哈希键空间)。但是,由于脚本是原子的,使用HSCAN并不会有帮助,因为您仍然会锁定服务器,直到整个过程完成。
以下是我能看到的选项:
如果您不能冒险使用冗长的命令锁定服务器:
- 在客户端上使用
HSCAN。这是最安全的选择,但速度也最慢。
如果您想在单个原子Lua命令中进行尽可能多的处理:
- 使用Redis 3.2和脚本效果复制。
- 在脚本中进行扫描,但将值返回给客户端并从那里启动写入。(即Karthikeyan Gopall的答案。)
- 在脚本中使用
HKEYS而不是HSCAN,并使用Lua的模式匹配过滤结果。由于HKEYS是确定性的,因此您不会遇到后续写入的问题。当然,缺点是您必须首先读取所有键,而不管它们是否匹配您的模式。(尽管HSCAN在哈希的大小方面也是O(N))
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?
- addEventListener 返回 nil Lua
- Lua中获取用户配置主目录的跨平台方法
我在这里唯一发现的问题是在 lua 脚本中存储值。因此,不要将它们存储在lua中,而是将值拿出来(返回字符串数组的值),在不同的调用中使用
sadd(key,members[])将其存储在一个集合中。然后进行交集并返回结果。> ZUNIONSTORE tmp:price 1 product:price WEIGHTS 1 > ZREVRANGEBYSCORE tmp:price 0 40 > ZREVRANGEBYSCORE tmp:price 50 +INF > nameSet[] = EVALSHA b81c2b... 1 ice > SADD tmp:name nameSet > ZINTERSTORE tmp:result tmp:price tmp:name > ZCOUNT tmp:result -INF +INF > ZRANGE tmp:result 0 100我认为你的设计是最优的。一个建议是在所有可能的地方使用 pipeline,因为它会一次处理所有内容。
希望这有所帮助
更新 在 lua 中没有像数组([])这样的东西,你必须使用 lua table 来实现它。在你的脚本中,你返回的是 id,那本身就是一个数组,你可以使用它作为单独的调用来实现
sadd。String [] nameSet = (String[]) evalsha b81c2b... 1 ice -> 这是在 java 中 SADD tmp:name nameSet相应的lua脚本与你的第1个脚本相同。
local cursor = 0 local fields = {} local ids = {} local key = 'product:name' local value = '*' .. ARGV[1] .. '*' repeat local result = redis.call('HSCAN', key, cursor, 'MATCH', value) cursor = tonumber(result[1]) fields = result[2] for i, id in ipairs(fields) do if i % 2 == 0 then ids[#ids + 1] = id end end until cursor == 0 return ids