Redis:如何在特定范围内计算流中的元素?

业务目标

我正在创建一个依赖于一些时间序列的仪表板,并将使用Redis来实现它。 我是Redis的新手,我尝试使用Redis-Streams来计算流中的元素。

XADD conversation:9:chat_messages * id 2583 user_type Bot
XADD conversation:9:chat_messages * id 732016 user_type User
XADD conversation:9:chat_messages * id 732017 user_type Staff
XRANGE conversation:9:chat_messages - +

我知道我可以使用XLEN命令获取元素的总计数,就像这样:

XLEN conversation:9:chat_messages

但我还想知道一个特定时间段内的元素,例如:

XLEN conversation:9:chat_messages 1579551316273 1579551321872

我知道我可以使用LUA来计算这些元素,但我想要一种真正快速的方法来完成此操作,我知道使用Redis标记将是最快的方式。

是否有一种直接的Redis命令可以实现这一点? 还是必须编写Lua脚本来完成此操作?

其他信息

我受到AWS的ElastiCache的限制,只能使用Redis 5.0.6,我无法安装其他模块,例如RedisTimeSeries模块。 我想使用那个模块,但目前不可能。

点赞
用户3160475
用户3160475

虽然 Redis Stream 数据结构不支持此功能,但您可以与它一起使用 Sorted Set 来跟踪消息范围。

基本上,对于从 XADD 得到的每个消息 ID - 例如“1579551316273-0” - 您需要执行 ZADD conversation:9:ids 0 1579551316273-0。然后,您可以使用 ZLEXCOUNT 来获取范围的“长度”。

2020-01-21 16:16:48
用户7017466
用户7017466

抱歉,没有命令方式可以实现这一点。

使用 Redis Streams 的最佳选择是使用一个 Lua 脚本。您将获得 O(N),N 是被计数的元素的数量,而不是如果存在命令时的 O(log N)。

local T = redis.call('XRANGE', KEYS[1], ARGV[1], ARGV[2])
local count = 0
for _ in pairs(T) do count = count + 1 end
return count

请注意,对于大的 N,O(N) 和 O(log(N)) 之间的差异是重要的。但是,对于聊天应用程序,如果按会话跟踪,则如果聊天有数百甚至数千个条目,则此差异不会很大,一旦您考虑总命令时间,包括大部分时间花费在往返时间上。上面的 Lua 脚本删除了网络负载和客户端处理时间。

如果你确实想要 O(log N),而且你不需要消费者组和其他流特性,那么你可以切换到有序集。如果你想原子地使用 Redis 服务器时间戳存储,请参见 如何使用服务器端时间戳作为得分在 Redis 中存储有序集?

然后你可以使用 ZCOUNT,它是 O(log(N)) 的。

如果你确实需要流特性,那么你需要将有序集作为第二索引保留。

2020-01-21 18:14:09