Redis lua脚本在某些情况下不遵守原子性
2020-11-5 19:53:48
收藏:0
阅读:100
评论:0
我试图使用Java和Redis实现一个简单的生产者-消费者。 流程如下:生产者将项目推入Redis。 消费者从Redis读取项目。 为了使消费者更有效 - 它不会单独读取每个项目,而是会读取一批项目。 为此,我正在使用以下工作流程:
- 生产者将项目推入Redis中的待处理集合。
- 当集合计数超过给定阈值时,将项目打包成批(使用JSON),并保存到“已准备好的哈希映射”中。
- 消费者读取已就绪的哈希映射并评估其内容。
- 消费者从哈希映射中删除它消耗的项目。
由于这些操作可能导致竞争条件,因此我研究了事务性操作。 我了解到实现它的最佳方法是使用Lua,因为redis-lua脚本是原子级的。
我编写的脚本是这样的:
local toJsonList = function(items)
local jsonList = '[' .. table.concat(items, ', ') .. ']'
return cjson.encode(jsonList)
end
-- 获取批量大小(阈值)
local batchSize = tonumber(ARGV[1])
-- 添加新项目
redis.call('SADD', KEYS[1], ARGV[2])
-- 获取Redis中挂起项目的数量
local currentPendingQueueItems = redis.call('SCARD', KEYS[1])
-- 我们应该将项目从挂起队列移动到就绪队列吗?
if currentPendingQueueItems < batchSize then
return 1
end
-- 获取存储在挂起队列中的项目
local pendingItems = redis.call('SMEMBERS', KEYS[1])
-- 将项目存储在已准备好的队列哈希映射中
redis.call('HSET', KEYS[3], cjson.encode(KEYS[4]), toJsonList(pendingItems))
-- 删除挂起队列
redis.call('DEL', KEYS[1])
return 1
执行方式如下:
$ redis-cli --eval addAndSync.lua "pending-queue-key" "ready-queue-key" "unique-key-for-batch" , $THRESHOLD "item to add"
我首先进行了单独测试,它确实正常工作。 准备队列正确同步。 我甚至编写了这个脚本:
#!/bin/bash
END=$1
for i in $(seq 1 $END);
do redis-cli --eval syncReadyQueue.lua "pending" "ready" "ready${i}" , "3" "${i}" &
done
我运行了END = 100以一次性测试一些插入。
我的问题是,将其与Java集成后,我开始进行压力测试。 当压力测试和少量线程同时触发以处理生成的内容时 - 每个线程都运行了addAndSync.lua。 我检查了插入仅有30条记录后的准备队列,并注意到准备队列中存在重复项。
这对我来说是意外的,因为Redis保证Lua脚本将阻止任何其他客户端调用。
我期望的行为是每个Lua调用将阻止访问Redis,直到它提交其结果,因此就绪队列将具有唯一的项目。
我希望得到任何有助于理解我缺少什么的帮助。 谢谢!!
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则,禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?
