Jedis/Redis Lua脚本中的SocketTimeout异常
2016-6-8 5:16:52
收藏:0
阅读:106
评论:1
我们正在使用Lua脚本来在更新我们的数据库时执行数据批量删除操作。 Jedis使用管道执行lua脚本。
local result = redis.call('lrange',key,0,12470)
for i,k in ipairs(result) do
redis.call('del',k)
redis.call('ltrim',key,1,k)
end
try (Jedis jedis = jedisPool.getResource()) {
Pipeline pipeline = jedis.pipelined();
long len = jedis.llen(table);
String script = String.format(DELETE_LUA_SCRIPT, table, len);
LOGGER.info(script);
pipeline.eval(script);
pipeline.sync();
} catch (JedisConnectionException e) {
LOGGER.info(e.getMessage());
}
对于大范围的操作,我们发现lua脚本变慢并且出现SocketTimeOut异常。
运行redis-cli slowlog只显示执行时间太长的lua脚本。
是否有更好的方法来解决这个问题?我的lua脚本会阻塞吗?
当我只使用管道进行批量删除时,慢查询日志还会返回慢查询。
try (Jedis jedis = jedisPool.getResource()) {
Pipeline pipeline = jedis.pipelined();
long len = jedis.llen(table);
List<String> queriesContainingTable = jedis.lrange(table,0,len);
if(queriesContainingTable.size() > 0) {
for (String query: queriesContainingTable) {
pipeline.del(query);
pipeline.lrem(table,1,query);
}
pipeline.sync();
}
} catch (JedisConnectionException e) {
LOGGER.info("CACHE INVALIDATE FAIL:"+e.getMessage());
}
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?
- addEventListener 返回 nil Lua
- Lua中获取用户配置主目录的跨平台方法
慢日志 可以单独存储前128个慢日志(可以在redis.conf中的 slowlog-max-len 更改为128)。因此,您第一个使用 LUA 脚本的模型肯定是一种阻塞型的模型。
如果你一次一次地删除这么多数据(12470),那么这显然是一种阻塞型的模型,因为它需要更长的时间来完成。在这两种模型中,第二种方式更好(使用pipeline),因为您避免了迭代,所有你只需要用del查询n次。
您可以为每100或1000个键使用del对多个键进行删除(在小的测试后选择最优的值),将它们一起分组到pipeline中。
或者,如果您可以在不保持原子性的情况下执行相同的操作,您可以在循环中一次删除100或1000个键,这样它就不会成为一个阻塞式调用。
尝试使用不同的组合进行测试并记录度量数据,然后选择最优化的方式。