Redis和海量 key
2016-12-8 11:41:11
收藏:0
阅读:146
评论:1
我需要加速我的应用程序(使用 PHP 编写的简单 GET 服务),于是我决定将其从关系型数据库转移到 Redis。花了一周的时间研究如何做到这一点,并考虑到我有很多表格和很多字段,我在 Redis 中创建了这样的结构:
{tableName:clientID:itemID},例如
SET clientSubjects:1:1 bigJSONStringHere1
SET clientSubjects:1:2 bigJSONStringHere2
SET clientSubjects:1:3 bigJSONStringHere3
SET clientSubjects:2:1 bigJSONStringHere4
SET clientSubjects:2:2 bigJSONStringHere5
SET clientSubjects:2:3 bigJSONStringHere6
等等。
我有大约 2000 万个客户端,每个客户端大约有 4-10 个主题,因此是大约 1.5 亿个键。
要查找所有客户主题,每次接收来自某个客户端的请求时都必须使用 SCAN。我遇到的一个问题是,当我将所有客户端加载到 Redis 中后,命令
scan 0 match clientSubjects:{someID}:* count 100 返回:
1) "7241728"
2) (空列表或集合)
...... 我的决定是查找 Redis 存储中的键总数并将其用作 COUNT 参数。
这看起来像:
local keyspace = redis.call("info", "keyspace")
local keysCount = keyspace:match("keys=(%d+),")
local result = redis.call("SCAN", 0, "match", "clientSubjects:" .. ARGV[1] .. ":*", "count", keysCount) --ARGV 表示我将客户端 ID 传递给 lua 脚本
所以一切都正常,除了需要大约 3 秒钟才能执行! 但我需要它在几毫秒内完成...... 我能做什么?
点赞
评论区的留言会收到邮件通知哦~
推荐文章
- Lua 虚拟机加密load(string.dump(function)) 后执行失败问题如何解决
- 我想创建一个 Nginx 规则,禁止访问
- 如何将两个不同的lua文件合成一个 东西有点长 大佬请耐心看完 我是小白研究几天了都没搞定
- 如何在roblox studio中1:1导入真实世界的地形?
- 求解,lua_resume的第二次调用继续执行协程问题。
- 【上海普陀区】内向猫网络招募【Skynet游戏框架Lua后端程序员】
- SF爱好求教:如何用lua实现游戏内调用数据库函数实现账号密码注册?
- Lua实现网站后台开发
- LUA错误显式返回,社区常见的规约是怎么样的
- lua5.3下载库失败
- 请问如何实现文本框内容和某个网页搜索框内容连接,并把网页输出来的结果反馈到另外一个文本框上
- lua lanes多线程使用
- 一个kv数据库
- openresty 有没有比较轻量的 docker 镜像
- 想问一下,有大佬用过luacurl吗
- 在Lua执行过程中使用Load函数出现问题
- 为什么 neovim 里没有显示一些特殊字符?
- Lua比较两个表的值(不考虑键的顺序)
- 有个lua简单的项目,外包,有意者加微信 liuheng600456详谈,最好在成都
- 如何在 Visual Studio 2022 中运行 Lua 代码?

将20百万的记录存储起来需要大量的内存来存储各种不同的数据结构和查询方式。
例如,要找到所有客户的主题,我会使用一个叫做
clientSubjects:{clientID}的集合或列表,其值为主题ID。你应该有不同的数据结构来适应不同的查询,并避免使用像SCAN这样的东西,因为这不是最优的。
在我看来,一个带有一些合适的索引的关系数据库更加合适,因为索引通常保存在内存中并可以回退到磁盘上,这将为你节省大量的时间和金钱。
请记住,Redis要求您将所有数据存储在内存中,因此,随着您添加更多数据结构来解决不同的查询类型,这将变得更加昂贵。