Redis - 为什么这个代码运行得如此之快？

2017-9-22 18:1:22
收藏：0
阅读：68
评论：1

最近我使用 Redis.Eval 改进了一些代码，这个效果非常好。事实上，效果太好了，但我不明白这是如何做到的。

简要说明

改进了使用 Redis.zcard 多次的 Redis 代码，只使用 Redis.eval 一次即可。代码变得比原来快 100 多倍（在测试环境下。在真实项目中，速度提升 1000 多倍）。我不知道原因。请问有人可以解释一下吗？

代码做什么

它做的任务非常简单。它获取一个字符串数组，这些字符串是存储在 Redis 中的 ZSET 的键，并为对应的 ZSET 求和大小，并返回一个整数值，即总和。

测试设置

为了消除尽可能多的外部变量，我设置了以下简单的测试环境。

redis = Redis.new(host: '127.0.0.1', db: 1)
KEYS = 500.times.collect do |i| "KEY#{i}" end
KEYS.each do |key|
  redis.zadd(key, 0, "DATA")
end

改进之前

在我改变代码之前，它像下面这样工作。

sum = 0
KEYS.each do |key|
  sum += redis.zcard(key)
end

然后我使用以下单行代码测试了这个代码的速度。

t = Time.now; sum=0; KEYS.each do |key| sum += redis.zcard(key) end; puts(Time.now - t)

结果打印出 0.202 秒（202 毫秒）

（请注意，我是基于测试环境和上述代码计算时间，而不是基于真实环境）

改进之后

改编代码使用 Lua 脚本和 EVAL 后，它的工作原理如下。

script = "
local sum = 0
for index, key in pairs(KEYS) do
  sum = sum + redis.call('zcard', key);
end
return sum"
sum = redis.eval(script, KEYS)

然后，我还使用以下单行代码计算了执行上述代码的时间。

t = Time.now; redis.eval(script, KEYS); puts(Time.now - t)

给我的结果是 0.001519 秒（1.5 毫秒）。这比 “改进之前” 代码快了 134 倍。

困惑

让我感到困惑的是，一个 redis.zcard(KEYS[0]) 大约需要 0.000542 秒（0.542 毫秒）。所以 redis.eval 代码来求和 Redis 中的 500 个 ZCARD 大约需要相同的时间来计算 Ruby 中 3 个 Redis.ZCARD。

当我在我的项目中首次发现这个问题时，我认为减少网络延迟和减少等待队列时间起了作用。但是，当我在本地 Redis 上测试时，我对我的理论产生了怀疑。根本没有网络延迟，也没有其他任务在使用 Redis。

我的理论是

  1. Ruby 的求和（sum += redis.zcard(key)）占用大部分时间。
  2. 即使我使用本地主机，redis 和 ruby 之间存在某种延迟。
  3. 在处理许多查询时，redis 存在内部延迟。（虽然不太可能）

请问有人可以解释一下为什么 Redis.eval 代码非常快吗？谢谢！

点赞
用户6359979
用户6359979

这是由于基于对/从套接字的读取或写入而导致的延迟。

20% - 写入命令到套接字

80% - 从套接字读取结果

require 'benchmark'
require 'redis'

redis = Redis.new(host: '127.0.0.1', db: 1)
KEYS = 10_000.times.collect { |i| "KEY#{i}" }
KEYS.each { |key| redis.zadd(key, 0, 'DATA') }

script = "
local sum = 0
for index, key in pairs(KEYS) do
  sum = sum + redis.call('zcard', key);
end
return sum"

Benchmark.bm do |x|
  x.report { puts KEYS.inject(0) { |sum, key| sum + redis.zcard(key) } } # 直接查询 Redis，没有延迟
  x.report do # 通过 Redis 客户端进行查询
    client = redis.client
    client.send(:ensure_connected) do
      KEYS.inject(0) { |sum, key| sum + client.process([[:zcard, key]]) { client.read } } # 80% 的时间是读取结果
    end.tap { |res| puts res}
  end
  x.report do # 直接与套接字通信进行查询
    client = redis.client
    client.send(:ensure_connected) do
        connection = client.connection
        socket = connection.instance_variable_get(:@sock)
      KEYS.map do |key|
        command = connection.build_command([:zcard, key])
        socket.write(command) # 写入命令到套接字，占用 20% 的时间
        line = socket.gets # 从套接字读取结果，占用 80% 的时间
        reply_type = line.slice!(0, 1)
        connection.format_reply(reply_type, line)
      end.inject(:+)
    end.tap { |res| puts res}
  end
  x.report { puts redis.eval(script, KEYS) } # 在 Redis 内运行脚本
end

# user     system      total        real
# 10000
# 0.480000   0.230000   0.710000 (  0.966610)
# 10000
# 0.510000   0.250000   0.760000 (  1.132668)
# 10000
# 0.500000   0.270000   0.770000 (  1.193521)
# 10000
# 0.030000   0.000000   0.030000 (  0.054858)
# [Finished in 4.923s]

因此，可能是 Redis 中运行的脚本由于传输延迟而出现问题。

2016-05-20 09:57:14

作者:

用户4373421

用户4373421
推荐文章