如何定期将 Redis 数据发送到第三方服务?

我需要在我的应用程序中构建某种分析功能。在高峰时段,我预计每秒会收到15K条新记录。为了速度,我将使用Redis进行写入。但编写的数据应以某种格式发送到BigQuery以进行OLAP。最有效的方法是什么?

我能想到两种方法:

  1. 创建一个单独的应用程序,该程序将连接到相同的Redis实例/集群,并定期获取编写的数据,并使用其API将其批量插入BigQuery。
  2. 使用Lua脚本定期将Redis键和值发送到BigQuery。

根据我的阅读和研究,Lua脚本似乎是一种快速解决方案。但是我没有任何经验,也不了解限制。例如,我可以通过由Redis运行的Lua脚本发送HTTP API调用吗?错误处理如何处理?

_所以这是问题_:

您建议使用什么方式来实现我提到的需求?

  • a)单独的应用程序
  • b)Lua脚本
  • c)混合
  • d)其他(那么是什么?)

当然,为什么?

谢谢

点赞
用户132438
用户132438

你尝试过 AfterShip 的 BigQuery streamer 吗?

它似乎可以完全满足你的需求:" 这是一个使用流式插入模式将 Redis 记录传输到 Google BigQuery 的流式传输程序。"

2016-03-01 05:57:52