老司机使用 Redis 缓存复杂查询

最近上线了一个复杂的报表, 这个报表后面是一个几百行的 sql 查询,很不幸但又是预料之中, 这个 sql 查询性能非常低下,并且需要在网站的一个访问量非常大的页面显示这个 sql 的查询结果。幸运的是这个查询结果不需要
实时更新,只要每天更新一次即可, 于是为这个 sql 查询加上缓存就成为了一个很好的优化方法。开始我们使用 Rails.cache 来缓存这个查询结果,Rails.cache 的 backend 配置如下:

从上面的代码可以看出我们使用了 couchdb 作为 Rails.cache 的 backend, 我开始不太清楚为什么会使用 couchdb, 因为我们的系统中已经使用了 Redis, 并且 Redis 无论是使用舒适度还是性能都不输 couchdb, 后来我打开 Gemfile 发现:

我们看到 redis-rails 和 redis-store 都被加在了 Gemfile 里,然后又被注释掉了,由此我估计前面的同事也想使用 Redis, 但是由于我们的 Rails 版本过老(现在 Rails 5 都发布了,我们还在使用 Rails 3), 导致 redis-rails 和 redis-store 无法使用,而我们既不想冒升级 Rails 的风险(这个升级的跨度有点大了), 也不愿意花时间去改造 redis-store 使其兼容 Rails 3(每天改 ticket 已经让人心力交瘁了,这个借口让自己无法反驳)。 报表上线之初,没有什么问题,后来随着数据量变大,发现报表展示的速度变慢但由于还可以容忍,也就没有去花时间去研究速度变慢的原因,直到不久运行 couchdb 的机器莫名宕机,造成整个网站 502(前端请求拿不到缓存就会去读数据库,这个查询很耗时就一直挂着,请求量一大数据库就受不住了,导致整个网站不可访问), 这时候我们决定重新设计下这个报表的缓存。我们的设计如下:

  1. 使用 Redis 替换 couchdb, 主要原因是对 Redis 熟悉,并且系统中的很多异步队列服务用的是 Redis,非常稳定。
  2. 前端请求只能从 Redis 中读取已经被缓存的查询结果,而不能直接读数据库,如果缓存为空则返回空数组,这样做是为了防止数据库被大量的耗时请求拖垮,保证整个网站的可访问性。
  3. 缓存的过期时间设置为 999 天,其实就是缓存不过期的意思,并且写一个 rake task 每天运行一次用于更新 Redis 缓存。

这个设计的 2 和 3 步其实就是一个典型的生产&消费模式, rake task 作为生产者每天定时生成一次查询结果存入 Redis, 前端请求作为消费者通过读取 Redis 获得查询结果供页面展示。

有了设计我们并不急于编写代码,而是画一个设计图,一方面是为了梳理下思路看看设计是否会有缺陷,另一方面是为了更好地编写代码。

设计图如下:Snip20160326_36

通过设计图我们可以看到数据是单向流动的, 这样生产者和消费者是互不干扰的隔离状态, 前端请求不生产数据,只从 Redis 中拿数据,这样情况下前端请求对数据库的访问压力几乎为0。从设计图中我们也可以看出我们的代码大概会
分成三部分:

  1. 生产者的代码
  2. Redis的代码(主要是读写 Redis)
  3. 消费者的代码

其中生产者和消费者都依赖 Redis 的代码, 因为两者都需要和 Redis 产生交互。

Redis 相关代码

前面说过由于我们使用的 Rails 版本过低, 将 Redis 整合到 Rails.cache 会是一件比较费力费时的事情,所以我们将直接使用 Reids。

首先配置 Redis,

从上面的代码中可以看到我们定义了一个全局变量 $redis 用来访问 Redis。

接下来是将 $redis 封装到一个 service 中,这样做的目的是方便进行测试,也便于使用及以后的扩展。

这样我们就完成了 Redis 这部分的代码,接下来是生产者的代码。

生产者代码

我们将和报表相关的业务和逻辑封装到了一个叫 StmReport 的模型中, 我们为 StmReport 定义了一个 class 方法: warm_cache 用于生产报表数据。

接着我们编写一个 rake task, 并且使用 crontab 每天定时运行此 rake task 用于生产数据。

生产者的代码也完成,接下来是消费者的代码。

消费者的代码

在本文中,消费的过程即创建报表的过程, 创建报表的过程很自然地也封装到了 StmReport 模型中,

这样整个实现就完成了,重新上线后的报表运行地非常稳定迅速,证明这个实现是成功的。

1 4 收藏 1 评论

相关文章

可能感兴趣的话题



直接登录
最新评论
跳到底部
返回顶部