Redis异步消息队列

时间:2024-03-22 22:22:16

一、异步消息队列介绍

个人认为消息队列的主要特点是异步处理,主要目的是减少请求响应时间和解耦。所以主要的使用场景就是将比较耗时而且不需要即时(同步)返回结果的操作作为消息放入消息队列。同时由于使用了消息队列,只要保证消息格式不变,消息的发送方和接收方并不需要彼此联系,也不需要受对方的影响,即解耦和。
使用场景的话,举个例子:假设用户在你的软件中注册,服务端收到用户的注册请求后,它会做这些操作:
1.校验用户名等信息,如果没问题会在数据库中添加一个用户记录
2.如果是用邮箱注册会给你发送一封注册成功的邮件,手机注册则会发送一条短信
3.分析用户的个人信息,以便将来向他推荐一些志同道合的人,或向那些人推荐他
4.发送给用户一个包含操作指南的系统通知等等……
但是对于用户来说,注册功能实际只需要第一步,只要服务端将他的账户信息存到数据库中他便可以登录上去做他想做的事情了。至于其他的事情,非要在这一次请求中全部完成么?值得用户浪费时间等你处理这些对他来说无关紧要的事情么?所以实际当第一步做完后,服务端就可以把其他的操作放入对应的消息队列中然后马上返回用户结果,由消息队列异步的进行这些操作。
或者还有一种情况,同时有大量用户注册你的软件,再高并发情况**册请求开始出现一些问题,例如邮件接口承受不住,或是分析信息时的大量计算使cpu满载,这将会出现虽然用户数据记录很快的添加到数据库中了,但是却卡在发邮件或分析信息时的情况,导致请求的响应时间大幅增长,甚至出现超时,这就有点不划算了。面对这种情况一般也是将这些操作放入消息队列(生产者消费者模型),消息队列慢慢的进行处理,同时可以很快的完成注册请求,不会影响用户使用其他功能。
所以在软件的正常功能开发中,并不需要去刻意的寻找消息队列的使用场景,而是当出现性能瓶颈时,去查看业务逻辑是否存在可以异步处理的耗时操作,如果存在的话便可以引入消息队列来解决。否则盲目的使用消息队列可能会增加维护和开发的成本却无法得到可观的性能提升,那就得不偿失了。

二、Redis之消息队列

异步消息队列

        Redis中的 list(列表)实现异步消息队列,使用rpush / lpush 操作插入队列消息,使用 lpop 和  rpop 来出队消息。

        Redis异步消息队列 ​

Redis异步消息队列 ​

队列空了怎么办?

       如果队列空了,客户端就会陷入pop的死循环,不停地pop,没有数据,接着pop,有没有数据。这样的空轮询拉高了客户端的CPU,redis的QPS也会被拉高,Redis的慢查询可能会显著增多。

       解决方案:使用命令 blpop、brpop,b(blocking,阻塞)。

       阻塞读在队列没有数据的时候,会立即进入休眠状态,一旦数据到来,则立即醒来,消费的延迟几乎为零。用这两个命令代替 lpop、rpop可以解决上面的问题。

Redis异步消息队列 ​

Redis异步消息队列 ​

Redis异步消息队列 ​

Redis异步消息队列 ​

延迟队列的实现

       延迟队列可以使用 zset(有序列表)实现,我们将消息序列化成一个字符串作为列表的value,这个消息的到期处理时间作为score,然后多个线程轮询zset 获取到期的任务进行执行,多线程保证了可靠性,因为多个线程,需要考虑并发执行的问题,一个任务不能被多次执行。

三、Java实例

https://www.jianshu.com/p/f442962ceb98

https://blog.csdn.net/b540969928/article/details/78406791

这些实现都大同小异。