Skip to content

Commit 3f7acf9

Browse files
committed
Add how-to-ensure-that-messages-are-not-repeatedly-consumed.md
1 parent 03d445e commit 3f7acf9

2 files changed

Lines changed: 38 additions & 1 deletion

File tree

‎README.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -44,7 +44,7 @@
4444
### [消息队列](/docs/high-concurrency/mq-interview.md)
4545
- [为什么使用消息队列?消息队列有什么优点和缺点?Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么优点和缺点?](/docs/high-concurrency/why-mq.md)
4646
- [如何保证消息队列的高可用?](/docs/high-concurrency/how-to-ensure-high-availability-of-message-queues.md)
47-
- 如何保证消息不被重复消费(如何进行消息队列的幂等性问题)?
47+
- [如何保证消息不被重复消费?(如何保证消息消费时的幂等性)](/docs/high-concurrency/how-to-ensure-that-messages-are-not-repeatedly-consumed.md)
4848
- 如何保证消息的可靠性传输(如何处理消息丢失的问题)?
4949
- 如何保证消息的顺序性?
5050
- 如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?有几百万消息持续积压几小时,说说怎么解决?
Lines changed: 37 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,37 @@
1+
## 面试题
2+
如何保证消息不被重复消费?或者说,如何保证消息消费时的幂等性?
3+
4+
## 面试官心理分析
5+
其实这是很常见的一个问题,这俩问题基本可以连起来问。既然是消费消息,那肯定要考虑会不会重复消费?能不能避免重复消费?或者重复消费了也别造成系统异常可以吗?这个是 MQ 领域的基本问题,其实本质上还是问你**使用消息队列如何保证幂等性**,这个是你架构里要考虑的一个问题。
6+
7+
## 面试题剖析
8+
回答这个问题,首先你别听到重复消息这个事儿,就一无所知吧,你**先大概说一说可能会有哪些重复消费的问题**。
9+
10+
首先,比如 RabbitMQ、RocketMQ、Kafka,都有可能会出现消息重复消费的问题,正常。因为这问题通常不是 MQ 自己保证的,是由我们开发来保证的。挑一个 Kafka 来举个例子,说说怎么重复消费吧。
11+
12+
Kafka 实际上有个 offset 的概念,就是每个消息写进去,都有一个 offset,代表消息的序号,然后 consumer 消费了数据之后,**每隔一段时间**(定时定期),会把自己消费过的消息的 offset 提交一下,表示“我已经消费过了,下次我要是重启啥的,你就让我继续从上次消费到的 offset 来继续消费吧”。
13+
14+
但是凡事总有意外,比如我们之前生产经常遇到的,就是你有时候重启系统,看你怎么重启了,如果碰到点着急的,直接 kill 进程了,再重启。这会导致consumer 有些消息处理了,但是没来得及提交 offset,尴尬了。重启之后,少数消息会再次消费一次。
15+
16+
![mq-10](http://p9ucdlghd.bkt.clouddn.com/mq-10.png)
17+
18+
其实重复消费不可怕,可怕的是你没考虑到重复消费之后,**怎么保证幂等性**。
19+
20+
举个例子吧。假设你有个系统,消费一条往数据库里插入一条,要是你一个消息重复两次,你不就插入了两条,这数据不就错了?但是你要是消费到第二次的时候,自己判断一下已经消费过了,直接扔了,不就保留了一条数据?
21+
22+
一条数据重复出现两次,数据库里就只有一条数据,这就保证了系统的幂等性。
23+
24+
幂等性,通俗点说,就一个数据,或者一个请求,给你重复来多次,你得确保对应的数据是不会改变的,**不能出错**。
25+
26+
那所以第二个问题来了,怎么保证消息队列消费的幂等性?
27+
28+
其实还是得结合业务来思考,我这里给几个思路:
29+
30+
- 比如你拿个数据要写库,你先根据主键查一下,如果这数据都有了,你就别插入了,update 一下好吧。
31+
- 比如你是写 Redis,那没问题了,反正每次都是 set,天然幂等性。
32+
- 比如你不是上面两个场景,那做的稍微复杂一点,你需要让生产者发送每条数据的时候,里面加一个全局唯一的 id,类似订单 id 之类的东西,然后你这里消费到了之后,先根据这个 id 去比如 Redis 里查一下,之前消费过吗?如果没有消费过,你就处理,然后这个 id 写 Redis。如果消费过了,那你就别处理了,保证别重复处理相同的消息即可。
33+
- 比如基于数据库的唯一键来保证重复数据不会重复插入多条。因为有唯一键约束了,重复数据插入只会报错,不会导致数据库中出现脏数据。
34+
35+
![mq-11](http://p9ucdlghd.bkt.clouddn.com/mq-11.png)
36+
37+
当然,如何保证 MQ 的消费是幂等性的,需要结合具体的业务来看。

0 commit comments

Comments
 (0)