RocketMQ消息中间件

Posted by wesley on September 10, 2017

项目中引进了RocketMQ,最近学习整理了一些资料,做了一个小的总结

为什么使用MQ

  • 异步
  • 解耦
  • 数据削峰(负载均衡、消息堆积能力)
  • …

什么是RocketMQ

RcoketMQ 是一款高性能、高可靠、分布式、易于使用的消息中间件。具有以下特性:

  1. 支持发布/订阅(Pub/Sub)和点对点(P2P)消息模型
  2. 一个队列中可靠的先进先出(FIFO)和支持严格的顺序传递
  3. 毫秒级投递延迟(推拉模式).(PushConsumer实际在实现时,使用 Pull 方式实现)
  4. 海量数据堆积,单一队列百万消息的堆积能力
  5. 分布式高可用的部署架构,
  6. 提供配置、指标和监控等功能

物理架构图

架构图

逻辑架构图

核心概念

NameServer:

可集群部署,提供轻量级的服务发现和路由。 每个 NameServer 记录完整的路由信息,与broker集群建立长连接.

  • KVConfigManager:KV配置管理
    • key-value配置管理,增删改查
  • RouteInfoManager:路由信息管理
    • 注册Broker,提供Broker信息(名字、角色编号、地址、集群名)
    • 注册Topic,提供Topic信息(Topic名、读写权限、队列情况)
  • 接收client(Producer和Consumer)的请求根据某个topic获取所有到broker的路由信息

Broker:

  • 每个Broker与NameServer集群中的所有节点建立长连接,定时注册当前broker(Ip、端口等)、Topic信息到所有Name Server,注册成功后,nameSvr中就有topic和broker的映射关系。
  • 它接收生产者发送的消息,存储消息并准备处理来自消费者的请求。它还存储消息相关的元数据,包括消费者组,消耗进度偏移和主题/队列信息。 Broker分为Master与Slave,一个Master可以对应多个Slave,但是一个Slave只能对应一个Master,Master与Slave的对应关系通过指定相同的BrokerName,不同的BrokerId来定义,BrokerId为0表示Master,非0表示Slave。Master也可以部署多个。

Producer:

生产者,产生消息的实例,拥有相同 Producer Group 的 Producer 组成一个集群。与Name Server集群中的其中一个节点(随机选择)建立长连接,每隔30秒从Name Server取Topic路由信息,并向提供该Topic服务的所有Master建立长连接,轮询发送消息,且定时向Master发送心跳,如果broker发现某个producer超过2分钟没有发送心跳,则断开连接。Producer之间完全无状态,可集群部署

Consumer:

消费者,接收消息进行消费的实例,拥有相同ConsumerGroup 的Consumer 组成一个集群。与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master、Slave建立长连接,且定时向Master、Slave发送心跳,如果超过2分钟没有发送心跳,则broker和该consumer断开连接,并向同组的其他consumer发送通知,触发该consumer集群的负载均衡。Consumer既可以从Master订阅消息,也可以从Slave订阅消息,订阅规则由Broker配置决定。

TOPIC

生产者提供消息和消费者提取消息的消息类型。producer、consumer与topic没有严格的对应关系。实际应用中,最好一个producer group、consumer group对应一个topic

Message

需要传递的消息,一条消息必须对应一个topic。

Message Queue

一个topic 对应多个queue

tag

一个topic可以指定多个标签,来自同一业务模块的具有不同目的的消息可能具有相同的主题和不同的标记

消息负载均衡

关键特性及原理

一、消息顺序

你可能采用这种方法

保证顺序改进的方法

保证消息顺序的正确姿势

  1. rocketmq实现方式:
    • 普通顺序消息 :

      Producer将消息发送至同一个queue(保证出队消息顺序),producer通过SelectMessageQueueByHash实现

    • 完全严格的消费顺序:

      简单来说保证生产者 - MQ - 消费者是一对一对一的关系。

消息发送至同一个queue(保证出队消息顺序),且由同一个consumer串行消费,从而保证消息有序消费,在consumer注册MessageListenerOrderly方式(会锁定相关broker下面的相关的messagequeue)

我们从源码角度分析RocketMQ怎么实现发送顺序消息。 RocketMQ通过轮询所有队列的方式来确定消息被发送到哪一个队列(负载均衡策略)。比如下面的示例中,订单号相同的消息会被先后发送到同一个队列中:

// RocketMQ通过MessageQueueSelector中实现的算法来确定消息发送到哪一个队列上
// RocketMQ默认提供了两种MessageQueueSelector实现:随机/Hash
// 当然你可以根据业务实现自己的MessageQueueSelector来决定消息按照何种策略发送到消息队列中
SendResult sendResult = producer.send(msg, new MessageQueueSelector() {
    @Override
    public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
        Integer id = (Integer) arg;
        int index = id % mqs.size();
        return mqs.get(index);
    }
}, orderId);

问题:

  1. 降低了吞吐量
  2. 前一条消息消费出现问题,后续的处理流程会阻塞

==注:经测试,如果前一条消费出现问题,会阻塞同一个队列中的所有消息==。如果两个不同订单的key都散列到同一个队列,如果第一个订单的消息消费出现问题,则会阻塞该队列中所有的消息。默认一个topic下有4个队列1,2,3,4,假设有5个订单A,B,C,D,E的key分别是1,2,3,4,5.这样5个订单分别散列到队列1,2,3,4,1.其中订单A和E就在同一个列队。如果A的消息出现消费问题就会阻塞E的所有消息,但不会影响另外3个队列的消息。

  • 消费结果处理

    顺序消费消息结果 (ConsumeOrderlyStatus) 有四种情况:

  • SUCCESS :消费成功但不提交。
  • ROLLBACK :消费失败,消费回滚。
  • COMMIT :消费成功并且提交。
  • SUSPEND_CURRENT_QUEUE_A_MOMENT :消费失败,挂起消费队列一会会,稍后继续消费。

考虑到 ROLLBACK 、COMMIT 暂时只使用在 MySQL binlog 场景,官方将这两状态标记为 @Deprecated。

在并发消费场景时,如果消费失败,Consumer 会将消费失败消息发回到 Broker 重试队列,跳过当前消息,等待下次拉取该消息再进行消费。 但是在完全严格顺序消费消费时,这样做显然不行。也因此,消费失败的消息,会挂起队列一会会,稍后继续消费。 不过消费失败的消息一直失败,也不可能一直消费。当超过消费重试上限时,Consumer 会将消费失败超过上限的消息发回到 Broker 死信队列

总结
  • 绝大部分场景下只需要用到普通顺序消息。目前已知的应用只有数据库 binlog 同步强依赖严格顺序消息,其他应用绝大部分都可以容忍短暂乱序,推荐使用普通的顺序消息
  • 队列无序并不意味着消息无序

注意:假设有M1,M2两个消息顺序消费,当consumer消费M1时,由于网络问题超时,无法知道M1是否消费成功,一般为了保证消息一定会被消费,会选择重发M1到consumer,此时就有可能造成M1被重复消费。

二、消息重复问题?

  • RocketMQ不保证消息不重复(造成消息重复的根本原因是:网络不可达),如果你的业务需要保证严格的不重复消息,需要你自己在业务端去重。\ 需要消费端处理消息保持幂等性

其他特性:

  • 支持分布式事务消息

    大事务 = 小事务 + 异步机制 \ 基本思路:1.保证本地事务与异步消息的原子性\ 2.重试机制和回滚机制

    回溯消费

  • 回溯消费是指Consumer已经消费成功的消息,由于业务上需求需要重新消费,要支持此功能,Broker在向Consumer投递成功消息后,消息仍然需要保留。并且重新消费一般是按照时间维度,例如由于Consumer系统故障,恢复后需要重新消费1小时前的数据,那么Broker要提供一种机制,可以按照时间维度来回退消费进度

    定时消息

  • 定时消息是指消息发到Broker后,不能立刻被Consumer消费,要到特定的时间点或者等待特定的时间后才能被消费

    消息重试

    Consumer消费消息失败后,要提供一种重试机制,令消息再消费一次。Consumer消费消息失败通常可以认为有以下几种情况:

    1. 由于消息本身的原因,例如反序列化失败,消息数据本身无法处理(例如话费充值,当前消息的手机号被注销,无法充值)等。这种错误通常需要跳过这条消息,再消费其他消息,而这条失败的消息即使立刻重试消费,99%也不成功,所以最好提供一种定时重试机制,即过10s秒后再重试。
    2. 由于依赖的下游应用服务不可用,例如db连接不可用,外系统网络不可达等。遇到这种错误,即使跳过当前失败的消息,消费其他消息同样也会报错。这种情况建议应用sleep 30s,再消费下一条消息,这样可以减轻Broker重试消息的压力。

消息存储

RocketMQ的消息存储是由consume queue和commit log配合完成的。

1. consumequeue

consume queue是消息的逻辑队列,相当于字典的目录,用来指定消息在物理文件commit log上的位置。\ 我们可以在配置中指定consumequeue与commitlog存储的目录 每个topic下的每个queue都有一个对应的consumequeue文件,比如:

${rocketmq.home}/store/consumequeue/${topicName}/${queueId}/${fileName}

consumerQueue文件组织,如图:

根据topic和queueId来组织文件,图中TopicA有两个队列0,1,那么TopicA和QueueId=0组成一个ConsumeQueue,TopicA和QueueId=1组成另一个ConsumeQueue。

Consume Queue中存储单元是一个20字节定长的二进制数据,顺序写顺序读,如下图所示:

  1. CommitLog Offset是指这条消息在Commit Log文件中的实际偏移量(文件偏移量就是指从指定位置向前或向后移动的字节数,偏移量是用来从文件中找到所用数据时用)
  2. Size存储中消息的大小
  3. Message Tag HashCode存储消息的Tag的哈希值:主要用于订阅时消息过滤(订阅时如果指定了Tag,会根据HashCode来快速查找到订阅的消息)

2. commitlog

  1. CommitLog:消息存放的物理文件,每台broker上的commitlog被本机所有的queue共享,不做任何区分。
  2. CommitLog的消息存储单元长度不固定,文件顺序写,随机读。消息的存储结构如下表所示,按照编号顺序以及编号对应的内容依次存储

中间件对比

中间件对比

kafka 与 rocketmq 更详细对比,参考

  • https://yq.aliyun.com/articles/73165

RocketMQ最佳实践

一、Producer最佳实践

  1. 一个应用尽可能用一个 Topic,消息子类型用 tags 来标识,tags 可以由应用自由设置。只有发送消息设置了tags,消费方在订阅消息时,才可以利用 tags 在 broker 做消息过滤。
  2. 每个消息在业务层面的唯一标识码,要设置到 keys 字段,方便将来定位消息丢失问题。由于是哈希索引,请务必保证 key 尽可能唯一,这样可以避免潜在的哈希冲突。
  3. 消息发送成功或者失败,要打印消息日志,务必要打印 sendresult 和 key 字段。
  4. 对于消息不可丢失应用,务必要有消息重发机制。例如:消息发送失败,存储到数据库,能有定时程序尝试重发或者人工触发重发。
  5. 某些应用如果不关注消息是否发送成功,请直接使用sendOneWay方法发送消息。
  6. 异步发送 默认发送(msg)会阻塞,直到返回响应。所以如果你关心性能,我们建议你使用send(msg,callback),它将以异步方式运行。

二、Consumer最佳实践

  1. 消费过程要做到幂等(即消费端去重)
  2. 尽量使用批量方式消费方式,可以很大程度上提高消费吞吐量。
  3. 优化每条消息消费过程
  4. 消费过程中如果发送异常,不建议抛出异常,您可以返回ConsumeConcurrentlyStatus.RECONSUME_LATER
  5. 设置consumer线程池大小
  6. ConsumeFromWhere\ 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费。CONSUME_FROM_LAST_OFFSET将忽略历史消息,并消耗此后生成的任何内容。CONSUME_FROM_FIRST_OFFSET将消耗Broker中存在的每条消息。您还可以使用CONSUME_FROM_TIMESTAMP消费指定时间戳后生成的消息。

三、其他配置

  1. 设置Message的isWaitStoreMsgOK = true(默认true),表示同步刷盘,发送消息后等待刷盘成功才返回(可靠性更高),设置false,如果没有抛出异常,会直接返回SEND_OK(性能更高)

2.线上应该关闭autoCreateTopicEnable,即在配置文件中将其设置为false。

RocketMQ在发送消息时,会首先获取路由信息。如果是新的消息,由于MQServer上面还没有创建对应的Topic,这个时候,如果上面的配置打开的话,会返回默认TOPIC的(RocketMQ会在每台broker上面创建名为TBW102的TOPIC)路由信息,然后Producer会选择一台Broker发送消息,选中的broker在存储消息时,发现消息的topic还没有创建,就会自动创建topic。后果就是:以后所有该TOPIC的消息,都将发送到这台broker上,达不到负载均衡的目的。

下载rocketmq-console-ng-1.0.0.jar,启动控制台:

  • java -jar rocketmq-console-ng-1.0.0.jar –server.port=12581 –rocketmq.config.namesrvAddr=10.89.0.64:9876;10.89.0.65:9876
  • broker监听客户端的端口10909,10911,10912

参考资料:

  • [https://rocketmq.apache.org]
  • [https://www.jianshu.com/p/453c6e7ff81c]
  • [http://jm.taobao.org/2017/01/12/rocketmq-quick-start-in-10-minutes]
  • [https://github.com/apache/rocketmq-externals]