消息队列RabbitMQ入门介绍

(一)基本概念

RabbitMQ是流行的开源消息队列系统,用erlang语言开发。我曾经对这门语言挺有兴趣,学过一段时间,后来没坚持。RabbitMQ是AMQP(高级消息队列协议)的标准实现。如果不熟悉AMQP,直接看RabbitMQ的文档会比较困难。不过它也只有几个关键概念,这里简单介绍。

RabbitMQ的结构图如下:

几个概念说明:

Broker:简单来说就是消息队列服务器实体。
Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。
Queue:消息队列载体,每个消息都会被投入到一个或多个队列。
Binding:绑定,它的作用就是把exchange和queue按照路由规则绑定起来。
Routing Key:路由关键字,exchange根据这个关键字进行消息投递。
vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离。
producer:消息生产者,就是投递消息的程序。
consumer:消息消费者,就是接受消息的程序。
channel:消息通道,在客户端的每个连接里,可建立多个channel,每个channel代表一个会话任务。

消息投递过程大概如下:

(1)客户端连接到消息队列服务器,打开一个channel。
(2)客户端声明一个exchange,并设置相关属性。
(3)客户端声明一个queue,并设置相关属性。
(4)客户端使用routing key,在exchange和queue之间建立好绑定关系。
(5)客户端投递消息到exchange。

exchange接收到消息后,就根据消息的key和已经设置的binding,进行消息路由,将消息投递到一个或多个队列里。

exchange也有几个类型,完全根据key进行投递的叫做Direct交换机,例如,绑定时设置了routing key为”abc”,那么客户端提交的消息,只有设置了key为”abc”的才会投递到队列。对key进行模式匹配后进行投递的叫做Topic交换机,符号”#”匹配一个或多个词,符号”*”匹配正好一个词。例如”abc.#”匹配”abc.def.ghi”,”abc.*”只匹配”abc.def”。还有一种不需要key的,叫做Fanout交换机,它采取广播模式,一个消息进来时,投递到与该交换机绑定的所有队列。

RabbitMQ支持消息的持久化,也就是数据写在磁盘上,为了数据安全考虑,我想大多数用户都会选择持久化。消息队列持久化包括3个部分:
(1)exchange持久化,在声明时指定durable => 1
(2)queue持久化,在声明时指定durable => 1
(3)消息持久化,在投递时指定delivery_mode => 2(1是非持久化)

如果exchange和queue都是持久化的,那么它们之间的binding也是持久化的。如果exchange和queue两者之间有一个持久化,一个非持久化,就不允许建立绑定。

(二)应用实际

我使用Linux服务器(ubuntu 9.10 64位),安装RabbitMQ非常方便。

先运行如下命令安装erlang:

apt-get install erlang-nox

再到rabbitmq.com上下载RabbitMQ的安装包,如下安装:

dpkg -i rabbitmq-server_2.6.1-1_all.deb

安装完后,使用

/etc/init.d/rabbitmq-server start|stop|restart

来启动、停止、重启rabbitmq。

在正式应用之前,我们先在RabbitMQ里创建一个vhost,加一个用户,并设置该用户的权限。

使用rabbitmqctl客户端工具,在根目录下创建”/pyhtest”这个vhost:

rabbitmqctl add_vhost /pyhtest

创建一个用户名”pyh”,设置密码”pyh1234″:

rabbitmqctl add_user pyh pyh1234

设置pyh用户对/pyhtest这个vhost拥有全部权限:

rabbitmqctl set_permissions -p /pyhtest pyh ".*" ".*" ".*"

后面三个”*”代表pyh用户拥有对/pyhtest的配置、写、读全部权限

设置好后,开始编程,我用Perl写一个消息投递程序(producer):

#!/usr/bin/perl
 use strict;
 use Net::RabbitMQ;
 use UUID::Tiny;

 my $channel = 1000; # channel ID,可以随意指定,只要不冲突
 my $queuename = "pyh_queue"; # 队列名
 my $exchange = "pyh_exchange"; # 交换机名
 my $routing_key = "test"; # routing key

 my $mq = Net::RabbitMQ->new(); # 创建一个RabbitMQ对象

 $mq->connect("localhost", { vhost => "/pyhtest", user => "pyh", password => "pyh1234" }); # 建立连接
 $mq->channel_open($channel); # 打开一个channel
 $mq->exchange_declare($channel, $exchange, {durable => 1}); # 声明一个持久化的交换机
 $mq->queue_declare($channel, $queuename, {durable => 1}); # 声明一个持久化的队列
 $mq->queue_bind($channel, $queuename, $exchange, $routing_key); # 使用routing key在交换机和队列间建立绑定

 for (my $i=0;$i<10000000;$i++) { # 循环1000万次
   my $string = create_UUID_as_string(UUID_V1); # 产生一条UUID作为消息主体
   $mq->publish($channel, $routing_key, $string, { exchange => $exchange }, { delivery_mode => 2 }); # 将消息结合key以持久化模式投递到交换机
 }

 $mq->disconnect(); # 断开连接 

消息接受程序(consumer)大概如下:

#!/usr/bin/perl
 use strict;
 use Net::RabbitMQ;

 my $channel = 1001;
 my $queuename = "pyh_queue";
 my $mq = Net::RabbitMQ->new();

 $mq->connect("localhost", { vhost=>"/pyhtest", user => "pyh", password => "pyh1234" });
 $mq->channel_open($channel);

 while (1) {
   my $hashref = $mq->get($channel, $queuename);
   last unless defined $hashref;
   print $hashref->{message_count}, ": ", $hashref->{body},"\n";
 }

 $mq->disconnect();

consumer连接后只要指定队列就可获取到消息。这里用的是get方式,get就是客户端主动pull的模式。更常见的是consume模式,客户端和服务器保持长连接,有消息就主动推送过来,从而保持消息的及时性。

上述程序共投递1000万条消息,每条消息36字节(UUID),打开持久化,共耗时17分多钟(包括产生UUID的时间),每秒投递消息约9500条。测试机器是8G内存、8核志强CPU。

投递完后,在/var/lib/rabbitmq/mnesia/rabbit@${hostname}/msg_store_persistent目录,产生2G多的持久化消息数据。在运行consumer程序后,这些数据都会消失,因为消息已经被消费了。

注:Perl的RabbitMQ库对AMQP支持很一般,建议参考其他语言的库,例如Ruby的AMQP实现,rubyamqp.info这个网站的内容非常好。另外本博客也写了多篇关于RabbitMQ的主题,欢迎阅读交流。

此条目发表在Common分类目录,贴了, 标签。将固定链接加入收藏夹。