消息队列(Message Queue)简介及其使用
利用 MSMQ(Microsoft Message Queue),应用程序开发人员可以通过发送和接收消息方便地与应用程序进行快速可靠的通信。消息处理为您提供了有保障的消息传递和执行许多业务处理的可靠的防故障方法。
MSMQ与XML Web Services和.Net Remoting一样,是一种分布式开发技术。但是在使用XML Web Services或.Net Remoting组件时,Client端需要和Server端实时交换信息,Server需要保持联机。MSMQ则可以在Server离线的情况下工作,将Message临时保存在Client端的消息队列中,以后联机时再发送到Server端处理。
显然,MSMQ不适合于Client需要Server端及时响应的这种情况,MSMQ以异步的方式和Server端交互,不用担心等待Server端的长时间处理过程。
虽然XML Web Services和.Net Remoting都提供了[OneWay]属性来处理异步调用,用来解决Server端长方法调用长时间阻碍Client端。但是不能解决大量Client负载的问题,此时Server接受的请求快于处理请求。
一般情况下,[OneWay]属性不用于专门的消息服务中。
1. 基本术语和概念(Basic terms and concepts)
“消息”是在两台计算机间传送的数据单位。消息可以非常简单,例如只包含文本字符串;也可以更复杂,可能包含嵌入对象。
消息被发送到队列中。“消息队列”是在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。队列的主要目的是提供路由并保证消息的传递;如果发送消息时接收者不可用,消息队列会保留消息,直到可以成功地传递它。
“消息队列”是 Microsoft 的消息处理技术,它在任何安装了 Microsoft Windows 的计算机组合中,为任何应用程序提供消息处理和消息队列功能,无论这些计算机是否在同一个网络上或者是否同时联机。
“消息队列网络”是能够相互间来回发送消息的任何一组计算机。网络中的不同计算机在确保消息顺利处理的过程中扮演不同的角色。它们中有些提供路由信息以确定如何发送消息,有些保存整个网络的重要信息,而有些只是发送和接收消息。
“消息队列”安装期间,管理员确定哪些服务器可以互相通信,并设置特定服务器的特殊角色。构成此“消息队列”网络的计算机称为“站点”,它们之间通过“站点链接”相互连接。每个站点链接都有一个关联的“开销”,它由管理员确定,指示了经过此站点链接传递消息的频率。
“消息队列”管理员还在网络中设置一台或多台作为“路由服务器”的计算机。路由服务器查看各站点链接的开销,确定经过多个站点传递消息的最快和最有效的方法,以此决定如何传递消息。
2. 队列类型(Queue Type)
有两种主要的队列类型:由您或网络中的其他用户创建的队列和系统队列。
用户创建的队列可能是以下任何一种队列:
“公共队列”在整个“消息队列”网络中复制,并且有可能由网络连接的所有站点访问。
“专用队列”不在整个网络中发布。相反,它们仅在所驻留的本地计算机上可用。专用队列只能由知道队列的完整路径名或标签的应用程序访问。
“管理队列”包含确认在给定“消息队列”网络中发送的消息回执的消息。指定希望 MessageQueue 组件使用的管理队列(如果有的话)。
“响应队列”包含目标应用程序接收到消息时返回给发送应用程序的响应消息。指定希望 MessageQueue 组件使用的响应队列(如果有的话)。
系统生成的队列一般分为以下几类:
“日记队列”可选地存储发送消息的副本和从队列中移除的消息副本。每个“消息队列”客户端上的单个日记队列存储从该计算机发送的消息副本。在服务器上为每个队列创建了一个单独的日记队列。此日记跟踪从该队列中移除的消息。
“死信队列”存储无法传递或已过期的消息的副本。如果过期或无法传递的消息是事务性消息,则被存储在一种特殊的死信队列中,称为“事务性死信队列”。死信存储在过期消息所在的计算机上。有关超时期限和过期消息的更多信息,请参见默认消息属性。
“报告队列”包含指示消息到达目标所经过的路由的消息,还可以包含测试消息。每台计算机上只能有一个报告队列。
“专用系统队列”是一系列存储系统执行消息处理操作所需的管理和通知消息的专用队列。
在应用程序中进行的大多数工作都涉及访问公共队列及其消息。但是,根据应用程序的日记记录、确认和其他特殊处理需要,在日常操作中很可能要使用几种不同的系统队列。
3. 同步和异步通信(Synchronous VS. Asynchronous Communication)
队列通信天生就是异步的,因为将消息发送到队列和从队列中接收消息是在不同的进程中完成的。另外,可以异步执行接收操作,因为要接收消息的人可以对任何给定的队列调用 BeginReceive 方法,然后立即继续其他任务而不用等待答复。这与人们所了解的“同步通信”截然不同。
在同步通信中,请求的发送方在执行其他任务前,必须等待来自预定接收方的响应。发送方等待的时间完全取决于接收方处理请求和发送响应所用的时间。
4. 同消息队列交互(Interacting with Message Queues)
消息处理和消息为基于服务器的应用程序组件之间的进程间通信提供了强大灵活的机制。同组件间的直接调用相比,它们具有若干优点,其中包括:
- 稳定性 — 组件失败对消息的影响程度远远小于组件间的直接调用,因为消息存储在队列中并一直留在那里,直到被适当地处理。消息处理同事务处理相似,因为消息处理是有保证的。
- 消息优先级 — 更紧急或更重要的消息可在相对不重要的消息之前接收,因此可以为关键的应用程序保证足够的响应时间。
- 脱机能力 — 发送消息时,它们可被发送到临时队列中并一直留在那里,直到被成功地传递。当因任何原因对所需队列的访问不可用时,用户可以继续执行操作。同时,其他操作可以继续进行,如同消息已经得到了处理一样,这是因为网络连接恢复时消息传递是有保证的。
- 事务性消息处理 — 将多个相关消息耦合为单个事务,确保消息按顺序传递、只传递一次并且可以从它们的目标队列中被成功地检索。如果出现任何错误,将取消整个事务。
- 安全性 — MessageQueue 组件基于的消息队列技术使用 Windows 安全来保护访问控制,提供审核,并对组件发送和接收的消息进行加密和验证。
5. 在.Net环境下编写简单的Message Queue程序
(1)先安装Message Queuing Services
通过Control Panel,“Add/Remove Programs” – “Add/Remove Windows Components”步骤安装MSMQ。
MSMQ可以安装为工作组模式或域模式。如果安装程序没有找到一台运行提供目录服务的消息队列的服务器,则只可以安装为工作组模式,此计算机上的“消息队列”只支持创建专用队列和创建与其他运行“消息队列”的计算机的直接连接。
(2)配置MSMQ
打开Computer Management – Message Queuing,在Private Queues下创建MSMQDemo队列
(3)编写代码-简单演示MSMQ对象
MessageQueue 类是“消息队列”周围的包装。MessageQueue 类提供对“消息队列”队列的引用。可以在 MessageQueue 构造函数中指定一个连接到现有资源的路径,或者可在服务器上创建新队列。在调用 Send、Peek 或 Receive 之前,必须将 MessageQueue 类的新实例与某个现有队列关联。
MessageQueue 支持两种类型的消息检索:同步和异步。同步的 Peek 和 Receive 方法使进程线程用指定的间隔时间等待新消息到达队列。异步的 BeginPeek 和 BeginReceive 方法允许主应用程序任务在消息到达队列之前,在单独的线程中继续执行。这些方法通过使用回调对象和状态对象进行工作,以便在线程之间进行信息通讯。
// Send Message
private void btnSendMessage_Click(object sender, System.EventArgs e)
{
// Open queue
System.Messaging.MessageQueue queue = new System.Messaging.MessageQueue(".\\Private$\\MSMQDemo");
// Create message
System.Messaging.Message message = new System.Messaging.Message();
message.Body = txtMessage.Text.Trim();
message.Formatter = new System.Messaging.XmlMessageFormatter(new Type[] {typeof(string)});
// Put message into queue
queue.Send(message);
}
// Receive Message
private void btnReceiveMessage_Click(object sender, System.EventArgs e)
{
// Open queue
System.Messaging.MessageQueue queue = new System.Messaging.MessageQueue(".\\Private$\\MSMQDemo");
// Receive message, 同步的Receive方法阻塞当前执行线程,直到一个message可以得到
System.Messaging.Message message = queue.Receive();
message.Formatter = new System.Messaging.XmlMessageFormatter(new Type[] {typeof(string)});
txtReceiveMessage.Text = message.Body.ToString();
}
MSMQ是微软消息队列的英文缩写。关于消息队列的定义在网上有相关资料,这里不在过多的解释。
一、MSMQ介绍和安装消息队列
使用消息队列的优点:稳定、消息优先级、脱机能力以及安全性。
消息队列分为用户创建的队列(专用队列)和系统队列,用户队列分为,。我是Windows XP,看下图所示(myQueue为自己创建的消息队列,msmqtriggersnotifiations为通用队列):
对消息队列有了简单的了解后,使用MSMQ进行软件开发需要安装MSMQ,安装完后就该进入实际的开发阶段。具体的安装过程就是在控制面板里“添加/删除程序”下“添加/删除Windows组件”,完成添加就OK。安装完成后就可以通过交互界添加新的消息队列,详细如下图:
出了上面这种交互界面来创建MSMQ外,也可以通过编程来完成,.NET框架里的MessageQueue类下有一静态方法Create,用来完成消息队列的创建,其定义如下:
1// |
实现消息队列的创建简单代码(C#),创建一个名为"myQueue"的非事务性"消息队列",如下:
MessageQueue.Create(@".\private$\myQueue"); |
二、创建、删除和管理队列
在.NET环境下编写Message Queue程序的前提就是需要先安装MSMQ,本文之前已经作了详细的介绍。要开发MSMQ程序就必须学习一个很重要的类(MessageQueue), 该类位于名称空间System.Messageing下。其中有几个常用的方法必须掌握:
--Create方法:创建使用指定路径的新消息队列。
--Delete方法:删除现有的消息队列。
--Existe方法:查看指定消息队列是否存在。
--GetAllMessages()方法:得到队列中的所有消息。
--GetPublicQueues方法:在“消息队列”网络中定位消息队列。
--Peek/BeginPeek方法:查看某个特定队列中的消息队列,但不从该队列中移出消息。
--Receive/BeginReceive方法:检索指定消息队列中最前面的消息并将其从该队列中移除。
--Send方法:发送消息到指定的消息队列。
--Purge方法:清空指定队列的消息。
上述列举的方法在此就不作详细介绍,大家可以通过下面的示例程序中来体会他们各自的功能。
三、发送和序列化消息
MSMQ消息队列中定义的消息由一个主体(body)和若干属性构成。消息的主体可以由文本、二进制构成,根据需要还可以被加密。在MSMQ 中消息的大小不能够超过4MB。发送消息是通过Send方法来完成的,需要一个Message参数。
1、发送消息:
步骤:连接队列-->指定消息格式-->提供要发送的数据(主体)-->调用Send()方法将消息发送出去。详细见后面的示例程序。
2、序列化消息:
消息序列化可以通过.NET Framework附带的三个预定义格式化程序来完成:
-- XMLMessageFormatter对象----MessageQueue组件的默认格式化程序设置。
-- BinaryMessageFormatter对象;
-- ActiveXMessageFormatter对象;
由于后两者格式化后的消息通常不能为人阅读,所以我们经常用到的是XMLMessageFormatter对象。该对象构造方法有三种重载:
1public XmlMessageFormatter(); 2public XmlMessageFormatter(string[] targetTypeNames); 3public XmlMessageFormatter(Type[] targetTypes); |
如我们后面的示例程序中用到的序列化语句:
1//序列化为字符串 2XmlMessageFormatter formatter = new XmlMessageFormatter(new Type[] { typeof(string) }); |
四、读取和接收消息
1、读取消息:
也就是从指定队列中获取消息,详细请查看本文前面的关于消息操作的方法介绍。
2、接收消息有两种方式:
--> 通过Receive方法--具体功能请返回本文前面有详细介绍。
--> 通过Peek方法--具体功能请返回本文前面有详细介绍。
五、消息使用实例
通过上面一系列的介绍,了解了MessageQueue类和常用的方法后,下面我们通过一个简单的示例程序来分析消息队列的创建、发送消息以及接收消息等相关知识点:
1、通过Create方法创建使用指定路径的新消息队列
1/**//// <summary> 2/// 通过Create方法创建使用指定路径的新消息队列 3/// </summary> 4/// <param name="queuePath"></param> 5public static void Createqueue(string queuePath) 6{ 7 try 8 { 9 if (!MessageQueue.Exists(queuePath)) 10 { 11 MessageQueue.Create(@".\private$\myQueue"); 12 } 13 else 14 { 15 Console.WriteLine(queuePath + "已经存在!"); 16 } 17 } 18 catch (MessageQueueException e) 19 { 20 Console.WriteLine(e.Message); 21 } 22} |
2、连接消息队列并发送消息到队列
1/**//// <summary> 2/// 连接消息队列并发送消息到队列 3/// </summary> 4public static void SendMessage() 5{ 6 try 7 { 8 //连接到本地的队列 9 MessageQueue myQueue = new MessageQueue(".\\private$\\myQueue"); 10 11 Message myMessage = new Message(); 12 myMessage.Body = "消息内容"; 13 myMessage.Formatter = new XmlMessageFormatter(new Type[] { typeof(string) }); 14 //发送消息到队列中 15 myQueue.Send(myMessage); 16 } 17 catch (ArgumentException e) 18 { 19 Console.WriteLine(e.Message); 20 } 21} |
3、连接消息队列并从消息队列中接收消息
1/**//// <summary> 2/// 连接消息队列并从队列中接收消息 3/// </summary> 4public static void ReceiveMessage() 5{ 6 //连接到本地队列 7 MessageQueue myQueue = new MessageQueue(".\\private$\\myQueue"); 8 myQueue.Formatter = new XmlMessageFormatter(new Type[] { typeof(string) }); 9 try 10 { 11 //从队列中接收消息 12 Message myMessage = myQueue.Receive(); 13 string context = (string)myMessage.Body; //获取消息的内容 14 Console.WriteLine("消息内容为:" + context); 15 } 16 catch (MessageQueueException e) 17 { 18 Console.WriteLine(e.Message); 19 } 20 catch (InvalidCastException e) 21 { 22 Console.WriteLine(e.Message); 23 } 24} |
4、连接队列并清空队列的全部消息
1/**//// <summary> 2/// 清空指定队列的消息 3/// </summary> 4public static void ClearMessage() 5{ 6 MessageQueue myQueue = new MessageQueue(".\\private$\\myQueue"); 7 myQueue.Purge(); 8} |
5、连接队列并获取队列的全部消息
1/**//// <summary> 2/// 连接队列并获取队列的全部消息 3/// </summary> 4public static void GetAllMessage() 5{ 6 //连接到本地队列 7 MessageQueue myQueue = new MessageQueue(".\\private$\\myQueue"); 8 Message[] message = myQueue.GetAllMessages(); 9 XmlMessageFormatter formatter = new XmlMessageFormatter(new Type[] { typeof(string) }); 10 for (int i = 0; i < message.Length; i++) 11 { 12 message[i].Formatter = formatter; 13 Console.WriteLine(message[i].Body.ToString()); 14 } 15} |
上面依次的列举出来5个方法,这里我就不做测试了。上述方法全部通过测试的。
六、复杂消息发送实例
通过上面一系列的介绍,对于简单消息的发送和接收及消息的管理应该都不会有什么问题了,下面我在介绍一下关于复杂的消息处理,现在有这样一个需 求,要求通过消息队列将一本图书信息发送到队列里,然后从消息队列里读取出来。图书的基本信息包括图书编号、图书名称、图书作者以及图书定价,这样的一个 复杂的对象类型怎么来传输呢?详细如下:
1namespace MSMQ.App 2{ 3 public class MsgQueue 4 { 5 /**//// <summary> 6 /// 通过Create方法创建使用指定路径的新消息队列 7 /// </summary> 8 /// <param name="queuePath"></param> 9 public static void Createqueue(string queuePath) 10 { 11 try 12 { 13 if (!MessageQueue.Exists(queuePath)) 14 { 15 MessageQueue.Create(@".\private$\myQueue"); 16 MessageBox.Show("创建队列成功!"); 17 } 18 else 19 { 20 MessageBox.Show(queuePath + "已经存在!"); 21 } 22 } 23 catch (MessageQueueException e) 24 { 25 MessageBox.Show(e.Message); 26 } 27 } 28 29 /**//// <summary> 30 /// 连接消息队列并发送消息到队列 31 /// </summary> 32 public static bool SendMessage(Book book) 33 { 34 bool flag = false; 35 try 36 { 37 //连接到本地的队列 38 MessageQueue myQueue = new MessageQueue(".\\private$\\myQueue"); 39 40 System.Messaging.Message myMessage = new System.Messaging.Message(); 41 myMessage.Body = book; 42 myMessage.Formatter = new XmlMessageFormatter(new Type[] { typeof(MSMQ.App.Book) }); 43 //发送消息到队列中 44 myQueue.Send(myMessage); 45 flag = true; 46 } 47 catch (ArgumentException e) 48 { 49 MessageBox.Show(e.Message); 50 } 51 return flag; 52 } 53 54 /**//// <summary> 55 /// 连接消息队列并从队列中接收消息 56 /// </summary> 57 public static string ReceiveMessage() 58 { 59 //连接到本地队列 60 MessageQueue myQueue = new MessageQueue(".\\private$\\myQueue"); 61 myQueue.Formatter = new XmlMessageFormatter(new Type[] { typeof(MSMQ.App.Book) }); 62 try 63 { 64 //从队列中接收消息 65 System.Messaging.Message myMessage = myQueue.Receive(); 66 Book book = (Book)myMessage.Body; //获取消息的内容 67 return string.Format("编号:{0},书名:{1},作者:{2},定价:{3}", 68 book.BookId, 69 book.BookName, 70 book.BookAuthor, 71 book.BookPrice); 72 } 73 catch (MessageQueueException e) 74 { 75 MessageBox.Show(e.Message); 76 } 77 catch (InvalidCastException e) 78 { 79 MessageBox.Show(e.Message); 80 } 81 return null; 82 } 83 } 84} |
其实发送复杂的消息也就是在消息序列化上有些差别,别的地方与发送普通文本消息没什么大的变化,上面类里提供了创建队列,发送消息到队列,从队列获取消息三个方法,测试结果如下:
上述中,完成了一个复杂类型的消息发送到队列及从队列中读取的示例。
下面啰嗦哈消息队列的路径配置的问题(即 上面的类中的path参数):偷了个懒,哈哈
举个简单的例子来说明哈吧:
- //本机消息队列
- /*公共队列,消息队列名为myQueue*/
- ./myQueue
- /*专用队列,消息队列名为myQueue*/
- ./private$/myQueue
- /*Format格式,计算机名为zhang,消息队列名为myQueue*/
- FormatName:DIRECT=OS:zhang/Private$/myQueue
- //远程消息队列
- /*配置为Ip为192.168.101.130的服务器的专用消息队列,队列名为myQueue*/
- FormatName:DIRECT=TCP:192.168.101.130/Private$/myQueue
OK,下面的小demo来测试哈我们的消息队列是否可用:
- class Order
- {
- public string Id { get; set; }
- public DateTime Time { get; set; }
- }
- class Program
- {
- string path="FormatName:DIRECT=OS:zhang/Private$/myQueue";//队列路径
- int timeout=20;//超时时间
- Queue mq = new Queue(path,timeout);//生成消息队列对象
- static void Main(string[] args)
- {
- Program p = new Program();
- p.SendQueue();
- p.Recive();
- }
- void SendQueue()
- {
- Order o = new Order
- {
- Id = "123456",
- Time = DateTime.Now
- };
- mq.Send(o, MessageQueueTransactionType.Automatic);
- }
- void Recive()
- {
- Message m = mq.Receive();
- Order o = (Order)m.Body;
- Console.WriteLine(o.Id);
- }
- }