Fork me on GitHub
IM即时通讯实现原理

即时通讯（Instant Messenger，简称IM）软件多是基于TCP/IP和UDP进行通讯的，TCP/IP和UDP都是建立在更低层的IP协议上的两种通讯传输协议。前 者是以数据流的形式，将传输数据经分割、打包后，通过两台机器之间建立起的虚电路，进行连续的、双向的、严格保证数据正确性的文件传输协议。而后者是以数 据报的形式，对拆分后的数据的先后到达顺序不做要求的文件传输协议。QQ就是使用UDP协议进行发送和接收消息的。当你的机器安装了OICQ以后，实际 上，你既是服务端（Server），又是客户端（Client）。当你登录OICQ时，你的OICQ作为Client连接到腾讯公司的主服务器上，当你 “看谁在线时，你的OICQ又一次作为Client从QQ Server上读取在线网友名单。当你和你的OICQ伙伴进行聊天时，如果你和对方的连接比较稳定，你和他的聊天内容都是以UDP的形式，在计算机之间传 送。如果你和对方的连接不是很稳定，QQ服务器将为你们的聊天内容进行中转。其他的即时通信软件原理与此大同小异。

一般的步骤：

首先，用户A输入自己的用户名和密码登录即时通讯服务器，服务器通过读取用户数据库来验证用户身份，如果用户名、密码都正确，就登记用户A的IP地 址、IM客户端软件的版本号及使用的TCP/UDP端口号，然后返回用户A登录成功的标志，此时用户A在 IM系统中的状态为在线（Online Presence）。

其次，根据用户A存储在IM服务器上的好友列表（Buddy List），服务器将用户A在线的相关信息发送到也同时在线的即时通讯好友的PC机，这些信息包括在线状态、IP地址、 IM客户端使用的TCP端口（Port）号等，即时通讯好友PC机上的即时通讯软件收到此信息后将在PC桌面上弹出一个小窗口予以提示。

第三步，即时通讯服务器把用户A存储在服务器上的好友列表及相关信息回送到他的PC机，这些信息包括也在线状态、IP地址、IM客户端使用的TCP端口（Port）号等信息，用户A的PC机上的IM客户端收到后将显示这些好友列表及其在线状态。

接下来，如果用户A想与他的在线好友用户B聊天，他将直接通过服务器发送过来的用户B的IP地址、TCP端口号等信息，直接向用户B的PC机发出聊 天信息，用户B的IM客户端软件收到后显示在屏幕上，然后用户B再直接回复到用户A的PC机，这样双方的即时文字消息就不通过 IM服务器中转，而是通过网络进行点对点的直接通讯，这称为对等通讯方式（Peer To Peer）。在商用即时通讯系统中，如果用户A与用户B的点对点通讯由于防火墙、网络速度等原因难以建立或者速度很慢， IM服务器还提供消息中转服务，即用户A和用户B的即时消息全部先发送到IM服务器，再由服务器转发给对方。早期的IM系统，在IM客户端和IM服务器之 间通讯采用采用UDP协议，UDP协议是不可靠的传输协议，而在 IM客户端之间的直接通讯中，采用具备可靠传输能力的TCP协议。随着用户需求和技术环境的发展，目前主流的即时通讯系统倾向于在即时通讯客户端之间、即 时通讯客户端和即时通讯服务器之间都采用TCP协议。

S——C1
|
| C1每次想和C2通信，先向S递一个申请，然后S同意，把信息转交C2
C2 以后每次通信都这样

S——C1
|
| C1第一次想和C2通信，向S递一个申请，S同意，告诉C1,C2,然后
C2

S—–C1
| /
| / C1和C2之间建立了一条连接，可以直接通信，无需经过S.
C2

2005-12-20 17:59 renstone921
QQ聊天信息是在两个用户间直接通信的,而MSN要经过服务器中转

QQ当用户登陆时，用户需要首先与qq服务器进行连接进行登录，服务器会向客户返回一些信息，比如你的好有的在线情况以及ip的信息，然后客户可以与你所请求的朋友进行点对点连接，两者互相通信。

MSN不知道是怎样的。

第一种，对服务器的性能要求比较高，要求服务器可以同时处理很高的连接数，因为所有信息都要通过服务器进行传递，同时，它可以对所传递的信息进行控制。

第二种，仅仅是用户登陆或下线时与服务器进行连接，平时进行通信时，是用户之间直接进行点对点的连接，这种实现更合理一些。
2005-12-20 20:36 zkyll
那c1和c2如果都在私网内，要通过路由器做NAT才能出去的话，他们之间的socket是如何建立的呢？
2005-12-20 21:29 renstone921
看一下下面的协议.

Simple Traversal of User Datagram Protocol (UDP) Through Network
Address Translators (NATs) (STUN)。

STUN，是为了实现透明的穿透NAT，而定义的一套协议。他使本地的内网的机器，具有取得，能够得知他的NAT网关的IP，NAT类型的能力。

为什么需要STUN：

因为NAT虽然解决了IP地址稀少的问题，但是也带来了很多的问题。比如所有P2P应用，像文件SHARE，多媒体，和在线游戏等等.
为了解决这个问题，有人将 Application Layer Gateways (ALGs) 放到了NAT中，
. ALGs 也有严重的问题，比如跟不上速度太块的CLIENT，每一个应用都需要单独的实现。
跟不上应用的发展。
为了克服ALGS的问题，又提出了the Middlebox Communications (MIDCOM) protocol
中间合协议。可是MIDBOX协议使 ，一些CLIENT可以控制NAT/防火墙的行为，通过这个
把应用协议和NAT部分分开，把ALGS从基本NAT里面处理开。不过因为要处理MIDBOX，那么
所有的NAT或者防火墙都要升级，

因为上面种种原因：
The protocol described here, Simple Traversal of UDP Through NAT
(STUN), allows entities behind a NAT to first discover the presence
of a NAT and the type of NAT, and then to learn the addresses
bindings allocated by the NAT. STUN requires no changes to NATs, and
works with an arbitrary(任意) number of NATs in tandem between the
application entity and the public Internet.

要想穿透NAT，首先知道NAT的一些特性：
NAT分为4种（加上防火墙的话，多几种情况）：
1.完全透明NAT(Full Cone NAT):
从相同内部主机(IN IPX) +端口(IN PORTX)发送的数据MAPING为相同的IP(OUT IP X)和端口(OUT PORT X)发送带外网.
并且 从另一个服务器(Y)，如果直连到MAPING的IP(OUT IP X)和端口(OUT PORT X )上，数据将会被转发到内部主机上. (IN IPX), (IN PORTX).
//也就是说进内部网的数据包的SPORT，SPORT不受限制
2．受限NAT(Restricted Cone),
从相同内部主机IN IPX) +端口((IN PORTX))发送的数据MAPING为相同的IP（X）和端口发送带外网.
和完全NAT不同的是，只有当为X时，外部机器的的请求就被转发到主机IN IPX) +端口((IN PORTX)。
也就是说进内部网的数据包的，SPORT不受限制，SIP受限制，只能为NAT MAP数据的IP
3，端口受限NAT(Port Restricted Cone:)
和受限NAT不同的是，只有当外部主动请求的的源IP和端口，等于内部网发送的请求的目的IP和端口。
4．对称NAT(Symmetric
如果发送的包的目的IP AND PORT，那么MAPPING IP AND PORT，将相同。
内部网同一台机器，同一个端口 如果目的地址不同，那么MAPPING的端口也不同，
所以只有他主动连的服务器才可能知道他的MAPPING后端口，别的服务器如果想
连他只能靠猜测端口。
总结：
前面3重NAT，MAPING PORT 和 IP，是根据发送包的的内部网的IP和端口决定的。
如果数据的内网IP和端口相同，那么MAPPING后的端口和地址是固定。
这个功能为我们的穿越提供了很好条件。
第4种NAT，打洞后的MAPPING 地址和端口将变地不可靠。很难穿越。
注意SERVERA，和SERVERB是两个公网地址，而不是两台机器，

STUN 的简单操作过程：
发送请求。请求分为两种
1． Binding Requests, sent over UDP,
用来发现是否NAT，用来发现NAT的公网地址，和MAPPING后的端口
2.Binding Response,
服务器产生Binding Response，并把得到的MAPPINGIP 和端口，返回到客户端， 客户端比较MAPPING地址是否 和本机地址相同，如果是说明是本机也是公网，否则
判断NAT的类型(判断方法：client uses additional STUN Binding Requests)
3.Binding Error，
4.Shared Secret Requests, sent over TLS [2] over TCP.
这个请求要求服务器返回一临时用户名和密码，用来下一步的Binding Requests/ Response,用来验证信息的完整性
5.Shared Secret Response,
6 Shared Secret Error Response。
STUN 信息结构
STUN 由以后数据结构构成：STUN头+STUN有效载荷
STUN头结构如下： 存储的值都是以网络顺序存放
字段 类型
STUN message type Short int 消息类型
Length Short int 有效载荷长度,不包含头长度
transaction ID octet[16] 连接的ID值，检查Request,
和Response

STUN的有效载荷
SHUN的有效载荷 是一些STUN的属性构成，属性的类型由信息的类型来决定。
STUN的属性是定义好了的，属性列表（attribute）如下：
MAPPED-ADDRESS 必选 用在Binding Response，（添入MAPING IP 和PORT）
RESPONSEADDRESS 可选 用在Binding Request,指定Response,发送到哪里
如果没有指定，Response发送到MAPING IP 和 PORT
CHANGE-REQUEST 可选 用在Binding Request。用来决定，CLIENT的NAT类型是限制NAT，还是端口限制NAT，（命令服务器从不同的源端口/IP，Response请求）
CHANGED-ADDRESS 可选 用在Binding Responses告诉Client改变的端口和IP
SOURCE-ADDRESS 必选 只用在Binding Responses，标记信息的源PORT HE IP
USERNAME 可选 Shared Secret Response/ Binding Requests
PASSWORD, 必选 SharedSecret Response
ESSAGEINTEGRITY 可选 用在Binding Responses, Binding Request记录信息的完整性
ERROR-CODE Binding Error Response and Shared Secret Error Response.
UNKNOWN-ATTRIBUTES
REFLECTED-FROM Binding Responses.用于追溯和防止DDOS

穿透的方法和过程
注意SERVER1，和SERVER2是两个公网地址，而不是两台机器，

一、IM技术概念

IM技术全称Instant Messaging，中文翻译“即时通讯”，它是一种使人们能在网上识别在线用户并与他们实时交换消息的技术，是电子邮件发明以来迅速崛起的在线通讯方式。

IM的出现和互联网有着密不可分的关系，IM完全基于TCP/IP网络协议族实现，而TCP/IP协议族则是整个互联网得以实现的技术基础。 最早出现即时通讯协议是IRC（Internet Relay Chat），但是可惜的是它仅能单纯的使用文字、符号的方式通过互联网进行交谈和沟通。随着互连网变得高度发达，即时通讯也变得远不止聊天这么简单，自 1996年第一个IM产品ICQ发明后，IM的技术和功能也开始基本成型，语音、视频、文件共享、短信发送等高级信息交换功能都可以在IM工具上实现，于 是功能强大的IM软件便足以搭建一个完整的通信交流平台。目前最具代表性的几款的IM通讯软件有MSN、Google Talk、Yahoo、Messenger 、腾讯QQ等。

二、IM技术原理和工作方式

典型的IM工作方式如下：登陆IM通讯中心（IM通讯服务器），获取一个自建立的历史的交流对象列表（好友列表），然后自身标志为在线状态，当好友 列表中的某人在任何时候登录上线并试图通过你的计算机联系你时，IM系统会发一个消息提醒你，然后你能与他建立一个聊天会话通道进行各种消息如键入文字、 通过语音等的交流，
从技术上来说，IM的基本技术原理如下：

IM服务器
登陆或注销 登陆或注销
用户A通过列表找到B，用户B获得的消息并与之交谈
通过IM服务器指引建立与B单独的通讯通道

第一步，用户A输入自己的用户名和密码登录IM服务器，服务器通过读取用户数据库来验证用户身份，如果验证通过，登记用户A的IP地址、IM客户端 软件的版本号及使用的TCP/UDP端口号，然后返回用户A登录成功的标志，此时用户A在IM系统中的状态为在线（Online Presence）。

第二步，根据用户A存储在IM服务器上的好友列表（Buddy List），服务器将用户A在线的相关信息发送给也同时在线的IM好友的PC机，这些信息包括在线状态、IP地址、IM客户端使用的TCP端口（Port）号等，IM好友的客户端收到此信息后将在予以提示。

第三步是IM服务器把用户A存储在服务器上的好友列表及相关信息回送到他的客户端机，这些信息包括也在线状态、IP地址、IM客户端使用的TCP端口（Port）号等信息，用户A的IM客户端收到后将显示这些好友列表及其在线状态。

三、IM通讯方式

1.在线直接通讯
如果用户A想与他的在线好友用户B聊天， 他将直接通过服务器发送过来的用户B的IP地址、TCP端口号等信息，直接向用户B的PC机发出聊天信息，用户B的IM客户端软件收到后显示在屏幕上，然 后用户B再直接回复到用户A的PC机，这样双方的即时文字消息就不再IM服务器中转，而是直接通过网络进行点对点的通讯，即对等通讯方式（Peer To Peer）。

2.在线代理通讯
用户A与用户B的点对点通讯由于防火墙、网络速度等原因难以建立或者速度很慢，IM服务器将会主动提供消息中转服务，即用户A和用户B的即时消息全部先发送到IM服务器，再由服务器转发给对方。

3.离线代理通讯
用户A与用户B由于各种原因不能同时在线的时候，如此时A向B发送消息，IM服务器可以主动寄存A用户的消息，到B用户下一次登陆的时候，自动将消息转发给B。

4.扩展方式通讯
用户A可以通过IM服务器将信息以扩展的方式传递给B，如短信发送方式发送到B的手机，传真发送方式传递给B的电话机，以email的方式传递给B的电子邮箱等。
早 期的IM系统，在IM客户端和IM服务器之间通讯采用UDP协议，UDP协议是不可靠的传输协议，而在IM客户端之间的直接通讯中，采用具备可靠传输能力 的TCP协议。随着用户需求和技术环境的发展，目前主流的IM系统倾向于在IM客户端之间、IM客户端和IM服务器之间都采用TCP协议。
即时通讯相对于其他通讯方式如电话、传真、email等的最大优势就是消息传达的即时性和精确性，只要消息传递双方均在网络上可以互通，使用即时通讯软件传递消息，传递延时仅为1秒种

四、兴起的嵌入式IM工具。

传统的IM在统治了互联网即时通讯领域长达十年之久，以其日趋稳定的定能，与较强的用户黏着度，至今仍统治着这个巨大的市场。然而，软件行业的技术 精英们，并不满足于此。他们厚积薄发，一直致力于开发出性能更为优越的即时通讯工具。当然，在功能上的不断完善，自然是一个必然的发展方向，在 Web2.0时代，如何大力增强用户对网站的黏着度，而不仅仅是对于IM的拥附，已经成为他们的主攻方向了。于是，嵌入式IM工具，应运而生了。

相对以往的传统的即使沟通工具，它们需要用户下载软件包，需要用户进行安装。对于拥有IM产品的网站而言，用户在登陆网站后，不能直接使用其IM工 具，对于流量与用户的黏着度，都是有一定影响的。因此在IM与网站相互依存的今天，没有哪家网络公司，愿意将IM工具孤立开来。

于是，目前，一种新型的嵌入式IM工具就应运而生了。这种IM工具，不需要下载安装，当用户登陆网页后，该IM直接嵌套在网页中，可以直接使用。

而在功能上，则一点也不输于传统的IM，无论是传统的文字沟通的速度与效率，还是近年来越来越成为IM工具必备的音频/视频功能，这种嵌入式IM都 能提供非常稳定的传输。更值得一提的是，因为嵌入式IM是嵌套在网页上的，软件供应商，可以根据网站需求，设计出适合网站风格的IM产品。而不是像传统的 IM工具，千篇一律，毫无个性可言。

目前，这类嵌入式IM在社区、交友、社团及协作等类型的网站上，应用已经较为广泛。在Web2.0时代，将发挥越来越重要的作用。

http://www.cnblogs.com/sunzewei/archive/2011/12/14/2287111.html

ASP.Net 1.1后引入了对提交表单自动检查是否存在XSS（跨站脚本攻击）的能力。当用户试图用<xxxx>之类的输入影响页面返回结果的时候，ASP.Net的引擎会引发一个 HttpRequestValidationExceptioin。默认情况下会返回如下文字的页面：

这是ASP.Net提供的一个很重要的安全特性。因为很多程序员对安全没有概念，甚至都不知道XSS这种攻击的存在，知道主动去防护的就更少了。ASP.Net在这一点上做到默认安全。这样让对安全不是很了解的程序员依旧可以写出有一定安全防护能力的网站。

但是，当我Google搜索 HttpRequestValidationException 或者 "A potentially dangerous Request.Form value was detected from the client"的时候，惊奇的发现大部分人给出的解决方案竟然是在ASP.Net页面描述中通过设置 validateRequest=false 来禁用这个特性，而不去关心那个程序员的网站是否真的不需要这个特性。看得我这叫一个胆战心惊。安全意识应该时时刻刻在每一个程序员的心里，不管你对安全的概念了解多少，一个主动的意识在脑子里，你的站点就会安全很多。

为 什么很多程序员想要禁止 validateRequest 呢？有一部分是真的需要用户输入"<>"之类的字符。这就不必说了。还有一部分其实并不是用户允许输入那些容易引起XSS的字符，而是讨厌这 种报错的形式，毕竟一大段英文加上一个ASP.Net典型异常错误信息，显得这个站点出错了，而不是用户输入了非法的字符，可是自己又不知道怎么不让它报 错，自己来处理报错。

对于希望很好的处理这个错误信息，而不使用默认ASP.Net异常报错信息的程序员们，你们不要禁用validateRequest=false。

正 确的做法是在你当前页面添加Page_Error()函数，来捕获所有页面处理过程中发生的而没有处理的异常。然后给用户一个合法的报错信息。如果当前页 面没有Page_Error()，这个异常将会送到Global.asax的Application_Error()来处理，你也可以在那里写通用的异常 报错处理函数。如果两个地方都没有写异常处理函数，才会显示这个默认的报错页面呢。

举例而言，处理这个异常其实只需要很简短的一小段代码就够了。在页面的Code-behind页面中加入这么一段代码：
protected void Page_Error(object sender, EventArgs e)
{
    Exception ex = Server.GetLastError();
    if (ex is HttpRequestValidationException)
    {
        Response.Write("请您输入合法字符串。");
        Server.ClearError(); // 如果不ClearError()这个异常会继续传到Application_Error()。
    }
}
这样这个程序就可以截获 HttpRequestValidationException 异常，而且可以按照程序员的意愿返回一个合理的报错信息。

这段代码很简单，所以我希望所有不是真的要允许用户输入<xxx>之类字符的朋友，千万不要随意的禁止这个安全特性，如果只是需要异常处理，那么请用类似于上面的代码来处理即可。

而对于那些通过 明确禁止了这个特性的程序员，自己一定要明白自己在做什么，而且一定要自己手动的检查必须过滤的字符串，否则你的站点很容易引发跨站脚本攻击。

关于存在Rich Text Editor的页面应该如何处理？

如果页面有富文本编辑器的控件的，那么必然会导致有<xxx>类的HTML标签提交回来。在这种情况下，我们不得不将validateRequest="false"。那么安全性怎么处理？如何在这种情况下最大限度的预防跨站脚本攻击呢？

根据微软的建议，我们应该采取安全上称为“默认禁止，显式允许”的策略。

首先，我们将输入字符串用 HttpUtility.HtmlEncode()来编码，将其中的HTML标签彻底禁止。

然后，我们再对我们所感兴趣的、并且是安全标签，通过Replace()进行替换。比如，我们希望有"<b>"标签，那么我们就将"&lt;b&gt;"显式的替换回"<b>"。

示例代码如下：
  void submitBtn_Click(object sender, EventArgs e)
  {
    // 将输入字符串编码，这样所有的HTML标签都失效了。
    StringBuilder sb = new StringBuilder(
                            HttpUtility.HtmlEncode(htmlInputTxt.Text));
    // 然后我们选择性的允许<b> 和 <i>
    sb.Replace("&lt;b&gt;", "<b>");
    sb.Replace("&lt;/b&gt;", "");
    sb.Replace("&lt;i&gt;", "<i>");
    sb.Replace("&lt;/i&gt;", "");
    Response.Write(sb.ToString());
  }

这样我们即允许了部分HTML标签，又禁止了危险的标签。

根据微软提供的建议，我们要慎重允许下列HTML标签，因为这些HTML标签都是有可能导致跨站脚本攻击的。
  • <applet>
  • <body>
  • <embed>
  • <frame>
  • <script>
  • <frameset>
  • <html>
  • <iframe>
  • <img>
  • <style>
  • <layer>
  • <link>
  • <ilayer>
  • <meta>
  • <object>
可能这里最让人不能理解的是<img>。但是，看过下列代码后，就应该明白其危险性了。
<img src="javascript:alert('hello');">
<img src="java&#010;script:alert('hello');">
<img src="java&#X0A;script:alert('hello');">


通过<img>标签是有可能导致Javascript执行的，这样攻击者就可以做他想伪装的任何事情。

关于<style>也是一样：
<style TYPE="text/javascript">
  alert('hello');
</style>

posted on 2011-12-14 09:32  HackerVirus  阅读(1093)  评论(0)  编辑  收藏  举报
Powered by:
博客园
Copyright © 2024 HackerVirus
Powered by .NET 9.0 on Kubernetes