网络通讯中的字节序

      程序间的通信，说到底便是发送和接收数据流。我们一般把字节（byte）看作是数据的最小单位。当然，其实一个字节中还包含8位（即bit位）。32位的处理器中“字长”为32个bit，也就是4个byte。在这样的CPU中，总是以4字节对齐的方式来读取或写入内存，那么同样这4个字节的数据是以什么顺序保存在内存中的呢？ 这就是字节序的问题。

 

    一、字节序

    顾名思义字节的顺序，再多说两句就是大于一个字节类型的数据在内存中的存放顺序(一个字节的数据当然就无需谈顺序的问题了)。

    下面罗列常见的数据类型及其长度对照表：

            Wtypes.h 中的非托管类型  非托管C 语言类型     .net托管类名           长度
            HANDLE                        void*                   System.IntPtr        32 bit位
            BYTE                            unsigned char       System.Byte          8   bit位(每个字节Byte=2的4次方 * 2的4次方, 即0x6a 表示。)
            SHORT                         short                    System.Int16        16 bit位(也就是4Byte，即平常说的4字节。)
            WORD                          unsigned short      System.UInt16       16 位
            INT                               int                       System.Int32        32 位
            UINT                             unsigned int         System.UInt32       32 位
            LONG                            long                    System.Int32          32 位
            BOOL                            long                    System.Int32          32 位
            DWORD                        unsigned long       System.UInt32        32 位
            ULONG                          unsigned long      System.UInt32        32 位
            CHAR                            char                    System.Byte           8 位。 
            FLOAT                           Float                   System.Single         32 位
            DOUBLE                        Double                 System.Double        64 bit位(也就是8Byte，即平常说的8字节)

 

注意：

    是基于linux的程序的话，c/c++数据类型为long、long double和pointer时，其在32位和64位长度是不同的。如：long 在 x64和amd64下分别对应的4Byte和8Byte。
       如果是windows的程序的话，c++数据类型只有pointer在32位和64位长度是不同的。

 

    二、字节序分类

    有三种:Big-Endian、Little-Endian以及Middle-Endian。常见的主要是Big-Endian和Little-Endian，中文叫高字节序和低字节序（或者是大字节序和小字节序）。引用标准的Big-Endian和Little-Endian的定义如下：
    a) Little-Endian就是低位字节排放在内存的低地址端，高位字节排放在内存的高地址端。
    b) Big-Endian就是高位字节排放在内存的低地址端，低位字节排放在内存的高地址端。

    同时引进主机字节序和网络字节序概念。网络字节序肯定是Big-Endian高字节序，而主机字节序基本上是Little-Endian低字节序，但是主机字节序跟处理器即CPU类型有关，CISC架构的CPU如：X86(包括大部分的intel、AMD等PC处理器)是低字节序，而在嵌入式广泛应用的RISC架构的CPU如：ARM, PowerPC, Alpha, SPARC V9, MIPS等是高字节序的。

 

    三、字节序说明

    以c中定义一个16进制的变量为例：unsigned int value = 0x6a7b8c9d，根据上述类型对照表得知，c的unsigned int的value变量为32bit即4个byte。这里的value也等价于：

        unsigned char buf[4]= { 0x6a，0x7b，0x8c，0x9d}：//语法有问题，就是相当于这么个初始化

    现在分别按转高字节序和低字节序解释下，加入这个buf变量的内存初始地址是a：
   a) Little-Endian: 低地址存放低位 ：
 （高地址）--------------------------
   a+3-----  buf[3] (0x6a) -- 高位（相当于10进制的千位）
   a+2-----  buf[2] (0x7b)
   a+1-----  buf[1] (0x8c)
   a--------  buf[0] (0x9d) -- 低位（相当于10进制的个位）
（低地址）--------------------------

 

    b) Big-Endian: 低地址存放高位：
 （高地址）--------------------------
   a+3-----  buf[3] (0x9d) -- 高位（相当于10进制的千位）
   a+2-----  buf[2] (0x8c)
   a+1-----  buf[1] (0x7b)
   a--------  buf[0] (0x6a) -- 低位（相当于10进制的个位）
（低地址）--------------------------   

     一般的处理器高地址对应的是栈底，低地址对应的是栈顶。

 

    四、高/低字节序转换

     如果需要在不同的操作系统，或者是基于不同的语言，如c/c++和c#之间不同主机字节序之的网络通信，就需要考虑如何转换字节序。
     如果不转换可能遇到问题，这里举个C的客户端和服务器端通信的例子

     客户端（低字节序的主机，如intel 奔腾系列处理器）定义：  short x=1   为2个byte，在内存中为[1][0](低地址在前面)，发送给服务器端。这服务器端（高字节序的主机，如嵌入式的ARM处理器）接收到的为：[1][0](低地址在前面)，此时按照高字节序的"低地址存放高位"原则解析的x=256。于实际情况不符。

     所以针对这样的情况，编写跨平台或者是跨语言的程序是需要考虑字节序的转换。一般数据发送出去之前需要将主机字节序Little-Endian转换为网络字节序Big-Endian，接收之前需要将Big-Endian转为Little-Endian，下面介绍小.net和C/C++常见方法。

    4.1、 .net中：

主机字节序到网络字节序：short/int/long IPAddress.HostToNetworkOrder(short/int/long)

网络字节序到主机字节序：short/int/long IPAddress.NetworkToHostOrder(short/int/long)

    4.2 、C/C++根据类型的不同有如下方法：

        ntohs =net to host short int 16位
        htons=host to net short int 16位
        ntohl =net to host long int 32位
        htonl=host to net long int 32位

       简单的说明其中一个方法吧。

   将一个无符号短整形数从网络字节顺序转换为主机字节顺序。
   #include <winsock.h>
   u_short PASCAL FAR ntohs( u_short netshort);
      netshort：一个以网络字节顺序表达的16位数。
　   注释：
       本函数将一个16位数由网络字节顺序转换为主机字节顺序。
　   返回值：
       ntohs()返回一个以主机字节顺序表达的数。

 

   

    五、实际转换过程需要注意点及问题集。

    5.1：C++中的unsigned char类型等同于C#的什么类型？
    答：C#中的char是16bits的Unicode字符，而一般C++中的字符则是8位的，所以C++中的“unsigned   char”在C#中要么转换成char,要么使用Byte类型来代替，前者适用于存放字符型的unsigned   char，后者适用于整数型的unsigned   char。具体的程序，具体的方法。  比如：c++中申明变量，unsigned  char  para=0x4a（表示十六进制=2的4次方 ×2的4次方，即8位。 uchar的的范围为0-0xff，即0-255）；unsigned  char  para[4] = 0x6789abcd,表示32位。

   5.2：为什么在网络编程中，即需要考虑字节序的问题时。对于double、float以及字符串等数据类型不需要考虑主机序列和网络序列之间的转换？
   答：至于float和double，与CPU无关。一般编译器是按照IEEE标准解释的，即把float/double看作4/8个字符的数组进行解释。因此，只要编译器是支持IEEE浮点标准的，就不需要考虑字节顺序。

   5.3: BinaryWriter和BinaryReader
    BinaryReader和BinaryWriter使用小字节序（即低字节序）读写数据。
    如例子：
    var stream = new MemoryStream(new byte[] { 4, 1, 0, 0 }); //相当于申请了byte[4]，而每个byte相当于256进制
    var reader = new BinaryReader(stream);
    int i = reader.ReadInt32(); // i == 260
    //因为BinaryReader是按照低字节序读取的，所有i=4+256×1=260；

   5.4、BitConverter和ASCIIEncoding.ASCII.GetBytes
   BitConverter主要是用于.net中byte[]和其他类型的转换，不涉及字符串数据类型。网络通信会经常用到。
   ASCIIEncoding.ASCII通常用于字符串和byte[]之间的转换。

 

   5.x: 关于“同样4个字节的数据，我们可以把它看作是1个32位整数、2个Unicode、或者字符4个ASCII字符。”引申：
   unicode和utf-8之间最大的区别就是在存储上。unicode是宽字符存储（字符都是2个字节或4个字节来存储），而utf-8是多字节存

储，字符的个数是不确定的（比如英文字符是1个字节表示，汉字可以是2个到6个来表示），其字符的首字节的前几位表明了它的字节

个数。比如某个3字节汉字的uft－8编码（二进制）如下：  
  1110xxxx   10xxxxxx   10xxxxxx  
  首字节中1的个数为3表明该汉字用3个字节来表示。
 
  utf-16固定使用两个字节表示一个字符，平常所说的unicode编码就是utf-16的。

  ascii字符在utf-8里面还是一样的，一个字节表示，超出ascii字符范围的，就用多字节表示，字节的数目由第一字节确定，最多6

字节。如下：  
  utf-8：  
  1字节：0XXXXXXX（ascii）  
  2字节：110XXXXX   10XXXXXX  
  3字节：1110XXXX   10XXXXXX   10XXXXXX  
  4字节：11110XXX   10XXXXXX   10XXXXXX   10XXXXXX  
  5字节：。。。  
  utf-16：所有：XXXXXXXX   XXXXXXXX  
  ascii：XXXXXXXX   00000000

 

   ASCII码是用十六进制表示，也就是说它是两个字节byte。如：ASCII码为31（即0x31）对应的字符"1"；ASCII码为32（即0x31）对

应的字符"2".