转自http://blog.csdn.net/lightlater/article/details/6326338

关于文本文件的文件头

第一 ANSI文件的文件头为空,不需要处理;

第二 UNICODE文件的文件头为0xFF,0xFE共计两个字节,读取时需要偏移两个字节再行读取;

第三 UTF-8文件的文件头为0xEF,0xBB,0xBF共计三个字节,读取时需要偏移三个字节后再行读取;

 

关于文本文件类型的判断

根据文本文件的文件头,就可以判断文本文件的类型了。

假设有如下文件类型定义:

typedef enum FileType

{

    ANSI = 0,

    UNICODE,

    UTF8,

}FILETYPE;

我们就可以根据上述特性,来判断文本文件的类型了,下面是一段示例代码:

FILETYPE GetTextFileType(const std::string & strFileName)

{

    FILETYPE fileType = ANSI;

    std::ifstream file;

    file.open(strFileName.c_str(), std::ios_base::in);

 

    bool bUnicodeFile = false;

    if (file.good())

    {

        char szFlag[3] = {0};

        file.read(szFlag, sizeof(char) * 3);

        if ((unsigned char)szFlag[0] == 0xFF 

        && (unsigned char)szFlag[1] == 0xFE)

        {

                fileType = UNICODE;

        }

        else if ((unsigned char)szFlag[0] == 0xEF 

        && (unsigned char)szFlag[1] == 0xBB 

        && (unsigned char)szFlag[2] == 0xBF)

        {

            fileType = UTF8;

        }

    }

    file.close();

    return fileType;

}

 

ANSI文本文件的读取

ANSI文本文件不需要进行文件头的处理,可以直接读取。

下面是简单示例:

char szBuf[FBLOCK_MAX_BYTES];

memset(szBuf, 0, sizeof(char) * FBLOCK_MAX_BYTES);

 

std::string strMessage;

 

FILE * fp = NULL;

fp = fopen(strFileName.c_str(), "rb");

if (fp != NULL)

{

    // common file do not offset.

    while(fread(szBuf, sizeof(char), FBLOCK_MAX_BYTES, fp) > 0)

    {

        strMessage += szBuf;

        memset(szBuf, 0, sizeof(char) * FBLOCK_MAX_BYTES);

    }

}

std::cout << strMessage << std::endl;

fclose(fp);

 

UNICODE文本文件读取

由于UNICODE普遍采用双字节来表示字符,因此读取时,当使用wchar_t类型来读取,使用fopen,fread来进行操作。

下面是简单示例:

wchar_t szBuf[FBLOCK_MAX_BYTES];

memset(szBuf, 0, sizeof(wchar_t) * FBLOCK_MAX_BYTES);

 

std::string strMessage;

 

FILE * fp = NULL;

fp = fopen(strFileName.c_str(), "rb");

if (fp != NULL)

{

    // Unicode file should offset wchar_t bits(2 byte) from start.

    fseek(fp, sizeof(wchar_t), 0);

    while(fread(szBuf, sizeof(wchar_t), FBLOCK_MAX_BYTES, fp) > 0)

    {

        char szTemp[FBLOCK_MAX_BYTES] = {0};

 

        UnicodeToANSI(szTemp, szBuf);

        strMessage += szTemp;

        memset(szBuf, 0, sizeof(wchar_t) * FBLOCK_MAX_BYTES);

    }

}

 

std::cout << strMessage << std::endl;

 

fclose(fp);

 

UTF8文本文件的读取

UTF8是可变字节,使用单一字节读取比较合理,所以读取时,使用char作为基本类型。

下面是简单示例代码:

char szBuf[FBLOCK_MAX_BYTES];

memset(szBuf, 0, sizeof(char) * FBLOCK_MAX_BYTES);

 

std::string strMessage;

 

FILE * fp = NULL;

fp = fopen(strFileName.c_str(), "rb");

if (fp != NULL)

{

    // UTF-8 file should offset 3 byte from start position.

    fseek(fp, sizeof(char) * 3, 0);

    while(fread(szBuf, sizeof(char), FBLOCK_MAX_BYTES, fp) > 0)

    {

        strMessage += szBuf;

        memset(szBuf, 0, sizeof(char) * FBLOCK_MAX_BYTES);

    }

}

std::cout << strMessage << std::endl;

fclose(fp);

 

  1 #include <assert.h>
  2 #include <windows.h>
  3 #include <iostream>
  4 #include <fstream>
  5 #include <string>
  6 
  7 const int FBLOCK_MAX_BYTES = 256;
  8 
  9 // File Type.
 10 typedef enum FileType
 11 {
 12     ANSI = 0,
 13     UNICODE,
 14     UTF8,
 15 }FILETYPE;
 16 
 17 FILETYPE GetTextFileType(const std::string & strFileName);
 18 
 19 int UnicodeToANSI(char * pDes, const wchar_t * pSrc);
 20 
 21 void main()
 22 {
 23     // file test.
 24     std::string strFileANSI = "C://Hello_ANSI.txt";
 25     std::string strFileUNICODE = "C://Hello_UNICODE.txt";
 26     std::string strFileUTF8 = "C://Hello_UTF8.txt";
 27 
 28     // please change the file name to test.
 29     std::string strFileName = strFileUTF8;
 30 
 31     FILETYPE fileType = GetTextFileType(strFileName);
 32 
 33     if (UNICODE == fileType)
 34     {
 35         wchar_t szBuf[FBLOCK_MAX_BYTES];
 36         memset(szBuf, 0, sizeof(wchar_t) * FBLOCK_MAX_BYTES);
 37 
 38         std::string strMessage;
 39 
 40         FILE * fp = NULL;
 41         fp = fopen(strFileName.c_str(), "rb");
 42         if (fp != NULL)
 43         {
 44             // Unicode file should offset wchar_t bits(2 byte) from start.
 45             fseek(fp, sizeof(wchar_t), 0);
 46             while(fread(szBuf, sizeof(wchar_t), FBLOCK_MAX_BYTES, fp) > 0)
 47             {
 48                 char szTemp[FBLOCK_MAX_BYTES] = {0};
 49 
 50                 UnicodeToANSI(szTemp, szBuf);
 51                 strMessage += szTemp;
 52                 memset(szBuf, 0, sizeof(wchar_t) * FBLOCK_MAX_BYTES);
 53             }
 54         }
 55 
 56         std::cout << strMessage << std::endl;
 57 
 58         fclose(fp);
 59     }
 60     else if (UTF8 == fileType)
 61     {
 62         char szBuf[FBLOCK_MAX_BYTES];
 63         memset(szBuf, 0, sizeof(char) * FBLOCK_MAX_BYTES);
 64         
 65         std::string strMessage;
 66         
 67         FILE * fp = NULL;
 68         fp = fopen(strFileName.c_str(), "rb");
 69         if (fp != NULL)
 70         {
 71             // UTF-8 file should offset 3 byte from start position.
 72             fseek(fp, sizeof(char) * 3, 0);
 73             while(fread(szBuf, sizeof(char), FBLOCK_MAX_BYTES, fp) > 0)
 74             {
 75                 strMessage += szBuf;
 76                 memset(szBuf, 0, sizeof(char) * FBLOCK_MAX_BYTES);
 77             }
 78         }
 79         
 80         std::cout << strMessage << std::endl;
 81         
 82         fclose(fp);
 83     }
 84     else
 85     {
 86         char szBuf[FBLOCK_MAX_BYTES];
 87         memset(szBuf, 0, sizeof(char) * FBLOCK_MAX_BYTES);
 88         
 89         std::string strMessage;
 90         
 91         FILE * fp = NULL;
 92         fp = fopen(strFileName.c_str(), "rb");
 93         if (fp != NULL)
 94         {
 95             // common file do not offset.
 96             while(fread(szBuf, sizeof(char), FBLOCK_MAX_BYTES, fp) > 0)
 97             {
 98                 strMessage += szBuf;
 99                 memset(szBuf, 0, sizeof(char) * FBLOCK_MAX_BYTES);
100             }
101         }
102 
103         std::cout << strMessage << std::endl;
104         
105         fclose(fp);
106     }
107 
108 #ifdef _DEBUG
109     getchar();
110 #endif
111 }
112 
113 FILETYPE GetTextFileType(const std::string & strFileName)
114 {
115     FILETYPE fileType = ANSI;
116     std::ifstream file;
117     file.open(strFileName.c_str(), std::ios_base::in);
118     
119     bool bUnicodeFile = false;
120     if (file.good())
121     {
122         char szFlag[3] = {0};
123         file.read(szFlag, sizeof(char) * 3);
124         if ((unsigned char)szFlag[0] == 0xFF 
125             && (unsigned char)szFlag[1] == 0xFE)
126         {
127             fileType = UNICODE;
128         }
129         else if ((unsigned char)szFlag[0] == 0xEF 
130             && (unsigned char)szFlag[1] == 0xBB 
131             && (unsigned char)szFlag[2] == 0xBF)
132         {
133             fileType = UTF8;
134         }
135     }
136 
137     file.close();
138 
139     return fileType;
140 }
141 
142 int UnicodeToANSI(char * pDes, const wchar_t * pSrc)
143 {
144     assert(pDes != NULL);
145     assert(pSrc != NULL);
146 
147     int nLen = ::WideCharToMultiByte(CP_ACP, 0, pSrc, -1, NULL, 0, NULL, NULL);
148     if (nLen == 0) 
149     {
150         return -1;
151     }
152 
153     return ::WideCharToMultiByte(CP_ACP, 0, pSrc, -1, pDes, nLen, NULL, NULL);
154 }