C++ 提取网页内容系列之二

标 题: C++ 提取网页内容系列
作 者: itdef
链 接: http://www.cnblogs.com/itdef/p/4171203.html 

欢迎转帖 请保持文本完整并注明出处

另外一种下载网页的内容就是使用windows sdk中的有关HTTP通讯的函数

这里使用了 www.codeproject.com 网站一位中国人封装的C++类

下载地址为http://www.codeproject.com/Articles/66625/A-Fully-Featured-Windows-HTTP-Wrapper-in-C

加入其中几个头文件

就可以在工程中简单的几行代码下载网页内容

WinHttpClient client(L"http://www.verycd.com");
client.SendHttpRequest();
wstring httpResponseHeader = client.GetResponseHeader();
wstring httpResponseContent = client.GetResponseContent();

但是这个类返回的是宽字符串,在中文显示上有点问题。

使用时要根据自己的需求决定是否转换成多字节字符串.

1
2
3
4
5
6
7
8
9
10
11
12
string ws2s(const wstring &ws)
{
    const wchar_t* wpchar = ws.c_str();
    size_t returnVal = 0;
    size_t wSize = 2*ws.size() + 1;
    char* pchar = new char[wSize];
    memset(pchar,0,wSize);
    wcstombs(pchar, wpchar, wSize);
    string result = pchar;
    delete[] pchar;
    return result;
}

 

 整个代码如下:
WinHttpClient.h是codeproject网站下载的类的头文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
#include "WinHttpClient.h"
 
#include <fstream>
#include <string>
#include <Windows.h>
 
using namespace std;
 
string ws2s(const wstring &ws)
{
    const wchar_t* wpchar = ws.c_str();
    size_t returnVal = 0;
    size_t wSize = 2*ws.size() + 1;
    char* pchar = new char[wSize];
    memset(pchar,0,wSize);
    wcstombs(pchar, wpchar, wSize);
    string result = pchar;
    delete[] pchar;
    return result;
}
 
 
 
int _tmain(int argc, _TCHAR* argv[])
{
    setlocale(LC_ALL,"");
    WinHttpClient client(L"http://www.verycd.com");
    bool b = client.SendHttpRequest();
    if(!b)
    {
        cout << "error" << endl;
        exit(1);
    }
    wstring httpResponseHeader = client.GetResponseHeader();
    wstring httpResponseContent = client.GetResponseContent();
    wcout <<  httpResponseHeader  << endl;
 
    if(httpResponseContent.empty() == false )
    {
        string strTmp = ws2s(httpResponseContent);
 
 
        std::ofstream  ofsLogFile("test.dat", std::ios_base::trunc);
        ofsLogFile << strTmp << endl;
    }
 
    return 0;
}

  

posted on   itdef  阅读(1598)  评论(0编辑  收藏  举报

编辑推荐:
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
阅读排行:
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现
· 25岁的心里话

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

点击右上角即可分享
微信分享提示