利用爬虫解决公众号阅读的一个小障碍

在这个各种短视频爆红的时代，很多人已经把微信公众号丢弃了，不过我还是比较喜欢看公众号的，有时遇到一个感兴趣的公众号时，都会感觉相逢恨晚，想一口气看完所有历史文章。但是微信的阅读体验挺不好的，看历史文章得一页页的往后翻，下一次再看时还得重复操作，很是麻烦。

于是便想着能不能把某个公众号所有的文章都保存下来，这样就很方便自己阅读历史文章了。刚好自己又是做数据采集工作的，那这件事还不简单吗？

今天就跟大家分享下通过使用 Python 脚本获取公众号所有历史文章数据，获取公众号号数据是有以下3个步骤：

1 使用 Fiddler 抓取公众号接口数据

2 使用 Python 脚本获取公众号所有历史文章数据

3 保存历史文章

今天就重点分享下使用 Python 脚本获取公众号所有历史文章数据，这里重点提一下，网站封ip比较严重，所以需要提前准备好高质量代理，不然就采集不到数据啦。

今天的代码示例如下：

 #! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "https://mp.weixin.qq.com/"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://mp.weixin.qq.com/"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

采集到的数据我们保存下来经过处理就可以啦，那么关于用python爬取公众号的方法就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。