摘要:
python网页抓取功能非常强大,使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意,可能很多网站都设置了防采集功能,不是那么轻松就能抓取到想要的内容。今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。最基础的抓取:1 #! /usr/bin/env python2 # -*- coding=utf-8 -*-3 # @Author pythontab4 import urllib.request5 url = "http://www.***.com"6 html = urllib.request.ur 阅读全文