blueel的技术博客

摘要： python网页抓取功能非常强大，使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意，可能很多网站都设置了防采集功能，不是那么轻松就能抓取到想要的内容。今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。最基础的抓取：1 #! /usr/bin/env python2 # -*- coding=utf-8 -*-3 # @Author pythontab4 import urllib.request5 url = "http://www.***.com"6 html = urllib.request.ur 阅读全文