blueel的技术博客

我们无法拒绝失败,但我们可以拒绝放弃努力。

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

2013年1月31日

摘要: python网页抓取功能非常强大,使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意,可能很多网站都设置了防采集功能,不是那么轻松就能抓取到想要的内容。今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。最基础的抓取:1 #! /usr/bin/env python2 # -*- coding=utf-8 -*-3 # @Author pythontab4 import urllib.request5 url = "http://www.***.com"6 html = urllib.request.ur 阅读全文
posted @ 2013-01-31 10:54 blueel 阅读(38223) 评论(4) 推荐(5) 编辑