摘要: 需求:抓取某个网站下图片可定义 图片保存路径,最小图片大小域值,遍历深度,是否遍历到外站,抓取并下载图片使用库:urllib http://docs.python.org/library/urllib.html【下载】urllib2 http://docs.python.org/library/u... 阅读全文
posted @ 2012-03-17 19:51 夏至冬末 阅读(310) 评论(0) 推荐(0) 编辑
摘要: 使用urllib2,太强大了试了下用代理登陆拉取cookie,跳转抓图片......文档:http://docs.python.org/library/urllib2.html直接上demo代码了包括:直接拉取,使用Reuqest(post/get),使用代理,cookie,跳转处理#!/usr/b... 阅读全文
posted @ 2012-03-17 16:21 夏至冬末 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 上一篇使用urllib抓取Python网页抓取urllib,urllib2,httplib[1]使用httplib抓取:表示一次与服务器之间的交互,即请求/响应httplib.HTTPConnection ( host [ , port [ ,strict [ , timeout ]]] )host... 阅读全文
posted @ 2012-03-17 16:09 夏至冬末 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 前阶段使用到ftp,写了个工具脚本http://blog.csdn.net/wklken/article/details/7059423最近需要抓网页,看了下python抓取方式需求:抓取网页,解析获取内容涉及库:【重点urllib2】urllibhttp://docs.python.org/lib... 阅读全文
posted @ 2012-03-17 16:02 夏至冬末 阅读(201) 评论(0) 推荐(0) 编辑