摘要: python实现前几天用php 实现的下载图片功能。python 版本 2.73部分代码来自 http://www.php10086.com/2013/01/1278.html遇到的问题 :1、采集执行到30页就出错,程序中断 (问题没解决) 我只好采30页;2、 open 函数打开文件时候 'w' 模式 保存到本地的图片无法打开, 后来 使用 'wb'模式 问题得到解决;3、 没有后缀的图片,默认加上 .jpg 后缀;4、获得 json 数据必须 带上 User_Agent Referer 否则无法获得。以下是代码 :# -*- coding: utf-8 - 阅读全文
posted @ 2013-03-08 22:49 keygle 阅读(1098) 评论(0) 推荐(0) 编辑
摘要: 闲来无事,刚好有这个需求。于是就练一下采集。。采集当当网的图书信息。。开始考虑 直接采集 当当网的电脑版(www.dangdang.com)但分析了下 估计正则有点难写。于是灵机一动,现在都是移动互联网时代了,肯定采当当网的 移动版网页 (m.dangdang.com) 简单 正则又好写 而且很有可能数据直接在返回的json上直接解析就行(淘宝网的移动版就是这样); 但打开当当网一分析 还是苦b的正则,而且 直到我写完了程序才知道 移动版当当网的人性化 只能翻6页 坑爹呀。。。搜索 某出版社 请求的链接:http://m.dangdang.com/gw_search.php?key=%E... 阅读全文
posted @ 2013-03-08 15:52 keygle 阅读(1920) 评论(0) 推荐(0) 编辑