笑面浮屠

2017年8月28日

输入一个图片URL显示 {"error":"imagemogr2:File too large,please use pfop service"}

摘要： {"error":"imagemogr2:File too large,please use pfop service"} ex: http://img5.mtime.cn/pi/u/2017/05/04/201118.78502982_1000X1000.jpg 待解。。。阅读全文

posted @ 2017-08-28 01:32 笑面浮屠阅读(1347) 评论(0) 推荐(0) 编辑

为何大量网站不能抓取?爬虫突破封禁的6种常见方法 - 转载

摘要：传送门：http://www.cnblogs.com/junrong624/p/5533655.html 在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序阅读全文

posted @ 2017-08-28 01:14 笑面浮屠阅读(1492) 评论(0) 推荐(0) 编辑

Scrapy在 setting.py 文件中设置日志记录等级

摘要：在 setting.py 文件中设置日志记录等级 LOG_LEVEL= 'DEBUG' LOG_FILE ='log.txt' 阅读全文

posted @ 2017-08-28 01:07 笑面浮屠阅读(3597) 评论(0) 推荐(0) 编辑

2017年8月26日

urllib2.HTTPError: HTTP Error 400: Bad Request

摘要：用urllib2抓取图片的时候，部分request报HTTP Error 400: Bad Request 参照：https://stackoverflow.com/questions/8840303/urllib2-http-error-400-bad-request?answertab=acti 阅读全文

posted @ 2017-08-26 21:18 笑面浮屠阅读(9829) 评论(0) 推荐(0) 编辑

python中os路径相关的函数 os.mkdir和os.makedirs

摘要：传送门：http://blog.csdn.net/shennongzhaizhu/article/details/51455063 在Python中可以使用os.mkdir()函数创建目录（创建一级目录）。 os.mkdir(path) 例如要在D盘下创建hello的目录 >>> import os 阅读全文

posted @ 2017-08-26 18:06 笑面浮屠阅读(917) 评论(0) 推荐(0) 编辑

scrapy 爬网站显示 Filtered offsite request to 错误 - allow_domains设置

摘要：传送门：http://blog.csdn.net/feifly329/article/details/49702063 爬取网站图片时,无法抓取. 在 setting.py 文件中设置日志记录等级 LOG_LEVEL= 'DEBUG' LOG_FILE ='log.txt' 查看日志发现报阅读全文

posted @ 2017-08-26 15:25 笑面浮屠阅读(819) 评论(1) 推荐(0) 编辑

Eclipse+Pydev创建Django工程-没有manage.py文件

摘要：创建Django项目的时候项目名第一位不能是数字，否则创建的项目文件不全。阅读全文

posted @ 2017-08-26 00:40 笑面浮屠阅读(846) 评论(0) 推荐(0) 编辑

2017年8月20日

Scrapy中对xpath使用re

摘要： Scrapy中使用xpath时，根据xpath的语法不一定能得到想要的。如下面的html源码：要得到img_1000后面picture的source路径，通过xpath的语法我没有得到直接取到的方法，折中办法参考：http://www.cnblogs.com/Garvey/p/6697162.h 阅读全文

posted @ 2017-08-20 08:43 笑面浮屠阅读(2164) 评论(0) 推荐(0) 编辑

urllib2.HTTPError: HTTP Error 403: Forbidden 解决方法 & requests get 403 error

摘要：参考： https://stackoverflow.com/questions/13303449/urllib2-httperror-http-error-403-forbidden https://segmentfault.com/q/1010000000470724 通过测试应该是request 阅读全文

posted @ 2017-08-20 08:27 笑面浮屠阅读(1192) 评论(0) 推荐(0) 编辑

xpath笔记-转

摘要：来自Xavier的笔记：https://segmentfault.com/u/lihanx and https://segmentfault.com/q/1010000008883941 菜鸟Xpath教程：http://www.runoob.com/xpath/xpath-tutorial.htm 阅读全文

posted @ 2017-08-20 04:06 笑面浮屠阅读(149) 评论(0) 推荐(0) 编辑

公告