scrapy setting 备注
摘要：scrapy 脚本里面设置输出文件： process = CrawlerProcess(settings) process.settings.set('FEED_URI', 'wangyi.csv', priority='cmdline') process.settings.set('FEED_FO
阅读全文
posted @ 2016-10-21 16:55
随笔分类 - scrapy
crawl
理解Twisted与非阻塞编程
摘要：先来看一段代码： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 运行一下，结果如下所示： 1 2 3 4 5 6 7 这是一段顺序执行的代码。四个消费者，为一个人安装需要3秒的时间，那么四个人就是12秒。这样处理不是很令人满意，所以看一下
阅读全文
posted @ 2016-10-20 21:31
Beautiful Soup 定位指南
摘要：Reference: http://blog.csdn.net/abclixu123/article/details/38502993 网页中有用的信息通常存在于网页中的文本或各种不同标签的属性值，为了获得这些网页信息，有必要有一些查找方法可以获取这些文本值或标签属性。而Beautiful Soup
阅读全文
posted @ 2016-04-21 14:40
新浪微博登录
摘要：Reference: http://lovenight.github.io/2015/11/23/Python-%E6%A8%A1%E6%8B%9F%E7%99%BB%E5%BD%95%E6%96%B0%E6%B5%AA%E5%BE%AE%E5%8D%9A/ 登录页：http://login.sin
阅读全文
posted @ 2016-04-16 11:35
python获取绑定的IP，并动态指定出口IP
摘要：在做采集器的过程中，经常会遇到IP限制的情况，这时候可以通过切换IP能继续访问。如果是多IP的服务器，那么可以通过切换出口Ip来实现。1.首先是如何获取服务器绑定的IP 需要引入netifaces模块，安装方法easy_install netifaces2.为socket绑定出口IP 后面这个是通过
阅读全文
posted @ 2016-04-07 23:54
安装pybloomfiltermmap 遇到bug
摘要：pybloomfiltermmap pip 安装 : sudo pip install pybloomfiltermmap I want to try one program which have makefile on it but when I put make in the shell the
阅读全文
posted @ 2016-03-20 12:26
同时运行多个scrapy爬虫的几种方法（自定义scrapy项目命令）
摘要：Reference: http://www.cnblogs.com/rwxwsblog/p/4578764.html 试想一下，前面做的实验和例子都只有一个spider。然而，现实的开发的爬虫肯定不止一个。既然这样，那么就会有如下几个问题：1、在同一个项目中怎么创建多个爬虫的呢？2、多个爬虫的时候是
阅读全文
posted @ 2016-03-19 21:02
Python爬虫框架Scrapy安装使用步骤
摘要：一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架，爬取网站，从网站页面得到结构化的数据，它有着广泛的用途，从数据挖掘到监测和自动测试，Scrapy完全用Python实现，完全开源，代码托管在Github上，可运行在Linux，Windows，Mac和BSD平台上，
阅读全文
posted @ 2016-03-19 01:43
scrapy bug
摘要：Issue onedescrible: scrapy No module named mail.smtpsolution:sudo apt-get install python-twisted
阅读全文
posted @ 2015-12-05 21:42
