2015年12月5日

scrapy bug

摘要: Issue onedescrible: scrapy No module named mail.smtpsolution:sudo apt-get install python-twisted 阅读全文

posted @ 2015-12-05 21:42 alex.shu 阅读(243) 评论(0) 推荐(0) 编辑

基于Python,scrapy,redis的分布式爬虫实现框架

摘要: 原文http://www.xgezhang.com/python_scrapy_redis_crawler.html爬虫技术,无论是在学术领域,还是在工程领域,都扮演者非常重要的角色。相比于其他技术,爬虫技术虽然在实现上比较简单,没有那么多深奥的技术难点,但想要构建一套稳定、高效、自动化的爬虫框架,... 阅读全文

posted @ 2015-12-05 11:30 alex.shu 阅读(10396) 评论(2) 推荐(1) 编辑

导航