摘要: scrapy是一个不错的开源爬虫,在windows上安装需要以下组件:1.setup-tools为了easy_install2.easy_installw3lib3. easy_installzope.interface4.下载scrapy的win32安装包,并安装5.下载twisted的win32安装包,并安装6.windows版lxml安装,去http://pypi.python.org/simple/lxml/下载一个egg文件,然后easy_install *.egg 阅读全文
posted @ 2012-05-26 23:07 sharpstill 阅读(241) 评论(0) 推荐(0) 编辑
摘要: 原创作者:博客园sharpstill,转载请注明Scrapy是一款非常成熟的爬虫框架,可以抓取网页数据并抽取结构化数据,目前已经有很多企业用于生产环境。对于它的更多介绍,可以查阅相关资料(官方网站:www.scrapy.org)。我们根据官网提供的安装指南,来一步步安装,主要参考了http://doc.scrapy.org/en/latest/intro/install.html页面的介绍:view plainRequirements?0?9Python2.5,2.6,2.7(3.xisnotyetsupported)Twisted2.5.0,8.0orabove(Windowsusers:y 阅读全文
posted @ 2012-05-26 23:06 sharpstill 阅读(3604) 评论(0) 推荐(0) 编辑