我的第一篇博文,Python+scrapy框架安装。

   自己用Python脚本写爬虫有一段时日了,也抓了不少网页,有的网页信息两多,一个脚本用exe跑了两个多月,数据还在进行中。但是总觉得这样抓效率有点低,问题也是多多的,很早就知道了这个框架好用,今天终于鼓起勇气安装这个了。

  在网上找了些文档,按绝安装方法大同小异,就开始安装了。现在将这些比较好的网站给贴出来,可以供大家看看http://my.oschina.net/xtfjt1988/blog/364577, http://blog.fishc.com/4008.html  按照这个步骤基本可以安好    就是上面提到的lxml 、pywin32 必须在网上面下载,还有就是Twisted 这个与网络连接的也必须下载。其他的可以用pip安装。我建议该下载的还是要下载的为好,但是最后一步安装scrapy的时候我用pip 的时候就不管用了,试了好多办法,各种各样的错误,我建议还是用easy_install scrapy 安装scrapy,每一步都可以用法import 导入模块验证一下有没有安装成功。

  鉴于写了那么多爬虫,也不能说经验有多么的深,但是从中也学到了不少的东西,以后还要坚持写博文的。很期待我的第一个框架小爬爬的成功。

posted @ 2016-04-18 18:08  做一个勤劳的孩子  阅读(262)  评论(0编辑  收藏  举报