scrapy爬虫部署

在开始之前先要吐槽一下CSDN，昨晚怀着激动得心情写下了我人生中的第一篇博文，今天审核通过后发现所有的图片都不见了，瞬间就不开心了。所以不得不又申请了博客园的账号，重新开始。

前段时间一直研究通用爬虫，做的过程中也是各种问题，不过好在磕磕绊绊搞出点眉目，中间学到了不少东西，感觉互联网真的好神奇。

但是接下来问题来了，写的爬虫不能老在自己机器上跑吧，如何部署到服务器上呢，然后就开始研究scrapyd。网上搜了很多资料，都在介绍scrapy deploy命令，但是我在机器上安装上scrapyd之后，怎么运行都是提示没有deploy这个命令，真是奇怪，为什么别人都可以呢。经过几番波折，终于在最新的官方文档里面找到了答案。附上地址和截图：http://doc.scrapy.org/en/latest/topics/commands.html

 

原来1.0版本以后这个命令已经废弃了，再一查我安装的版本是1.0.3。然后就根据提示去下载scrapyd-client。

 

本以为往后就会顺利一点，但是安装了scrapyd-client以后运行，还是一直提示没有scrapy-client命令。群里请教，网上查资料都没有解决，在我快绝望的时候终于在stack overflow上找到了答案。附上地址和截图：http://stackoverflow.com/questions/22646323/windows-scrapyd-deploy-is-not-recognized

根据人家提供的方法一试，果然OK，感觉SO真的好强大。

　　

解决了以上问题，下面的部署就顺利的多了。记一下以方便以后查阅，也给像我一样的菜鸟一点参考。

我的scrapy.cfg设置如下：

[deploy:scrapyd1]

url = http://192.168.2.239:6800/

project = Crawler

 

1. 启动scrapyd

在要部署的服务器上启动scrapyd。显示以下内容表示启动成功。

 

默认的端口是6800。可以在浏览器中查看结果，比如：http://192.168.2.239:6800/。显示效果如下：

 

可以点击jobs查看爬虫运行情况：

 

2. 发布工程到scrapyd

scrapyd-deploy <target> -p <project>

首先要切换目录到项目所在路径，然后执行下列指令：

scrapyd-deploy scrapyd1 -p Crawler

 

3. 验证是否发布成功

scrapyd-deploy -L <target>

如果现实项目名称，表示发布成功。

scrapyd-deploy -L scrapyd1

也可以用scrapyd-deploy -l

 

4. 启动爬虫

curl http://192.168.2.239:6800/schedule.json -d project=Crawler -d spider=CommonSpider

 

通过页面可以实时监控爬虫运行效果：

 

5. 终止爬虫

curl http://192.168.2.239:6800/cancel.json -d project=Crawler -d job= 8270364f9d9811e5adbf000c29a5d5be

 

 

部署过程中可能会有很多错误，包括缺少第三方库啥的，自己根据提示即可解决。

以上只是对scrapyd的初步了解，很多深层的内容等慢慢研究以后会持续更新总结。如果以上内容哪里有不对的地方，请各位朋友及时回复交流，小弟在此谢过。