使用 Scrapyd 管理部署 Scrapy 的一些问题
环境：Ubuntu Xenial (16.04)
Scrapy 是一个不错的爬虫框架，但是不支持定时执行，常规的做法是使用 crontab 的方式进行定时执行 shell ，当爬虫数量多的时候，管理起来就非常麻烦，总是一个scrapy project 做一个deploy，很不方便 ，Google 了一番，发现 Scrapyd 比较符合我的需要。
#安装 scrapyd
apt-get 了一番貌似不支持 ubuntu 16.04，后面使用 pip3 install scrapyd
pip3 install scrapyd
pip3 uninstall scrapyd
#修改配置文件
scrapyd默认运行在6800端口 ，bind_address 127.0.0.1 ，只能本地访问
sudo vi /etc/scrapyd/scrapyd.conf
[scrapyd]
bind_address = 127.0.0.1
#bind_address = 0.0.0.0
scrapyd启动的时候会自动搜索配置文件，配置文件的加载顺序为
/etc/scrapyd/scrapyd.conf /etc/scrapyd/conf.d/* scrapyd.conf ~/.scrapyd.conf
注：不建议修改 bind_address = 0.0.0.0 ，这样有安全问题，可以通过 nginx 反向代理配置验证用户名密码
#使用 supervisor 守护 scrapyd 进程
sudo apt-get install supervisor
sudo apt-get remove supervisor
开启http的ui控制台
vi /etc/supervisor/supervisord.conf
[inet_http_server]
port = 0.0.0.0:8080
username = name
password = xxxxx
启动supervisor程序
sudo service supervisor start
sudo service supervisor stop
service supervisor status
sudo supervisorctl reload
supervisorctl status
pgrep -fl supervisord
sudo ps -ef | grep supervisor
配置scrapyd
cd /etc/supervisor/conf.d
touch scrapyd.conf
[program:scrapyd]
command=scrapyd
autorestart=true
sudo supervisorctl reload
#使用 nginx 代理 scrapyd
sudo apt-get install libpcre3 libpcre3-dev openssl libssl-dev
wget http://nginx.org/download/nginx-1.12.0.tar.gz
tar zxvf nginx-1.10.2.tar.gz
cd nginx-1.10.2
./configure --prefix=/opt/nginx --with-http_stub_status_module --with-http_gzip_static_module
make && make install
测试配置文件是否有错误
/opt/nginx/sbin/nginx -t
启动nginx
/opt/nginx/sbin/nginx
停止nginx
/opt/nginx/sbin/nginx -s stop
生成用户名为name 密码 xxx 的配置文件
apt install apache2-utils
htpasswd -bc .htpasswd name xxx
修改配置文件(增加了一个 server)
server {
listen 81;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
proxy_pass http://127.0.0.1:6800/;
auth_basic "Restricted";
auth_basic_user_file /opt/.htpasswd;
}
}
从新加载配置
/opt/nginx/sbin/nginx -s reload
#修改 scrapy.cfg 配置
[deploy:stockhq-server]
url = http://xxx.xxx.xxx.xxx:81/
project = stockhq
username = xxx
password = xxx
安装客户端
pip3 intall scrapyd-client
部署
➜ stockhq git:(master) ✗ scrapyd-deploy stockhq-server -p stockhq
Packing version 1492929824
Deploying to project "stockhq" in http://xxx.xxx.xxx.xxx:81/addversion.json
Server response (200):
{"status": "ok", "node_name": "iZbp1gf15gbzzqwvxbj18jZ", "version": "1492929824", "spiders": 1, "project": "stockhq"}
执行爬虫
curl 的 Basic Auth 参数：
-u, --user USER[:PASSWORD] Server user and password
➜ stockhq git:(master) ✗ curl http://120.26.40.126:81/schedule.json -d project=stockhq -d spider=stock_hq_jrj_spider -u username:password
{"status": "ok", "node_name": "iZbp1gf15gbzzqwvxbj18jZ", "jobid": "a69558b027f011e7857c00163e1354dc"}
注意点：
1.修改代码部署没有生效，请注意是否删除了项目根目录的 build 文件夹
2.定期清理爬虫的日志文件 /logs/projectname 目录下
REFER:
http://scrapyd.readthedocs.io/en/stable/overview.html
https://piaosanlang.gitbooks.io/spiders/05day/section5.3.htmlhttps://www.jianshu.com/p/c0de29466732
