python3定时爬虫

（1）使用制作python爬虫

这篇文章足够带你学会如何制作爬虫：https://www.jianshu.com/p/486869f23959

（2）在linux搭建python环境，可以查看我搭建环境的随笔

http://www.cnblogs.com/mituxiaogaoyang/p/8656414.html

（3）在独立的虚拟环境中使用pip安装对应的依赖包（例如：pip install pymysql）

（4）在对应的spider文件夹下创建cron.sh脚本，内容如下：

1 #! /bin/sh                                                                                                                                            
2 PATH=$PATH:$HOME/.local/bin:$HOME/bin
3 export PATH="/home/python/.pyenv/bin:$PATH"
4 eval "$(pyenv init -)"
5 eval "$(pyenv virtualenv-init -)"
6 echo 'this is a new shell'
7 cd /home/python/zgc/projects/bdSpider/
8 nohup scrapy crawl bd >> bd.log 2>&1 &

（5）设置定时启动，即加入执行以上shell脚本的定时任务

crontab -e

　在弹出来的文件中写入以下代码：

*/1 * * * * /home/python/zgc/projects/bdSpider/cron.sh

　保存并退出即可。

 

posted @ 2018-03-27 14:58  迷途_小羔羊  阅读(3168)  评论(0)  编辑  收藏  举报