scrapy相关整理
- 创建项目
cd进入项目的文件夹 scrapy startproject Demo---deom是居然的项目名称
- 远程服务器后台定时执行
先进入目录
cd /data/scrapyPJ/Eggprice/Eggprice
nohup python3 main.py &import time import schedule import os ''' 定时执行爬虫任务 ''' def job(): # cmdline.execute('scrapy crawl Eggprice'.split()) os.system("scrapy crawl Eggprice") print('开始执行') schedule.every().day.at("11:21").do(job) # schedule.every(2).minutes.do(job) while True: print(time.ctime()) schedule.run_pending() time.sleep(2)