用脚本来运行scrapy crawl ...

启动爬虫的命令为: scrapy crawl spidername(爬虫名)

方案(一)name.py

#!/usr/bin/env python

# -*- coding:utf-8 -*-

from scrapy import cmdline

# 方式一:注意execute的参数类型为一个列表

cmdline.execute(‘scrapy crawl spidername‘.split())

# 方式二:注意execute的参数类型为一个列表

cmdline.execute([‘scrapy‘, ‘crawl‘, ‘spidername‘])

方案(二)name.py

import time
import os
while True:
  os.system("scrapy crawl sougou --nolog")
  time.sleep(30)# 30s设置定时的时间来执行

_________________________________________

通过python name.py来运行此文件即可

posted @   乔小生1221  阅读(949)  评论(0编辑  收藏  举报
编辑推荐:
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· DeepSeek 开源周回顾「GitHub 热点速览」
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
点击右上角即可分享
微信分享提示