scrapy基本配置

scrapy工作流程

cmdline启动爬虫程序

from scrapy.cmdline import execute
execute('scrapy crawl example'.split(' '))

settings.py文件 常用选项

ROBOTSTXT_OBEY = False # 禁用君子协议
DOWNLOAD_DELAY = 3 # 请求的延迟

日志文件配置

在settings.py中设置日志的输出标准并且设置日志输出位置
LOG_LEVEL="WARNING" 表明日志输出等级为错误
LOG_FILE="./a.log"

posted @   xsir161  阅读(22)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 使用C#创建一个MCP客户端
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 按钮权限的设计及实现
点击右上角即可分享
微信分享提示