scrapy基本配置
scrapy工作流程
cmdline启动爬虫程序
from scrapy.cmdline import execute
execute('scrapy crawl example'.split(' '))
settings.py文件 常用选项
ROBOTSTXT_OBEY = False # 禁用君子协议
DOWNLOAD_DELAY = 3 # 请求的延迟
日志文件配置
在settings.py中设置日志的输出标准并且设置日志输出位置
LOG_LEVEL="WARNING" 表明日志输出等级为错误
LOG_FILE="./a.log"
