摘要: (1)Scrapy爬虫工作流程 ScrapyEngine:引擎 Scheduler:调度器(队列) Downloader:下载器 DownloaderMiddlewares:可选,主要有User_Agent, Proxy代理 Spiders:爬虫(提取数据、url) ItemPipeline:管道 阅读全文
posted @ 2021-04-14 17:40 Eliphaz 阅读(312) 评论(0) 推荐(0) 编辑