随笔 - 31  文章 - 0  评论 - 0  阅读 - 2444

<4> scrapy

 1 """1.快捷保存CSV文件"""
 2 
 3 # 例:scrapy crawl quotes -o quotes.csv
 4 scrapy crawl 爬虫名 -o 保存的csv文件名
复制代码
 6 """2.运行方式"""
 7 
 8 """方式一"""
 9 from scrapy import cmdline
10 
11 cmdline.execute('scrapy crawl 爬虫名 -s LOG_ENABLED=False'.split())
12 #
13 cmdline.execute('scrapy crawl 爬虫名 -s --nolog'.split())
14 
15 """方式二"""
16 from scrapy.crawler import CrawlerProcess
17 # 导入爬虫名
18 from QuotesSpider.spiders.quotes import QuotesSpider
19 
20 process = CrawlerProcessol
21 # process.crawl(爬虫名)
22 process.crawl(QuotesSpider)
23 process.start()
复制代码

 

posted on   不是霉蛋  阅读(24)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?
· 如何调用 DeepSeek 的自然语言处理 API 接口并集成到在线客服系统
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

点击右上角即可分享
微信分享提示