大江东去,浪淘尽,千古风流人物。故垒西边,人道是,三国周郎赤壁。乱石穿空,惊涛拍岸,卷起千堆雪。江山如画,一时多少豪杰。遥想公瑾当年,小乔初嫁了,雄姿英发。羽扇纶巾,谈笑间,樯橹灰飞烟灭。故国神游,多情应笑我,早生华发。人生如梦,一尊还酹江月。

人生苦短 我用Python

扩大
缩小

Scrapy 数据存储 图片和文件

Scrapy 数据存储 图片和文件

pics_down = requests.get(item['cover'])
with open('W:\pcis\{}.jpg'.format(item['title']),'wb') as f:
f.write(pics_down.content)
f = open('W:\pcis\{}.jpg'.format(item['title']), 'rb')
item['cover'] = f.read()
f.close()
item['cover'] = str(base64.b16encode(item['cover'])) # 防止数据库转码

scrapy crawl dd(爬虫名称)
# Scrapy中有Medie Pipeline  可以帮助我们下载图片和文件
scrapy crawl dd -o test.json  json文件
scrapy crawl itcast -o teachers.jsonl  json lines格式
scrapy crawl dd -o test.csv  csv文件
scrapy crawl dd -o 'ftp://USER:PASSSWORD@xxxx.com/test.json'  FTP文件服务器

posted on 2019-05-23 01:22  GuoZeping  阅读(523)  评论(0编辑  收藏  举报

导航