Scrapy 数据存储 图片和文件
Scrapy 数据存储 图片和文件
pics_down = requests.get(item['cover'])
with open('W:\pcis\{}.jpg'.format(item['title']),'wb') as f:
f.write(pics_down.content)
f = open('W:\pcis\{}.jpg'.format(item['title']), 'rb')
item['cover'] = f.read()
f.close()
item['cover'] = str(base64.b16encode(item['cover'])) # 防止数据库转码
scrapy crawl dd(爬虫名称)
# Scrapy中有Medie Pipeline 可以帮助我们下载图片和文件
scrapy crawl dd -o test.json json文件
scrapy crawl itcast -o teachers.jsonl json lines格式
scrapy crawl dd -o test.csv csv文件
scrapy crawl dd -o 'ftp://USER:PASSSWORD@xxxx.com/test.json' FTP文件服务器