2021 年 11月 2 日随笔档案 - 技术改变命运Andy

2021年11月2日

摘要： scrapy发送qq邮件发送邮件的意义给scrapy加入发送邮件功能，其目的旨在报错预警，这对运维现有爬虫有着很大的积极意义或者爬虫爬取结束后，发邮件告诉开发者，hi，任务已经完成了. 我不纠结于是否使用scrapy自带的发送邮件功能，我的目的只是去实现它，用简单直接的方式发送邮件的方法很多阅读全文

posted @ 2021-11-02 08:37 技术改变命运Andy 阅读(145) 评论(0) 推荐(0) 编辑

scrapy把数据保存到mongodb

摘要： scrapy数据存进mongodb 第一步，settings.py添加 ITEM_PIPELINES = { # 'scrapy_runklist.pipelines.ScrapyRunklistPipeline': 300, 'scrapy_runklist.pipelines.ScrapyWei 阅读全文

posted @ 2021-11-02 04:44 技术改变命运Andy 阅读(298) 评论(0) 推荐(0) 编辑

scrapy添加headers

摘要： scrapy添加header 第一种，setting里面有一个默认的请求头 USER_AGENT = 'scrapy_runklist (+http://www.yourdomain.com)' DEFAULT_REQUEST_HEADERS = { 'Accept': 'text/html,app 阅读全文

posted @ 2021-11-02 03:36 技术改变命运Andy 阅读(1958) 评论(0) 推荐(0) 编辑