摘要:
这几天一直都再用scrapy写网站数据采集的爬虫,这里我就选一个写过的爬虫来记录一下。杭州造价网:http://183.129.219.195:8081/bs/hzzjb/web/list这里出现的主要问题就是:1. 这里我的代码会出现一些问题,内存溢出,由于程序一直在运行,内存一直在增加(未释放内存,有待改进),就会导致爬虫程序假死等待。2. yield scrapy.FormRequest(... 阅读全文
摘要:
这几天一直都再用scrapy写网站数据采集的爬虫,这里我就选一个写过的爬虫来记录一下。杭州造价网:http://183.129.219.195:8081/bs/hzzjb/web/list这里出现的主要问题就是:1. 这里我的代码会出现一些问题,内存溢出,由于程序一直在运行,内存一直在增加(未释放内存,有待改进),就会导致爬虫程序假死等待。2. yield scrapy.FormRequest(... 阅读全文
摘要:
邮件通知这一部分是我们组大佬写的,主要是为了解决人工去检查网站是否更新的问题做到自动化通知,那个邮件通知的代码,我之前也没写过,过两天看一下代码是如何实现的再写随笔。 阅读全文
摘要:
温州数据采集这里采集网站数据是下载pdf:http://wzszjw.wenzhou.gov.cn/col/col1357901/index.html(涉及的问题就是scrapy 文件的下载设置,之前没用scrapy下载文件,所以弄了很久才弄好,网上很多不过写的都不完善。)主要重点就是设置: 1.piplines.py 文件下载代码 这部分可以直接拿来用不需要修改。2.就是下载文件的url要... 阅读全文
摘要:
网站数据监控:思路:对网站数据字段监控并做MD5加密存入到数据,为了后期监控数据是否更新作比对,然后邮件通知,存入四个字段。 引入的包:md5_tools.py # -*- coding:utf-8 -*-import hashlib# md5 加密def md5_encode(md5): md5 = md5 hash = hashlib.md5() hash.update(... 阅读全文
|