2020年6月10日
dupefilter对访问的url做去重
摘要： dupefilter对访问的url做去重 第一步： 在爬虫文件中chouti.py中 import scrapy from xdb.items import XdbItem from scrapy.dupefilters import RFPDupeFilter class ChoutiSpider 阅读全文
posted @ 2020-06-10 23:01 高汤 阅读(231) 评论(0) 推荐(0) 编辑