2018年1月11日
深度爬取之rules
摘要： 深度爬取之rules CrawlSpider使用rules来决定爬虫的爬取规则，并将匹配后的url请求提交给引擎。所以在正常情况下，CrawlSpider不需要单独手动返回请求了。 在rules中包含一个或多个Rule对象，每个Rule对爬取网站的动作定义了某种特定操作，比如提取当前相应内容里的特定 阅读全文
posted @ 2018-01-11 16:10 水瓶座 阅读(284) 评论(0) 推荐(0) 编辑
__all__
摘要： 相信很多人第一次见到这个__all__都很好奇，他有什么作用 那他到底有什么作用呢？ 先上代码 上述代码来自 组件的 模块，代码中出现了三个类， ，模块结尾用了 __all__ = ['SpiderQueue','SpiderPriorityQueue', 'SpiderStack'] 这里的意思是 阅读全文
posted @ 2018-01-11 15:22 水瓶座 阅读(196) 评论(0) 推荐(0) 编辑
python内置函数
摘要： "python内置函数解读链接" 阅读全文
posted @ 2018-01-11 11:35 水瓶座 阅读(109) 评论(0) 推荐(0) 编辑