2017年11月15日
scrapy爬虫框架setting模块解析
摘要： 平时写爬虫的时候并不需要设置setting里所有的参数，今天心血来潮，花了点时间查了一下setting模块创建后自动写入的所有参数的含义，记录一下。 模块相关说明信息 项目名字和爬虫模块说明，引擎根据这个信息找到爬虫 浏览器的USER_AGENT，可以自定义伪装。 是否遵守robots协议，默认是遵 阅读全文
posted @ 2017-11-15 19:57 倥偬时光 阅读(1323) 评论(0) 推荐(0) 编辑