2019年11月4日
Scrapy爬虫day2——简单运行爬虫
摘要： 设置setting.py 修改机器人协议 ROBOTSTXT_OBEY = False 设置User-Agent DEFAULT_REQUEST_HEADERS = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9, 阅读全文
posted @ 2019-11-04 19:37 LuoSpider 阅读(142) 评论(0) 推荐(0) 编辑