COMPLEX-B

导航

2018年9月27日 #

User_Agent大全

摘要： 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50', 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/... 阅读全文

posted @ 2018-09-27 21:50 COMPLEX-B 阅读(225) 评论(0) 推荐(0) 编辑

scrapy爬取网址，进而爬取详情页问题

摘要： 1、最容易出现的问题是爬取到的url大多为相对路径，如果直接将爬取到的url进行二次爬取就会出现以下报错： raise ValueError('Missing scheme in request url: %s' % self._url)，该错误的意思是request的url为无效链接。 解决方法： 阅读全文

posted @ 2018-09-27 20:46 COMPLEX-B 阅读(1631) 评论(0) 推荐(0) 编辑