04 2019 档案

LinkExtractor 深度爬取url中含有中文关键字
摘要：scrapy 默认的是utf-8的格式进行编码,在利用链接提取器LinkExtractor进行深度爬取的时候, 返回的Response中的url链接中可能会含有中文关键字,如果不进行处理的情况下scrapy会自动的将中关键字以utf-8的格式进行编码后再去请求这个url,但是网站的解析格式可能不是u 阅读全文
posted @ 2019-04-03 17:54 苜蓿椒盐 阅读(543) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示