摘要: select name,good_index from crawled_goods where channel='jdzgb-beijing' and batch_id='2019070912' and cate2_name='饮料' ORDER BY cast(good_index as UNSI 阅读全文
posted @ 2019-07-09 19:56 乔儿 阅读(1187) 评论(0) 推荐(0) 编辑
摘要: 因为网络问题,导致返回的数据不是json类型,而是网络出现问题的网页格式,这个值不是json.loads()期待的参数,所以出现错误 使用post请求时, 在某些情况下,特别是跨语言情况下,JSON格式就可能出现错误 此问题说明获取的json格式不标准,可以在loads()中添加strict=Fal 阅读全文
posted @ 2019-07-09 17:30 乔儿 阅读(12119) 评论(0) 推荐(0) 编辑
摘要: 在scrapy获取资源时,有时候获取的是json格式,但是json里面存在着html的标签,这时候就可以将json转为字典,然后再将html标签拿到,然后再进行xpath,就可以获取到标签内的资源了; 但是,怎么将这里的str转为能xpath的html标签呢,这里就用到了Selector 阅读全文
posted @ 2019-07-09 17:24 乔儿 阅读(2380) 评论(0) 推荐(0) 编辑