摘要:
select name,good_index from crawled_goods where channel='jdzgb-beijing' and batch_id='2019070912' and cate2_name='饮料' ORDER BY cast(good_index as UNSI 阅读全文
摘要:
因为网络问题,导致返回的数据不是json类型,而是网络出现问题的网页格式,这个值不是json.loads()期待的参数,所以出现错误 使用post请求时, 在某些情况下,特别是跨语言情况下,JSON格式就可能出现错误 此问题说明获取的json格式不标准,可以在loads()中添加strict=Fal 阅读全文
摘要:
在scrapy获取资源时,有时候获取的是json格式,但是json里面存在着html的标签,这时候就可以将json转为字典,然后再将html标签拿到,然后再进行xpath,就可以获取到标签内的资源了; 但是,怎么将这里的str转为能xpath的html标签呢,这里就用到了Selector 阅读全文