QQ空间Python爬虫(2)---分析json

我们把上一篇访问得到的json数据拿来先分析一下,这里需要借助json解析工具,推荐json.cn:

 

 

 

观察图片右边,具体的分析过程不再赘述了,我们发现图片url信息在 date-->vFeeds(list)-->pic-->picdata-->pic(list)-->photourl-->0-->url 中(其中的list注意循环处理一下)

文字信息在date-->vFeeds(list)-->summary-->summary中,代码如下:

 1 url_x = 'https://mobile.qzone.qq.com/list?qzonetoken=30168ded82ff81d41e518db8ef77b00b94375b2139f956165128f52dd25c322e603e03f180d761dc42881f1a83e9&g_tk=420005040&res_attach=att%3D'
 2 url_y = '%26tl%3D1508148135&format=json&list_type=shuoshuo&action=0&res_uin=627911861&count=40'
 3 numbers = 0      # ‘查看更多’翻页
 4 img_set = set()  # 存放图片url集
 5 word_count = 0   # 文字说说计数器
 6 words = ""       # 存放文字说说
 7 images = ""      # 存放图片url
 8 page = int(1758 / 40)
 9 
10 # for i in range(0, 43):
11 try:
12     html = requests.get(url_x + str(numbers) + url_y, headers=headers).content
13     data = json.loads(html)
14 
15     for vFeed in data['data']['vFeeds']:
16         if 'pic' in vFeed:
17             for pic in vFeed['pic']['picdata']['pic']:
18                 img_set.add(pic['photourl']['0']['url'])
19 
20         if 'summary' in vFeed:
21             # print(str(word_count) + '. ' + vFeed['summary']['summary'])
22             words += str(word_count) + '. ' + vFeed['summary']['summary'] + '\r\n'
23             word_count += 1
24 
25 except:
26     print('error')

上面之所以要把url拆成两段是为了处理变量,因为url存在%字符,用%s,%d来处理比较麻烦(懒得研究-。-)

(此处代码仅仅爬取了40条说说信息,先测试跑通,后面再做爬取所有说说的循环处理)

 

 

接下来,就可以将爬取到的文字与图片信息分别写入文件了,文字可以直接写成文本文件,图片为url集合先写入文件再做下载处理:

 1 try:
 2     with open(os.getcwd() + '\\' + str(qq) + '.txt', 'wb') as fo:
 3         fo.write(words.encode('utf-8'))
 4         print("文字说说写入完毕")
 5 
 6     with open(os.getcwd() + '\\' + 'images_url', 'wb') as foImg:
 7         for imgUrl in img_set:
 8             images += imgUrl + '\r\n'
 9         foImg.write(images.encode('utf-8'))
10         print("图片写入完毕")
11 
12 except:
13     print('写入数据出错')

 

多次请求之后会发生登陆的问题,后面再描述。不过,json数据分析的部分至此已经完成了。

 

下一章:

QQ空间Python爬虫(3)---终章

posted @ 2017-11-22 16:38  南瓜1996  阅读(740)  评论(0编辑  收藏  举报