#!/usr/bin/python
#-*- coding:utf-8 -*-
#爬取世纪佳缘
#这个网站是真的烦，刚开始的时候用scrapy框架写,但是因为刚接触框架,碰到js渲染的页面之后就没办法了,所以就采用一般的爬虫了
#js渲染过的数据，可能在网页源码里面没有数据，需要js异步请求提取数据，然后展示，所以爬取这类的数据，只需要找到js发送请求的url就行了
#js发送的请求可能是post(比如这个例子)或者是get(比如豆瓣电影剧情的排行榜),所以要看好是什么请求
import sys
import json
#from lxml import etree
import urllib
import urllib2
reload(sys)
sys.setdefaultencoding("utf-8") #设置默认的编码格式,把Unicode格式转换成汉字写到文件里面的时候需要用到,要配合decode("unicode_escape")使用
class shiji():
def __init__(self):
self.page = 1 #初始化页面的第几页
self.filename = open("sj.json","w") #打开文件用于写入数据
def parse_page(self):
url = "http://search.jiayuan.com/v2/search_v2.php?" #初始url的前半段,加上后半段发送的是post请求
headers = {"User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}
formdata = {
"sex":"f",
"key":"",
"stc":"1:11,2:20.25,3:160.170,23:1",
"sn":"default",
"sv":"1",
"p":self.page, #每次数据js异步提取数据的时候只有p变化了,p对应于当前页面是第几页
"f":"select",
"listStyle":"bigPhoto",
"pri_uid":"170633820",
"jsversion":"v5"
}
data = urllib.urlencode(formdata)
request = urllib2.Request( url ,data = data , headers = headers)
response = urllib2.urlopen(request)
# print response.info().get('Content-Encoding') #这会打印出服务器返回数据的压缩方式,如果未有压缩则返回None
js = response.read() #返回的response.read()是json格式的,但是首和尾多了一段字符串"##jiayse##"和"##jiayse##",所以下面就处理一下
#print type(js) #字符串类型
js = js.replace("##jiayser##","").replace("//","") #字符串里很牛X的一个函数replace()
#print js
content = json.loads(js) #字典类型(这个字典是大字典,key只有isLogin、count、pageTotal、userInfo，其中userInfo是每个人的资料)
self.parse_person(content['userInfo']) #调用parse_person函数处理大字典的ueerInfo(还是字典类型的),即每个人的资料
# print type(content['userInfo'])#字典类型
def parse_person(self,userinfo):
for i in range(len(userinfo)):
form = {"昵称":userinfo[i]['nickname'],"年龄":userinfo[i]['age'],"内心独白":userinfo[i]['shortnote']} #把要爬取的数据写成一个字典
#print form
#print type(form)
#不能把dict和list类型直接写入文件, 把字典写入json文件的时候要把字典转换成json字符串才行(json.dumps(form))
#decode("unicode_escape")表示把unicode格式转换成汉字,但用一个这竟然还不行!还要加上上面的import sys... , 真麻烦
form = json.dumps(form).decode("unicode_escape")
self.filename.write(form+"\n") #写入文件
if self.page <10: #这里随便写self.page,只要不超过页面加载的范围就行
self.page+=1
self.parse_page() #自加一之后在调用parse_page()函数进行换页,然后接着爬
if __name__ == "__main__":
sj = shiji()
sj.parse_page() #调用parse_page()函数开始爬取
写这个爬虫浪费了一天的时间。。。我是真的菜。
错误总结：
关于unicode编码转汉字的方法以及UnicodeEncodeError: 'ascii' codec can't encode characters in position问题:
https://www.cnblogs.com/technologylife/p/6071787.html
http://blog.sina.com.cn/s/blog_64a3795a01018vyp.html
把dict写入文件的时候碰见的报的typeError的解决办法: http://blog.csdn.net/guoweish/article/details/47106263
另外加一篇ubuntu vim撤销操作的博客 http://blog.sina.com.cn/s/blog_7e9efc570101ays3.html
收获:这次的收获还可以，解决了很多没见过的bug，第一次爬取js渲染的网页的数据，值得记得的是：(1).js渲染过得网页怎么找数据来源(f12 network XHR 找是post请求还是get请求)，(2)字符串的强大替换函数replace，(3)字典写入文件怎么处理 (先转换成json的字符串再写入)，(4)unicode转汉字怎么处理(import sys + decode("unicode_escape"))
