继续Python爬虫

先贴上代码

# coding:utf-8
import urllib2
import urllib
import re

gjc = urllib.quote('你好')
url = 'http://sug.so.360.cn/suggest?callback=suggest_so&encodein=utf-8&encodeout=utf-8&format=json&fields=word,obdata&word='+gjc
header = {
                    'GET':url,
                    'Host':'sug.so.360.cn',
                    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36',
                    'Referer':'http://www.haosou.com'
                    
           
          }
req = urllib2.Request(url)
for key in header:
    req.add_header(key,header[key])
r = urllib2.urlopen(req).read()
uu = re.findall('\"(.*?)\"',r)
for i in uu:
    print i

  今天这个是跟着视频学的,查了下Python官网的API,主要有几点:

1urillib的quote把字符转变成一段特殊的贴在URL后面的字符。

2防止被网站拉黑需要用到add_header,虽然我也不晓得具体啥意思。。。

3如果不用最后的for循环的话打印的时一个字母列表,需要用这个循环来转换成自然语言。

posted @ 2015-01-11 15:40  bestkayle  阅读(163)  评论(0编辑  收藏  举报