慕课爬虫实战 爬取百度百科Python词条相关1000个页面数据
http://www.imooc.com/learn/563
spider_main.py
1 #!/usr/bin/python 2 # coding=utf-8 3 4 #from baike_spider import url_manager,html_downloader,html_parser,html_outputer 5 import url_manager,html_downloader,html_parser,html_outputer 6 7 class SpiderMain(object): 8 """docstring for SpiderMain""" 9 def __init__(self): 10 self.urls = url_manager.UrlManager() 11 self.downloader = html_downloader.HtmlDownloader() 12 self.parser = html_parser.HtmlParser() 13 self.outputer = html_outputer.HtmlOutputer() 14 15 def craw(self,root_url): 16 count = 1 17 self.urls.add_new_url(root_url) 18 #如果管理器中有url, 下载，解析，把解析出的url放入 管理器，有用内容放入 收集器 19 while self.urls.has_new_url(): 20 try: 21 new_url = self.urls.get_new_url() 22 print 'craw %d : %s' % (count, new_url) 23 html_cont = self.downloader.download(new_url) 24 new_urls, new_data = self.parser.parser(new_url, html_cont) 25 self.urls.add_new_urls(new_urls) 26 self.outputer.collect_data(new_data) 27 28 if count == 1000: 29 break 30 count = count + 1 31 except: 32 print 'craw failed' 33 self.outputer.output_html() 34 35 if __name__ == "__main__": 36 root_url = "http://baike.baidu.com/view/21087.htm" 37 obj_spider = SpiderMain() 38 obj_spider.craw(root_url)
url_manager.py
1 #!/usr/bin/python 2 # coding=utf-8 3 4 class UrlManager(object): 5 """docstring for UrlManager""" 6 def __init__(self): 7 self.new_urls = set() 8 self.old_urls = set() 9 10 def add_new_url(self, url): 11 if url is None: 12 return 13 if url not in self.new_urls and url not in self.old_urls: 14 self.new_urls.add(url) 15 16 def add_new_urls(self, urls): 17 if urls is None or len(urls) == 0: 18 return 19 for url in urls: 20 self.add_new_url(url) 21 22 def has_new_url(self): 23 return len(self.new_urls) != 0 24 25 def get_new_url(self): 26 #pop, 从set中拿一个并移除 27 new_url = self.new_urls.pop() 28 self.old_urls.add(new_url) 29 return new_url
html_downloader.py
1 #!/usr/bin/python 2 # coding=utf-8 3 4 import urllib2 5 6 class HtmlDownloader(object): 7 """docstring for HtmlDownloader""" 8 def __init__(self): 9 pass 10 11 def download(self, url): 12 if url is None: 13 return None 14 15 response = urllib2.urlopen(url) 16 #print response.getcode() 17 18 if response.getcode() != 200: 19 return None 20 21 return response.read()
html_parser.py
1 #!/usr/bin/python 2 # coding=utf-8 3 4 from bs4 import BeautifulSoup 5 import re 6 import urlparse 7 8 class HtmlParser(object): 9 """docstring for HtmlParser""" 10 def __init__(self): 11 pass 12 13 def parser(self, page_url, html_cont): 14 #print page_url 15 if page_url is None or html_cont is None: 16 return 17 18 soup = BeautifulSoup(html_cont, 'html.parser', from_encoding = 'utf-8') 19 new_urls = self._get_new_urls(page_url, soup) 20 new_data = self._get_new_data(page_url, soup) 21 return new_urls, new_data 22 23 def _get_new_urls(self, page_url, soup): 24 # /view/数字.htm 25 # such as /view/123.htm 26 new_urls = set() 27 links = soup.find_all('a', href = re.compile(r"/view/\d+\.htm")) 28 for link in links: 29 new_url = link['href'] 30 #print new_url 31 #安装page_url 的格式，把new_url补全 32 new_full_url = urlparse.urljoin(page_url, new_url) 33 new_urls.add(new_full_url) 34 #print new_full_url 35 return new_urls 36 37 def _get_new_data(self, page_url, soup): 38 res_data = {} #字典 39 40 # url 41 res_data['url'] = page_url 42 #<dd class="lemmaWgt-lemmaTitle-title"> 43 #<h1>Python</h1> 44 title_node = soup.find('dd', class_= "lemmaWgt-lemmaTitle-title").find("h1") 45 res_data['title'] = title_node.get_text() 46 47 #<div class="lemma-summary" label-module="lemmaSummary"> 48 summary_node = soup.find('div', class_= "lemma-summary") 49 res_data['summary'] = summary_node.get_text() 50 51 return res_data
html_outputer.py （此处会出现 中文乱码）
1 #!/usr/bin/python 2 # coding=utf-8 3 4 class HtmlOutputer(object): 5 """docstring for HtmlOutputer""" 6 def __init__(self): 7 self.datas = [] 8 9 def collect_data(self, data): 10 if data is None: 11 return 12 self.datas.append(data) 13 14 def output_html(self): 15 fout = open('output.html', 'w') 16 17 fout.write("<html>") 18 fout.write("<body>") 19 fout.write("<table>") 20 21 # python 默认 ascii 22 for data in self.datas: 23 fout.write("<tr>") 24 fout.write("<td>%s</td>" % data['url']) 25 fout.write("<td>%s</td>" % data['title'].encode('utf-8')) 26 fout.write("<td>%s</td>" % data['summary'].encode('utf-8')) 27 fout.write("</tr>") 28 29 fout.write("</table>") 30 fout.write("</body>") 31 fout.write("</html>") 32 33 fout.close()
log:
craw 1 : http://baike.baidu.com/view/21087.htm craw 2 : http://baike.baidu.com/view/16068.htm craw 3 : http://baike.baidu.com/view/53557.htm craw 4 : http://baike.baidu.com/view/10812277.htm craw 5 : http://baike.baidu.com/view/32571.htm craw 6 : http://baike.baidu.com/view/757238.htm craw 7 : http://baike.baidu.com/view/2888099.htm craw 8 : http://baike.baidu.com/view/1369367.htm craw 9 : http://baike.baidu.com/view/737.htm craw 10 : http://baike.baidu.com/view/38648.htm craw 11 : http://baike.baidu.com/view/230750.htm craw 12 : http://baike.baidu.com/view/560583.htm craw 13 : http://baike.baidu.com/view/902.htm craw 14 : http://baike.baidu.com/view/18979.htm craw 15 : http://baike.baidu.com/view/1158766.htm craw 16 : http://baike.baidu.com/view/7977.htm craw 17 : http://baike.baidu.com/view/1298929.htm craw 18 : http://baike.baidu.com/view/642401.htm craw 19 : http://baike.baidu.com/view/52940.htm craw 20 : http://baike.baidu.com/view/449909.htm craw 21 : http://baike.baidu.com/view/1703315.htm craw 22 : http://baike.baidu.com/view/330120.htm craw 23 : http://baike.baidu.com/view/120466.htm craw 24 : http://baike.baidu.com/view/3593.htm craw 25 : http://baike.baidu.com/view/37878.htm craw 26 : http://baike.baidu.com/view/1882668.htm craw 27 : http://baike.baidu.com/view/8439.htm craw 28 : http://baike.baidu.com/view/8202227.htm craw 29 : http://baike.baidu.com/view/10249166.htm craw 30 : http://baike.baidu.com/view/1165.htm craw 31 : http://baike.baidu.com/view/1768.htm craw 32 : http://baike.baidu.com/view/1401824.htm craw 33 : http://baike.baidu.com/view/185360.htm craw 34 : http://baike.baidu.com/view/2993364.htm craw 35 : http://baike.baidu.com/view/6115.htm craw 36 : http://baike.baidu.com/view/46614.htm craw 37 : http://baike.baidu.com/view/10090.htm craw 38 : http://baike.baidu.com/view/1012.htm craw 39 : http://baike.baidu.com/view/1090732.htm craw 40 : http://baike.baidu.com/view/6561.htm craw 41 : http://baike.baidu.com/view/190232.htm craw 42 : http://baike.baidu.com/view/7124722.htm craw 43 : http://baike.baidu.com/view/53593.htm craw 44 : http://baike.baidu.com/view/3111535.htm craw 45 : http://baike.baidu.com/view/8241.htm craw 46 : http://baike.baidu.com/view/9890.htm craw 47 : http://baike.baidu.com/view/2936980.htm craw 48 : http://baike.baidu.com/view/4560575.htm craw 49 : http://baike.baidu.com/view/8225845.htm craw 50 : http://baike.baidu.com/view/422555.htm craw 51 : http://baike.baidu.com/view/67568.htm craw 52 : http://baike.baidu.com/view/1227765.htm craw 53 : http://baike.baidu.com/view/253148.htm craw 54 : http://baike.baidu.com/view/1159631.htm craw 55 : http://baike.baidu.com/view/93758.htm craw 56 : http://baike.baidu.com/view/238412.htm craw 57 : http://baike.baidu.com/view/2773.htm craw 58 : http://baike.baidu.com/view/822073.htm craw 59 : http://baike.baidu.com/view/1265502.htm craw 60 : http://baike.baidu.com/view/1127713.htm craw 61 : http://baike.baidu.com/view/2422838.htm craw 62 : http://baike.baidu.com/view/1309799.htm craw 63 : http://baike.baidu.com/view/18806.htm craw 64 : http://baike.baidu.com/view/4992984.htm craw 65 : http://baike.baidu.com/view/3342115.htm craw 66 : http://baike.baidu.com/view/7487.htm craw 67 : http://baike.baidu.com/view/10102.htm craw 68 : http://baike.baidu.com/view/9786653.htm craw 69 : http://baike.baidu.com/view/938916.htm craw 70 : http://baike.baidu.com/view/4556.htm craw 71 : http://baike.baidu.com/view/3581.htm craw 72 : http://baike.baidu.com/view/98997.htm craw 73 : http://baike.baidu.com/view/340519.htm craw 74 : http://baike.baidu.com/view/189766.htm craw 75 : http://baike.baidu.com/view/417523.htm craw 76 : http://baike.baidu.com/view/969420.htm craw 77 : http://baike.baidu.com/view/287544.htm craw 78 : http://baike.baidu.com/view/137833.htm craw 79 : http://baike.baidu.com/view/482211.htm craw 80 : http://baike.baidu.com/view/1369720.htm craw 81 : http://baike.baidu.com/view/761171.htm craw 82 : http://baike.baidu.com/view/15113.htm craw 83 : http://baike.baidu.com/view/53593.htm?force=1 craw failed craw 83 : http://baike.baidu.com/view/140372.htm craw 84 : http://baike.baidu.com/view/34240.htm craw 85 : http://baike.baidu.com/view/907.htm craw 86 : http://baike.baidu.com/view/2213220.htm craw 87 : http://baike.baidu.com/view/60734.htm craw 88 : http://baike.baidu.com/view/13621.htm craw 89 : http://baike.baidu.com/view/303553.htm craw 90 : http://baike.baidu.com/view/1768205.htm craw 91 : http://baike.baidu.com/view/1304004.htm craw 92 : http://baike.baidu.com/view/1010007.htm craw 93 : http://baike.baidu.com/view/432379.htm craw 94 : http://baike.baidu.com/view/113905.htm craw 95 : http://baike.baidu.com/view/3261842.htm craw 96 : http://baike.baidu.com/view/409893.htm craw 97 : http://baike.baidu.com/view/148176.htm craw 98 : http://baike.baidu.com/view/798022.htm craw 99 : http://baike.baidu.com/view/20701.htm craw 100 : http://baike.baidu.com/view/35595.htm craw 101 : http://baike.baidu.com/view/23160.htm craw 102 : http://baike.baidu.com/view/7935119.htm craw 103 : http://baike.baidu.com/view/3460.htm craw 104 : http://baike.baidu.com/view/3034790.htm craw 105 : http://baike.baidu.com/view/1346092.htm craw 106 : http://baike.baidu.com/view/3624172.htm craw 107 : http://baike.baidu.com/view/80305.htm craw 108 : http://baike.baidu.com/view/1964086.htm craw 109 : http://baike.baidu.com/view/20965.htm craw 110 : http://baike.baidu.com/view/8206.htm craw 111 : http://baike.baidu.com/view/1949.htm craw failed craw 111 : http://baike.baidu.com/view/486335.htm craw 112 : http://baike.baidu.com/view/23706.htm craw 113 : http://baike.baidu.com/view/292691.htm craw 114 : http://baike.baidu.com/view/18192.htm craw 115 : http://baike.baidu.com/view/65250.htm craw 116 : http://baike.baidu.com/view/1633662.htm craw 117 : http://baike.baidu.com/view/7836.htm craw 118 : http://baike.baidu.com/view/216701.htm craw 119 : http://baike.baidu.com/view/2027.htm craw 120 : http://baike.baidu.com/view/393091.htm craw 121 : http://baike.baidu.com/view/121167.htm craw 122 : http://baike.baidu.com/view/137145.htm craw 123 : http://baike.baidu.com/view/78724.htm craw 124 : http://baike.baidu.com/view/16381.htm craw 125 : http://baike.baidu.com/view/406130.htm craw 126 : http://baike.baidu.com/view/122047.htm craw 127 : http://baike.baidu.com/view/19655.htm craw 128 : http://baike.baidu.com/view/1313694.htm craw 129 : http://baike.baidu.com/view/2241762.htm craw 130 : http://baike.baidu.com/view/111680.htm craw 131 : http://baike.baidu.com/view/1106940.htm craw 132 : http://baike.baidu.com/view/749940.htm craw 133 : http://baike.baidu.com/view/574700.htm craw 134 : http://baike.baidu.com/view/15202589.htm craw 135 : http://baike.baidu.com/view/14845756.htm craw 136 : http://baike.baidu.com/view/67007.htm craw 137 : http://baike.baidu.com/view/67700.htm craw 138 : http://baike.baidu.com/view/190556.htm craw 139 : http://baike.baidu.com/view/608098.htm craw 140 : http://baike.baidu.com/view/2971065.htm craw 141 : http://baike.baidu.com/view/117631.htm craw 142 : http://baike.baidu.com/view/1769772.htm craw 143 : http://baike.baidu.com/view/3195275.htm craw 144 : http://baike.baidu.com/view/910520.htm craw 145 : http://baike.baidu.com/view/675822.htm craw 146 : http://baike.baidu.com/view/13560.htm craw 147 : http://baike.baidu.com/view/15641.htm craw 148 : http://baike.baidu.com/view/7692.htm craw 149 : http://baike.baidu.com/view/6618166.htm craw 150 : http://baike.baidu.com/view/2110805.htm craw 151 : http://baike.baidu.com/view/825271.htm craw 152 : http://baike.baidu.com/view/9226.htm craw 153 : http://baike.baidu.com/view/264107.htm craw 154 : http://baike.baidu.com/view/569005.htm craw 155 : http://baike.baidu.com/view/217618.htm craw 156 : http://baike.baidu.com/view/189071.htm craw 157 : http://baike.baidu.com/view/1780613.htm craw 158 : http://baike.baidu.com/view/237729.htm craw 159 : http://baike.baidu.com/view/404417.htm craw 160 : http://baike.baidu.com/view/1300345.htm craw 161 : http://baike.baidu.com/view/3344032.htm craw 162 : http://baike.baidu.com/view/179652.htm craw 163 : http://baike.baidu.com/view/170331.htm craw 164 : http://baike.baidu.com/view/3212355.htm craw 165 : http://baike.baidu.com/view/332791.htm craw 166 : http://baike.baidu.com/view/18554.htm craw 167 : http://baike.baidu.com/view/94764.htm craw 168 : http://baike.baidu.com/view/359301.htm craw 169 : http://baike.baidu.com/view/9319.htm craw 170 : http://baike.baidu.com/view/63422.htm craw 171 : http://baike.baidu.com/view/488704.htm craw 172 : http://baike.baidu.com/view/489790.htm craw 173 : http://baike.baidu.com/view/74745.htm craw 174 : http://baike.baidu.com/view/2894153.htm craw 175 : http://baike.baidu.com/view/357490.htm craw 176 : http://baike.baidu.com/view/68974.htm craw 177 : http://baike.baidu.com/view/21184.htm craw 178 : http://baike.baidu.com/view/116771.htm craw 179 : http://baike.baidu.com/view/8439.htm?force=1 craw failed craw 179 : http://baike.baidu.com/view/1206943.htm craw 180 : http://baike.baidu.com/view/8625.htm craw 181 : http://baike.baidu.com/view/589573.htm craw 182 : http://baike.baidu.com/view/566308.htm craw 183 : http://baike.baidu.com/view/144228.htm craw 184 : http://baike.baidu.com/view/1645568.htm craw 185 : http://baike.baidu.com/view/2608.htm craw 186 : http://baike.baidu.com/view/4963655.htm craw 187 : http://baike.baidu.com/view/33292.htm craw 188 : http://baike.baidu.com/view/1261670.htm craw 189 : http://baike.baidu.com/view/87626.htm craw 190 : http://baike.baidu.com/view/351068.htm craw 191 : http://baike.baidu.com/view/889.htm craw 192 : http://baike.baidu.com/view/28761.htm craw 193 : http://baike.baidu.com/view/1541925.htm craw 194 : http://baike.baidu.com/view/36522.htm craw 195 : http://baike.baidu.com/view/1066153.htm craw 196 : http://baike.baidu.com/view/1174786.htm craw 197 : http://baike.baidu.com/view/49933.htm craw 198 : http://baike.baidu.com/view/6340845.htm craw 199 : http://baike.baidu.com/view/100904.htm craw 200 : http://baike.baidu.com/view/32834.htm craw 201 : http://baike.baidu.com/view/1372797.htm craw 202 : http://baike.baidu.com/view/1310856.htm craw 203 : http://baike.baidu.com/view/404295.htm craw failed craw 203 : http://baike.baidu.com/view/3622.htm craw 204 : http://baike.baidu.com/view/1609682.htm craw 205 : http://baike.baidu.com/view/1443416.htm craw 206 : http://baike.baidu.com/view/6340.htm craw 207 : http://baike.baidu.com/view/142998.htm craw 208 : http://baike.baidu.com/view/285484.htm craw 209 : http://baike.baidu.com/view/4440938.htm craw 210 : http://baike.baidu.com/view/122700.htm craw 211 : http://baike.baidu.com/view/159303.htm craw 212 : http://baike.baidu.com/view/709787.htm craw 213 : http://baike.baidu.com/view/592912.htm craw 214 : http://baike.baidu.com/view/45308.htm craw 215 : http://baike.baidu.com/view/546.htm craw 216 : http://baike.baidu.com/view/80015.htm craw 217 : http://baike.baidu.com/view/29564.htm craw 218 : http://baike.baidu.com/view/241977.htm craw 219 : http://baike.baidu.com/view/1094346.htm craw 220 : http://baike.baidu.com/view/3588285.htm craw 221 : http://baike.baidu.com/view/19430.htm craw 222 : http://baike.baidu.com/view/66794.htm craw 223 : http://baike.baidu.com/view/11782701.htm craw 224 : http://baike.baidu.com/view/289681.htm craw 225 : http://baike.baidu.com/view/423240.htm craw 226 : http://baike.baidu.com/view/37703.htm craw 227 : http://baike.baidu.com/view/43898.htm craw 228 : http://baike.baidu.com/view/46184.htm craw 229 : http://baike.baidu.com/view/2676492.htm craw 230 : http://baike.baidu.com/view/78504.htm craw 231 : http://baike.baidu.com/view/18650.htm craw 232 : http://baike.baidu.com/view/88420.htm craw 233 : http://baike.baidu.com/view/41435.htm craw 234 : http://baike.baidu.com/view/132672.htm craw 235 : http://baike.baidu.com/view/710798.htm craw 236 : http://baike.baidu.com/view/1383707.htm craw 237 : http://baike.baidu.com/view/312759.htm craw 238 : http://baike.baidu.com/view/779344.htm craw 239 : http://baike.baidu.com/view/6997.htm craw 240 : http://baike.baidu.com/view/101527.htm craw 241 : http://baike.baidu.com/view/11653292.htm craw 242 : http://baike.baidu.com/view/71101.htm craw 243 : http://baike.baidu.com/view/1307135.htm craw 244 : http://baike.baidu.com/view/574686.htm craw 245 : http://baike.baidu.com/view/149416.htm craw 246 : http://baike.baidu.com/view/4372117.htm craw 247 : http://baike.baidu.com/view/71792.htm craw 248 : http://baike.baidu.com/view/2187861.htm craw 249 : http://baike.baidu.com/view/274765.htm craw 250 : http://baike.baidu.com/view/2052719.htm craw 251 : http://baike.baidu.com/view/4245866.htm craw 252 : http://baike.baidu.com/view/101480.htm craw 253 : http://baike.baidu.com/view/600107.htm craw 254 : http://baike.baidu.com/view/409891.htm craw 255 : http://baike.baidu.com/view/18869.htm craw 256 : http://baike.baidu.com/view/1063549.htm craw 257 : http://baike.baidu.com/view/2086457.htm craw 258 : http://baike.baidu.com/view/3715262.htm craw 259 : http://baike.baidu.com/view/24984.htm craw 260 : http://baike.baidu.com/view/89452.htm craw 261 : http://baike.baidu.com/view/6683.htm craw 262 : http://baike.baidu.com/view/3474.htm craw 263 : http://baike.baidu.com/view/550915.htm craw 264 : http://baike.baidu.com/view/80142.htm craw 265 : http://baike.baidu.com/view/249084.htm craw 266 : http://baike.baidu.com/view/567894.htm craw 267 : http://baike.baidu.com/view/7974045.htm craw 268 : http://baike.baidu.com/view/562547.htm craw 269 : http://baike.baidu.com/view/148537.htm craw 270 : http://baike.baidu.com/view/3081394.htm craw 271 : http://baike.baidu.com/view/1296507.htm craw 272 : http://baike.baidu.com/view/1215449.htm craw 273 : http://baike.baidu.com/view/4220534.htm craw 274 : http://baike.baidu.com/view/552298.htm craw 275 : http://baike.baidu.com/view/28270.htm craw 276 : http://baike.baidu.com/view/369515.htm craw 277 : http://baike.baidu.com/view/941857.htm craw 278 : http://baike.baidu.com/view/873573.htm craw 279 : http://baike.baidu.com/view/189818.htm craw 280 : http://baike.baidu.com/view/207775.htm craw 281 : http://baike.baidu.com/view/30049.htm craw 282 : http://baike.baidu.com/view/291195.htm craw 283 : http://baike.baidu.com/view/94667.htm craw 284 : http://baike.baidu.com/view/214618.htm craw 285 : http://baike.baidu.com/view/5093.htm craw 286 : http://baike.baidu.com/view/4723.htm craw 287 : http://baike.baidu.com/view/21971.htm craw 288 : http://baike.baidu.com/view/4981.htm craw 289 : http://baike.baidu.com/view/163.htm craw 290 : http://baike.baidu.com/view/161381.htm craw 291 : http://baike.baidu.com/view/306550.htm craw 292 : http://baike.baidu.com/view/3710530.htm craw 293 : http://baike.baidu.com/view/346799.htm craw 294 : http://baike.baidu.com/view/2332455.htm craw 295 : http://baike.baidu.com/view/1346016.htm craw 296 : http://baike.baidu.com/view/34163.htm craw 297 : http://baike.baidu.com/view/1040178.htm craw 298 : http://baike.baidu.com/view/132820.htm craw 299 : http://baike.baidu.com/view/1170461.htm craw 300 : http://baike.baidu.com/view/206889.htm craw 301 : http://baike.baidu.com/view/358623.htm craw 302 : http://baike.baidu.com/view/6833490.htm craw 303 : http://baike.baidu.com/view/521403.htm craw 304 : http://baike.baidu.com/view/168039.htm craw 305 : http://baike.baidu.com/view/624287.htm craw 306 : http://baike.baidu.com/view/3669232.htm craw 307 : http://baike.baidu.com/view/725411.htm craw 308 : http://baike.baidu.com/view/1776829.htm craw 309 : http://baike.baidu.com/view/6711967.htm craw 310 : http://baike.baidu.com/view/229466.htm craw 311 : http://baike.baidu.com/view/4895945.htm craw 312 : http://baike.baidu.com/view/1708047.htm craw 313 : http://baike.baidu.com/view/1032826.htm craw 314 : http://baike.baidu.com/view/223917.htm craw 315 : http://baike.baidu.com/view/58612.htm craw 316 : http://baike.baidu.com/view/364718.htm craw 317 : http://baike.baidu.com/view/1553010.htm craw 318 : http://baike.baidu.com/view/40073.htm craw 319 : http://baike.baidu.com/view/10108.htm craw 320 : http://baike.baidu.com/view/62180.htm craw 321 : http://baike.baidu.com/view/1689.htm craw 322 : http://baike.baidu.com/view/854461.htm craw 323 : http://baike.baidu.com/view/940627.htm craw 324 : http://baike.baidu.com/view/2359457.htm craw 325 : http://baike.baidu.com/view/8222.htm craw 326 : http://baike.baidu.com/view/154898.htm craw 327 : http://baike.baidu.com/view/3247896.htm craw 328 : http://baike.baidu.com/view/615014.htm craw 329 : http://baike.baidu.com/view/21220.htm craw 330 : http://baike.baidu.com/view/847698.htm craw 331 : http://baike.baidu.com/view/2552483.htm craw 332 : http://baike.baidu.com/view/446276.htm craw 333 : http://baike.baidu.com/view/42510.htm craw 334 : http://baike.baidu.com/view/9515579.htm craw 335 : http://baike.baidu.com/view/3440211.htm craw 336 : http://baike.baidu.com/view/6654.htm craw 337 : http://baike.baidu.com/view/852359.htm craw 338 : http://baike.baidu.com/view/933483.htm craw 339 : http://baike.baidu.com/view/36759.htm craw 340 : http://baike.baidu.com/view/1856605.htm craw 341 : http://baike.baidu.com/view/1564035.htm craw 342 : http://baike.baidu.com/view/2940349.htm craw 343 : http://baike.baidu.com/view/953642.htm craw 344 : http://baike.baidu.com/view/10537.htm craw 345 : http://baike.baidu.com/view/441484.htm craw 346 : http://baike.baidu.com/view/1497437.htm craw 347 : http://baike.baidu.com/view/813231.htm craw 348 : http://baike.baidu.com/view/7899247.htm craw 349 : http://baike.baidu.com/view/27253.htm craw 350 : http://baike.baidu.com/view/880846.htm craw 351 : http://baike.baidu.com/view/74271.htm craw 352 : http://baike.baidu.com/view/147943.htm craw 353 : http://baike.baidu.com/view/3830.htm craw 354 : http://baike.baidu.com/view/210252.htm craw 355 : http://baike.baidu.com/view/23985.htm craw 356 : http://baike.baidu.com/view/117233.htm craw 357 : http://baike.baidu.com/view/3794034.htm craw 358 : http://baike.baidu.com/view/195371.htm craw 359 : http://baike.baidu.com/view/723571.htm craw 360 : http://baike.baidu.com/view/15147985.htm craw 361 : http://baike.baidu.com/view/1298974.htm craw 362 : http://baike.baidu.com/view/20658.htm craw 363 : http://baike.baidu.com/view/45333.htm craw 364 : http://baike.baidu.com/view/26607.htm craw 365 : http://baike.baidu.com/view/494962.htm craw 366 : http://baike.baidu.com/view/483302.htm craw 367 : http://baike.baidu.com/view/416875.htm craw 368 : http://baike.baidu.com/view/37814.htm craw 369 : http://baike.baidu.com/view/2760.htm craw 370 : http://baike.baidu.com/view/21959.htm craw 371 : http://baike.baidu.com/view/1685140.htm craw 372 : http://baike.baidu.com/view/1914.htm craw 373 : http://baike.baidu.com/view/191224.htm craw 374 : http://baike.baidu.com/view/474547.htm craw 375 : http://baike.baidu.com/view/71793.htm craw 376 : http://baike.baidu.com/view/1689.htm?force=1 craw failed craw 376 : http://baike.baidu.com/view/3740105.htm craw 377 : http://baike.baidu.com/view/1526467.htm craw 378 : http://baike.baidu.com/view/109721.htm craw 379 : http://baike.baidu.com/view/47722.htm craw 380 : http://baike.baidu.com/view/390088.htm craw 381 : http://baike.baidu.com/view/26400.htm craw 382 : http://baike.baidu.com/view/7942745.htm craw 383 : http://baike.baidu.com/view/959239.htm craw 384 : http://baike.baidu.com/view/35719.htm craw 385 : http://baike.baidu.com/view/443551.htm craw 386 : http://baike.baidu.com/view/303713.htm craw 387 : http://baike.baidu.com/view/1307896.htm craw 388 : http://baike.baidu.com/view/294909.htm craw 389 : http://baike.baidu.com/view/2430624.htm craw 390 : http://baike.baidu.com/view/14589859.htm craw 391 : http://baike.baidu.com/view/13744528.htm craw 392 : http://baike.baidu.com/view/159171.htm craw 393 : http://baike.baidu.com/view/14140.htm craw 394 : http://baike.baidu.com/view/77570.htm craw 395 : http://baike.baidu.com/view/1070557.htm craw 396 : http://baike.baidu.com/view/560222.htm craw 397 : http://baike.baidu.com/view/4960.htm craw 398 : http://baike.baidu.com/view/36836.htm craw 399 : http://baike.baidu.com/view/37550.htm craw 400 : http://baike.baidu.com/view/1565.htm craw 401 : http://baike.baidu.com/view/602315.htm craw 402 : http://baike.baidu.com/view/880103.htm craw 403 : http://baike.baidu.com/view/956.htm craw 404 : http://baike.baidu.com/view/204970.htm craw 405 : http://baike.baidu.com/view/390583.htm craw 406 : http://baike.baidu.com/view/302307.htm craw 407 : http://baike.baidu.com/view/1052759.htm craw 408 : http://baike.baidu.com/view/171250.htm craw 409 : http://baike.baidu.com/view/274162.htm craw 410 : http://baike.baidu.com/view/1210491.htm craw 411 : http://baike.baidu.com/view/74493.htm craw 412 : http://baike.baidu.com/view/7004159.htm craw 413 : http://baike.baidu.com/view/53376.htm craw 414 : http://baike.baidu.com/view/233100.htm craw 415 : http://baike.baidu.com/view/29999.htm craw 416 : http://baike.baidu.com/view/432089.htm craw 417 : http://baike.baidu.com/view/894260.htm craw 418 : http://baike.baidu.com/view/1015260.htm craw 419 : http://baike.baidu.com/view/675970.htm craw 420 : http://baike.baidu.com/view/636395.htm craw 421 : http://baike.baidu.com/view/7119433.htm craw 422 : http://baike.baidu.com/view/179090.htm craw 423 : http://baike.baidu.com/view/31249.htm craw 424 : http://baike.baidu.com/view/5793.htm craw 425 : http://baike.baidu.com/view/888312.htm craw 426 : http://baike.baidu.com/view/2438591.htm craw 427 : http://baike.baidu.com/view/293860.htm craw 428 : http://baike.baidu.com/view/920855.htm craw 429 : http://baike.baidu.com/view/64183.htm craw 430 : http://baike.baidu.com/view/1992225.htm craw 431 : http://baike.baidu.com/view/8497874.htm craw 432 : http://baike.baidu.com/view/4591.htm craw 433 : http://baike.baidu.com/view/25435.htm craw 434 : http://baike.baidu.com/view/41321.htm craw 435 : http://baike.baidu.com/view/2053930.htm craw 436 : http://baike.baidu.com/view/1496782.htm craw 437 : http://baike.baidu.com/view/305588.htm craw 438 : http://baike.baidu.com/view/5936045.htm craw 439 : http://baike.baidu.com/view/999833.htm craw 440 : http://baike.baidu.com/view/6565257.htm craw 441 : http://baike.baidu.com/view/48726.htm craw 442 : http://baike.baidu.com/view/3453016.htm craw 443 : http://baike.baidu.com/view/2557460.htm craw 444 : http://baike.baidu.com/view/802757.htm craw 445 : http://baike.baidu.com/view/7967.htm craw 446 : http://baike.baidu.com/view/2639413.htm craw 447 : http://baike.baidu.com/view/81293.htm craw 448 : http://baike.baidu.com/view/64179.htm craw 449 : http://baike.baidu.com/view/82466.htm craw 450 : http://baike.baidu.com/view/33391.htm craw 451 : http://baike.baidu.com/view/938780.htm craw 452 : http://baike.baidu.com/view/5410625.htm craw 453 : http://baike.baidu.com/view/40164.htm craw 454 : http://baike.baidu.com/view/502623.htm craw 455 : http://baike.baidu.com/view/2362012.htm craw 456 : http://baike.baidu.com/view/2975910.htm craw 457 : http://baike.baidu.com/view/6021158.htm craw 458 : http://baike.baidu.com/view/37412.htm craw 459 : http://baike.baidu.com/view/1593538.htm craw 460 : http://baike.baidu.com/view/71687.htm craw 461 : http://baike.baidu.com/view/3230.htm craw 462 : http://baike.baidu.com/view/1520474.htm craw 463 : http://baike.baidu.com/view/26839.htm craw 464 : http://baike.baidu.com/view/133316.htm craw 465 : http://baike.baidu.com/view/129261.htm craw 466 : http://baike.baidu.com/view/78504.htm?force=1 craw failed craw 466 : http://baike.baidu.com/view/1769413.htm craw 467 : http://baike.baidu.com/view/828867.htm craw failed craw 467 : http://baike.baidu.com/view/1596573.htm craw 468 : http://baike.baidu.com/view/2578280.htm craw 469 : http://baike.baidu.com/view/563790.htm craw 470 : http://baike.baidu.com/view/510282.htm craw 471 : http://baike.baidu.com/view/3180364.htm craw 472 : http://baike.baidu.com/view/10950862.htm craw 473 : http://baike.baidu.com/view/4974089.htm craw 474 : http://baike.baidu.com/view/2053679.htm craw 475 : http://baike.baidu.com/view/1267536.htm craw 476 : http://baike.baidu.com/view/65649.htm craw 477 : http://baike.baidu.com/view/543084.htm craw 478 : http://baike.baidu.com/view/1958670.htm craw 479 : http://baike.baidu.com/view/2743188.htm craw 480 : http://baike.baidu.com/view/135809.htm craw 481 : http://baike.baidu.com/view/285172.htm craw 482 : http://baike.baidu.com/view/35661.htm craw 483 : http://baike.baidu.com/view/7923082.htm craw 484 : http://baike.baidu.com/view/10870540.htm craw 485 : http://baike.baidu.com/view/7034.htm craw 486 : http://baike.baidu.com/view/2952944.htm craw 487 : http://baike.baidu.com/view/11774919.htm craw 488 : http://baike.baidu.com/view/22033.htm craw 489 : http://baike.baidu.com/view/399983.htm craw 490 : http://baike.baidu.com/view/72967.htm craw 491 : http://baike.baidu.com/view/551398.htm craw 492 : http://baike.baidu.com/view/247097.htm craw 493 : http://baike.baidu.com/view/363789.htm craw 494 : http://baike.baidu.com/view/2180988.htm craw 495 : http://baike.baidu.com/view/1070553.htm craw 496 : http://baike.baidu.com/view/531247.htm craw 497 : http://baike.baidu.com/view/247033.htm craw 498 : http://baike.baidu.com/view/1304533.htm craw 499 : http://baike.baidu.com/view/818225.htm craw 500 : http://baike.baidu.com/view/5289556.htm craw 501 : http://baike.baidu.com/view/77495.htm craw 502 : http://baike.baidu.com/view/35995.htm craw 503 : http://baike.baidu.com/view/381505.htm craw 504 : http://baike.baidu.com/view/2528713.htm craw 505 : http://baike.baidu.com/view/89158.htm craw 506 : http://baike.baidu.com/view/987432.htm craw 507 : http://baike.baidu.com/view/46420.htm craw 508 : http://baike.baidu.com/view/604631.htm craw 509 : http://baike.baidu.com/view/280891.htm craw 510 : http://baike.baidu.com/view/746295.htm craw 511 : http://baike.baidu.com/view/400.htm craw 512 : http://baike.baidu.com/view/392325.htm craw 513 : http://baike.baidu.com/view/306945.htm craw 514 : http://baike.baidu.com/view/1145204.htm craw 515 : http://baike.baidu.com/view/709049.htm craw 516 : http://baike.baidu.com/view/9822717.htm craw 517 : http://baike.baidu.com/view/990418.htm craw 518 : http://baike.baidu.com/view/116024.htm craw 519 : http://baike.baidu.com/view/571805.htm craw 520 : http://baike.baidu.com/view/1833325.htm craw 521 : http://baike.baidu.com/view/83461.htm craw 522 : http://baike.baidu.com/view/93546.htm craw 523 : http://baike.baidu.com/view/2375679.htm craw 524 : http://baike.baidu.com/view/547398.htm craw 525 : http://baike.baidu.com/view/604160.htm craw 526 : http://baike.baidu.com/view/634832.htm craw 527 : http://baike.baidu.com/view/878756.htm craw 528 : http://baike.baidu.com/view/1333289.htm craw 529 : http://baike.baidu.com/view/1069189.htm craw 530 : http://baike.baidu.com/view/2255144.htm craw failed craw 530 : http://baike.baidu.com/view/188818.htm craw 531 : http://baike.baidu.com/view/312489.htm craw 532 : http://baike.baidu.com/view/29545.htm craw 533 : http://baike.baidu.com/view/14662.htm craw 534 : http://baike.baidu.com/view/314691.htm craw 535 : http://baike.baidu.com/view/69242.htm craw 536 : http://baike.baidu.com/view/904574.htm craw 537 : http://baike.baidu.com/view/1968722.htm craw 538 : http://baike.baidu.com/view/604631.htm?force=1 craw failed craw 538 : http://baike.baidu.com/view/1217602.htm craw 539 : http://baike.baidu.com/view/21781.htm craw 540 : http://baike.baidu.com/view/48252.htm craw 541 : http://baike.baidu.com/view/1782706.htm craw 542 : http://baike.baidu.com/view/490646.htm craw 543 : http://baike.baidu.com/view/1522668.htm craw 544 : http://baike.baidu.com/view/30528.htm craw 545 : http://baike.baidu.com/view/15342391.htm craw 546 : http://baike.baidu.com/view/173672.htm craw 547 : http://baike.baidu.com/view/836237.htm craw 548 : http://baike.baidu.com/view/285484.htm?force=1 craw failed craw 548 : http://baike.baidu.com/view/194638.htm craw 549 : http://baike.baidu.com/view/11613295.htm craw 550 : http://baike.baidu.com/view/880359.htm craw 551 : http://baike.baidu.com/view/330007.htm craw 552 : http://baike.baidu.com/view/148021.htm craw 553 : http://baike.baidu.com/view/961640.htm craw 554 : http://baike.baidu.com/view/551337.htm craw 555 : http://baike.baidu.com/view/1009570.htm craw 556 : http://baike.baidu.com/view/806175.htm craw 557 : http://baike.baidu.com/view/2438050.htm craw 558 : http://baike.baidu.com/view/752847.htm craw 559 : http://baike.baidu.com/view/1137287.htm craw 560 : http://baike.baidu.com/view/5711088.htm craw 561 : http://baike.baidu.com/view/5307477.htm craw 562 : http://baike.baidu.com/view/13973661.htm craw 563 : http://baike.baidu.com/view/699202.htm craw 564 : http://baike.baidu.com/view/38554.htm craw 565 : http://baike.baidu.com/view/15109778.htm craw 566 : http://baike.baidu.com/view/8162095.htm craw 567 : http://baike.baidu.com/view/51352.htm craw 568 : http://baike.baidu.com/view/195862.htm craw 569 : http://baike.baidu.com/view/415801.htm craw 570 : http://baike.baidu.com/view/892300.htm craw 571 : http://baike.baidu.com/view/37280.htm craw 572 : http://baike.baidu.com/view/393108.htm craw 573 : http://baike.baidu.com/view/255029.htm craw 574 : http://baike.baidu.com/view/547864.htm craw 575 : http://baike.baidu.com/view/1518634.htm craw 576 : http://baike.baidu.com/view/320533.htm craw 577 : http://baike.baidu.com/view/437807.htm craw 578 : http://baike.baidu.com/view/34790.htm craw 579 : http://baike.baidu.com/view/209521.htm craw 580 : http://baike.baidu.com/view/1086113.htm craw 581 : http://baike.baidu.com/view/172427.htm craw 582 : http://baike.baidu.com/view/2888080.htm craw 583 : http://baike.baidu.com/view/73455.htm craw 584 : http://baike.baidu.com/view/6159200.htm craw 585 : http://baike.baidu.com/view/10159127.htm craw 586 : http://baike.baidu.com/view/1019427.htm craw 587 : http://baike.baidu.com/view/285183.htm craw 588 : http://baike.baidu.com/view/11288993.htm craw 589 : http://baike.baidu.com/view/354087.htm craw 590 : http://baike.baidu.com/view/2769.htm craw 591 : http://baike.baidu.com/view/989422.htm craw 592 : http://baike.baidu.com/view/624572.htm craw 593 : http://baike.baidu.com/view/6979179.htm craw 594 : http://baike.baidu.com/view/3204817.htm craw 595 : http://baike.baidu.com/view/6128884.htm craw 596 : http://baike.baidu.com/view/1629883.htm craw 597 : http://baike.baidu.com/view/157652.htm craw 598 : http://baike.baidu.com/view/1546705.htm craw 599 : http://baike.baidu.com/view/8433888.htm craw 600 : http://baike.baidu.com/view/4469413.htm craw 601 : http://baike.baidu.com/view/38597.htm craw 602 : http://baike.baidu.com/view/2663283.htm craw failed craw 602 : http://baike.baidu.com/view/3897.htm craw 603 : http://baike.baidu.com/view/731826.htm craw 604 : http://baike.baidu.com/view/4565963.htm craw 605 : http://baike.baidu.com/view/122313.htm craw 606 : http://baike.baidu.com/view/82042.htm craw 607 : http://baike.baidu.com/view/2145608.htm craw 608 : http://baike.baidu.com/view/543799.htm craw 609 : http://baike.baidu.com/view/3159946.htm craw 610 : http://baike.baidu.com/view/5622.htm craw 611 : http://baike.baidu.com/view/4956083.htm craw 612 : http://baike.baidu.com/view/2838982.htm craw 613 : http://baike.baidu.com/view/2189843.htm craw 614 : http://baike.baidu.com/view/1963.htm craw 615 : http://baike.baidu.com/view/1830171.htm craw 616 : http://baike.baidu.com/view/287517.htm craw 617 : http://baike.baidu.com/view/954381.htm craw 618 : http://baike.baidu.com/view/1125626.htm craw 619 : http://baike.baidu.com/view/807947.htm craw 620 : http://baike.baidu.com/view/1622687.htm craw 621 : http://baike.baidu.com/view/89062.htm craw 622 : http://baike.baidu.com/view/374019.htm craw 623 : http://baike.baidu.com/view/15063271.htm craw 624 : http://baike.baidu.com/view/2840006.htm craw 625 : http://baike.baidu.com/view/63932.htm craw 626 : http://baike.baidu.com/view/50425.htm craw 627 : http://baike.baidu.com/view/27827.htm craw 628 : http://baike.baidu.com/view/3350878.htm craw 629 : http://baike.baidu.com/view/79022.htm craw 630 : http://baike.baidu.com/view/873224.htm craw 631 : http://baike.baidu.com/view/838647.htm craw 632 : http://baike.baidu.com/view/37971.htm craw 633 : http://baike.baidu.com/view/1272377.htm craw 634 : http://baike.baidu.com/view/4902.htm craw 635 : http://baike.baidu.com/view/908487.htm craw 636 : http://baike.baidu.com/view/752677.htm craw 637 : http://baike.baidu.com/view/184943.htm craw 638 : http://baike.baidu.com/view/82384.htm craw 639 : http://baike.baidu.com/view/51280.htm craw 640 : http://baike.baidu.com/view/2454858.htm craw 641 : http://baike.baidu.com/view/3629327.htm craw 642 : http://baike.baidu.com/view/1270686.htm craw 643 : http://baike.baidu.com/view/5607.htm craw 644 : http://baike.baidu.com/view/7324.htm craw 645 : http://baike.baidu.com/view/49842.htm craw 646 : http://baike.baidu.com/view/1222.htm craw 647 : http://baike.baidu.com/view/5134310.htm craw 648 : http://baike.baidu.com/view/7899025.htm craw 649 : http://baike.baidu.com/view/626538.htm craw 650 : http://baike.baidu.com/view/1356068.htm craw 651 : http://baike.baidu.com/view/635488.htm craw 652 : http://baike.baidu.com/view/2690747.htm craw 653 : http://baike.baidu.com/view/19308.htm craw 654 : http://baike.baidu.com/view/1115676.htm craw 655 : http://baike.baidu.com/view/145665.htm craw 656 : http://baike.baidu.com/view/57240.htm craw 657 : http://baike.baidu.com/view/3811504.htm craw 658 : http://baike.baidu.com/view/196935.htm craw 659 : http://baike.baidu.com/view/779630.htm craw 660 : http://baike.baidu.com/view/467578.htm craw 661 : http://baike.baidu.com/view/163592.htm craw 662 : http://baike.baidu.com/view/3473650.htm craw 663 : http://baike.baidu.com/view/708788.htm craw 664 : http://baike.baidu.com/view/743382.htm craw 665 : http://baike.baidu.com/view/377580.htm craw 666 : http://baike.baidu.com/view/255729.htm craw 667 : http://baike.baidu.com/view/4314.htm craw 668 : http://baike.baidu.com/view/4295873.htm craw 669 : http://baike.baidu.com/view/2749901.htm craw 670 : http://baike.baidu.com/view/6655573.htm craw 671 : http://baike.baidu.com/view/3060872.htm craw 672 : http://baike.baidu.com/view/25309.htm craw 673 : http://baike.baidu.com/view/59593.htm craw 674 : http://baike.baidu.com/view/4052445.htm craw 675 : http://baike.baidu.com/view/945149.htm craw 676 : http://baike.baidu.com/view/38020.htm craw 677 : http://baike.baidu.com/view/15707.htm craw 678 : http://baike.baidu.com/view/1791978.htm craw 679 : http://baike.baidu.com/view/2037245.htm craw 680 : http://baike.baidu.com/view/57483.htm craw 681 : http://baike.baidu.com/view/850287.htm craw 682 : http://baike.baidu.com/view/56533.htm craw 683 : http://baike.baidu.com/view/4998282.htm craw 684 : http://baike.baidu.com/view/420580.htm craw 685 : http://baike.baidu.com/view/6464381.htm craw 686 : http://baike.baidu.com/view/628311.htm craw 687 : http://baike.baidu.com/view/247560.htm craw 688 : http://baike.baidu.com/view/247920.htm craw 689 : http://baike.baidu.com/view/1768.htm?force=1 craw failed craw 689 : http://baike.baidu.com/view/437926.htm craw 690 : http://baike.baidu.com/view/335524.htm craw 691 : http://baike.baidu.com/view/99763.htm craw 692 : http://baike.baidu.com/view/87503.htm craw 693 : http://baike.baidu.com/view/73340.htm craw 694 : http://baike.baidu.com/view/153495.htm craw 695 : http://baike.baidu.com/view/1045770.htm craw 696 : http://baike.baidu.com/view/1050019.htm craw 697 : http://baike.baidu.com/view/629649.htm craw 698 : http://baike.baidu.com/view/118803.htm craw 699 : http://baike.baidu.com/view/134456.htm craw 700 : http://baike.baidu.com/view/9009455.htm craw 701 : http://baike.baidu.com/view/731775.htm craw 702 : http://baike.baidu.com/view/1080.htm craw 703 : http://baike.baidu.com/view/296505.htm craw 704 : http://baike.baidu.com/view/8375162.htm craw 705 : http://baike.baidu.com/view/165332.htm craw 706 : http://baike.baidu.com/view/768643.htm craw 707 : http://baike.baidu.com/view/1127103.htm craw 708 : http://baike.baidu.com/view/253674.htm craw 709 : http://baike.baidu.com/view/287053.htm craw 710 : http://baike.baidu.com/view/823673.htm craw 711 : http://baike.baidu.com/view/4690186.htm craw 712 : http://baike.baidu.com/view/365436.htm craw 713 : http://baike.baidu.com/view/8964601.htm craw 714 : http://baike.baidu.com/view/57614.htm craw 715 : http://baike.baidu.com/view/114498.htm craw 716 : http://baike.baidu.com/view/923594.htm craw 717 : http://baike.baidu.com/view/60929.htm craw 718 : http://baike.baidu.com/view/5435047.htm craw 719 : http://baike.baidu.com/view/506283.htm craw 720 : http://baike.baidu.com/view/540990.htm craw 721 : http://baike.baidu.com/view/1108588.htm craw 722 : http://baike.baidu.com/view/52606.htm craw 723 : http://baike.baidu.com/view/1316104.htm craw 724 : http://baike.baidu.com/view/746679.htm craw 725 : http://baike.baidu.com/view/1677203.htm craw 726 : http://baike.baidu.com/view/89762.htm craw 727 : http://baike.baidu.com/view/83228.htm craw 728 : http://baike.baidu.com/view/3725178.htm craw 729 : http://baike.baidu.com/view/146163.htm craw 730 : http://baike.baidu.com/view/36453.htm craw 731 : http://baike.baidu.com/view/3426346.htm craw 732 : http://baike.baidu.com/view/3566096.htm craw 733 : http://baike.baidu.com/view/1601411.htm craw 734 : http://baike.baidu.com/view/55489.htm craw 735 : http://baike.baidu.com/view/16861.htm craw 736 : http://baike.baidu.com/view/4987812.htm craw 737 : http://baike.baidu.com/view/367246.htm craw 738 : http://baike.baidu.com/view/42607.htm craw 739 : http://baike.baidu.com/view/51830.htm craw 740 : http://baike.baidu.com/view/3086730.htm craw 741 : http://baike.baidu.com/view/187677.htm craw 742 : http://baike.baidu.com/view/10812319.htm craw 743 : http://baike.baidu.com/view/9278189.htm craw failed craw 743 : http://baike.baidu.com/view/11154.htm craw 744 : http://baike.baidu.com/view/3877425.htm craw 745 : http://baike.baidu.com/view/3786883.htm craw 746 : http://baike.baidu.com/view/115626.htm craw 747 : http://baike.baidu.com/view/1541187.htm craw 748 : http://baike.baidu.com/view/417234.htm craw 749 : http://baike.baidu.com/view/1504278.htm craw 750 : http://baike.baidu.com/view/984311.htm craw 751 : http://baike.baidu.com/view/427781.htm craw 752 : http://baike.baidu.com/view/206565.htm craw 753 : http://baike.baidu.com/view/7812.htm craw 754 : http://baike.baidu.com/view/3245437.htm craw 755 : http://baike.baidu.com/view/958886.htm craw 756 : http://baike.baidu.com/view/99902.htm craw 757 : http://baike.baidu.com/view/737191.htm craw 758 : http://baike.baidu.com/view/149197.htm craw 759 : http://baike.baidu.com/view/39583.htm craw 760 : http://baike.baidu.com/view/469556.htm craw 761 : http://baike.baidu.com/view/439228.htm craw 762 : http://baike.baidu.com/view/804486.htm craw 763 : http://baike.baidu.com/view/3047417.htm craw 764 : http://baike.baidu.com/view/56242.htm craw 765 : http://baike.baidu.com/view/3354307.htm craw 766 : http://baike.baidu.com/view/329791.htm craw 767 : http://baike.baidu.com/view/3973.htm craw 768 : http://baike.baidu.com/view/21337.htm craw 769 : http://baike.baidu.com/view/568485.htm craw 770 : http://baike.baidu.com/view/98396.htm craw 771 : http://baike.baidu.com/view/2986106.htm craw 772 : http://baike.baidu.com/view/335545.htm craw 773 : http://baike.baidu.com/view/1358513.htm craw 774 : http://baike.baidu.com/view/597419.htm craw 775 : http://baike.baidu.com/view/79928.htm craw 776 : http://baike.baidu.com/view/1976893.htm craw 777 : http://baike.baidu.com/view/34721.htm craw 778 : http://baike.baidu.com/view/729241.htm craw 779 : http://baike.baidu.com/view/2078353.htm craw 780 : http://baike.baidu.com/view/805190.htm craw 781 : http://baike.baidu.com/view/3445469.htm craw 782 : http://baike.baidu.com/view/140904.htm craw 783 : http://baike.baidu.com/view/13590860.htm craw 784 : http://baike.baidu.com/view/10796.htm craw 785 : http://baike.baidu.com/view/1007475.htm craw 786 : http://baike.baidu.com/view/288200.htm craw 787 : http://baike.baidu.com/view/198007.htm craw 788 : http://baike.baidu.com/view/596572.htm craw 789 : http://baike.baidu.com/view/4818171.htm craw 790 : http://baike.baidu.com/view/340391.htm craw 791 : http://baike.baidu.com/view/228841.htm craw 792 : http://baike.baidu.com/view/251133.htm craw 793 : http://baike.baidu.com/view/80160.htm craw 794 : http://baike.baidu.com/view/105988.htm craw 795 : http://baike.baidu.com/view/54530.htm craw 796 : http://baike.baidu.com/view/333303.htm craw 797 : http://baike.baidu.com/view/44065.htm craw 798 : http://baike.baidu.com/view/313748.htm craw 799 : http://baike.baidu.com/view/910606.htm craw 800 : http://baike.baidu.com/view/2196457.htm craw 801 : http://baike.baidu.com/view/288526.htm craw 802 : http://baike.baidu.com/view/26942.htm craw 803 : http://baike.baidu.com/view/1149053.htm craw 804 : http://baike.baidu.com/view/553274.htm craw 805 : http://baike.baidu.com/view/4196296.htm craw 806 : http://baike.baidu.com/view/164289.htm craw 807 : http://baike.baidu.com/view/323674.htm craw 808 : http://baike.baidu.com/view/545998.htm craw 809 : http://baike.baidu.com/view/14449.htm craw 810 : http://baike.baidu.com/view/89193.htm craw 811 : http://baike.baidu.com/view/1044776.htm craw 812 : http://baike.baidu.com/view/928508.htm craw 813 : http://baike.baidu.com/view/2931465.htm craw 814 : http://baike.baidu.com/view/14757936.htm craw 815 : http://baike.baidu.com/view/3021225.htm craw 816 : http://baike.baidu.com/view/16351.htm craw 817 : http://baike.baidu.com/view/23177.htm craw 818 : http://baike.baidu.com/view/274843.htm craw 819 : http://baike.baidu.com/view/88690.htm craw 820 : http://baike.baidu.com/view/10700.htm craw 821 : http://baike.baidu.com/view/8538065.htm craw 822 : http://baike.baidu.com/view/979603.htm craw 823 : http://baike.baidu.com/view/685011.htm craw 824 : http://baike.baidu.com/view/1367984.htm craw 825 : http://baike.baidu.com/view/587157.htm craw 826 : http://baike.baidu.com/view/794899.htm craw 827 : http://baike.baidu.com/view/2039207.htm craw 828 : http://baike.baidu.com/view/1490321.htm craw 829 : http://baike.baidu.com/view/35662.htm craw 830 : http://baike.baidu.com/view/8634.htm craw 831 : http://baike.baidu.com/view/30493.htm craw 832 : http://baike.baidu.com/view/5242.htm craw 833 : http://baike.baidu.com/view/1130583.htm craw 834 : http://baike.baidu.com/view/38474.htm craw 835 : http://baike.baidu.com/view/873549.htm craw 836 : http://baike.baidu.com/view/688587.htm craw 837 : http://baike.baidu.com/view/60095.htm craw 838 : http://baike.baidu.com/view/3923.htm craw 839 : http://baike.baidu.com/view/18765.htm craw 840 : http://baike.baidu.com/view/11638201.htm craw 841 : http://baike.baidu.com/view/1037512.htm craw 842 : http://baike.baidu.com/view/59739.htm craw failed craw 842 : http://baike.baidu.com/view/6552084.htm craw 843 : http://baike.baidu.com/view/337787.htm craw 844 : http://baike.baidu.com/view/1256385.htm craw 845 : http://baike.baidu.com/view/3225925.htm craw 846 : http://baike.baidu.com/view/1116925.htm craw 847 : http://baike.baidu.com/view/3287082.htm craw 848 : http://baike.baidu.com/view/999500.htm craw 849 : http://baike.baidu.com/view/1364083.htm craw 850 : http://baike.baidu.com/view/270299.htm craw 851 : http://baike.baidu.com/view/7706.htm craw 852 : http://baike.baidu.com/view/60584.htm craw 853 : http://baike.baidu.com/view/285987.htm craw 854 : http://baike.baidu.com/view/45007.htm craw 855 : http://baike.baidu.com/view/3311889.htm craw 856 : http://baike.baidu.com/view/109766.htm craw 857 : http://baike.baidu.com/view/7323.htm craw 858 : http://baike.baidu.com/view/69991.htm craw 859 : http://baike.baidu.com/view/11158473.htm craw 860 : http://baike.baidu.com/view/3163917.htm craw 861 : http://baike.baidu.com/view/1263178.htm craw 862 : http://baike.baidu.com/view/597279.htm craw 863 : http://baike.baidu.com/view/52057.htm craw 864 : http://baike.baidu.com/view/58175.htm craw 865 : http://baike.baidu.com/view/381838.htm craw 866 : http://baike.baidu.com/view/805176.htm craw 867 : http://baike.baidu.com/view/178723.htm craw 868 : http://baike.baidu.com/view/518963.htm craw 869 : http://baike.baidu.com/view/184163.htm craw 870 : http://baike.baidu.com/view/6408149.htm craw 871 : http://baike.baidu.com/view/4637814.htm craw 872 : http://baike.baidu.com/view/1421620.htm craw 873 : http://baike.baidu.com/view/82408.htm craw 874 : http://baike.baidu.com/view/304158.htm craw 875 : http://baike.baidu.com/view/1004191.htm craw 876 : http://baike.baidu.com/view/8446486.htm craw 877 : http://baike.baidu.com/view/358971.htm craw 878 : http://baike.baidu.com/view/1638.htm craw 879 : http://baike.baidu.com/view/4257789.htm craw 880 : http://baike.baidu.com/view/37133.htm craw 881 : http://baike.baidu.com/view/250855.htm craw 882 : http://baike.baidu.com/view/849929.htm craw 883 : http://baike.baidu.com/view/9441552.htm craw 884 : http://baike.baidu.com/view/312355.htm craw 885 : http://baike.baidu.com/view/1021898.htm craw 886 : http://baike.baidu.com/view/2052696.htm craw 887 : http://baike.baidu.com/view/603384.htm craw 888 : http://baike.baidu.com/view/287199.htm craw 889 : http://baike.baidu.com/view/7907351.htm craw 890 : http://baike.baidu.com/view/116145.htm craw 891 : http://baike.baidu.com/view/20160.htm craw 892 : http://baike.baidu.com/view/319976.htm craw 893 : http://baike.baidu.com/view/1605842.htm craw 894 : http://baike.baidu.com/view/103801.htm craw 895 : http://baike.baidu.com/view/296496.htm craw 896 : http://baike.baidu.com/view/68902.htm craw 897 : http://baike.baidu.com/view/2398702.htm craw 898 : http://baike.baidu.com/view/2208576.htm craw 899 : http://baike.baidu.com/view/89461.htm craw 900 : http://baike.baidu.com/view/3276196.htm craw 901 : http://baike.baidu.com/view/769262.htm craw 902 : http://baike.baidu.com/view/648077.htm craw 903 : http://baike.baidu.com/view/652289.htm craw 904 : http://baike.baidu.com/view/303841.htm craw 905 : http://baike.baidu.com/view/68799.htm craw 906 : http://baike.baidu.com/view/183142.htm craw 907 : http://baike.baidu.com/view/1368113.htm craw 908 : http://baike.baidu.com/view/27055.htm craw 909 : http://baike.baidu.com/view/4687.htm craw 910 : http://baike.baidu.com/view/7567554.htm craw 911 : http://baike.baidu.com/view/1381475.htm craw 912 : http://baike.baidu.com/view/25402.htm craw 913 : http://baike.baidu.com/view/16386.htm craw 914 : http://baike.baidu.com/view/915964.htm craw 915 : http://baike.baidu.com/view/5053939.htm craw 916 : http://baike.baidu.com/view/14742.htm craw 917 : http://baike.baidu.com/view/5225.htm craw 918 : http://baike.baidu.com/view/1828808.htm craw 919 : http://baike.baidu.com/view/35448.htm craw 920 : http://baike.baidu.com/view/230853.htm craw 921 : http://baike.baidu.com/view/120590.htm craw 922 : http://baike.baidu.com/view/3814430.htm craw 923 : http://baike.baidu.com/view/1719388.htm craw 924 : http://baike.baidu.com/view/42137.htm craw 925 : http://baike.baidu.com/view/1468347.htm craw 926 : http://baike.baidu.com/view/925582.htm craw 927 : http://baike.baidu.com/view/24540.htm craw 928 : http://baike.baidu.com/view/1128733.htm craw 929 : http://baike.baidu.com/view/1376197.htm craw 930 : http://baike.baidu.com/view/192875.htm craw 931 : http://baike.baidu.com/view/95625.htm craw 932 : http://baike.baidu.com/view/105446.htm craw 933 : http://baike.baidu.com/view/49215.htm craw 934 : http://baike.baidu.com/view/125237.htm craw 935 : http://baike.baidu.com/view/150331.htm craw 936 : http://baike.baidu.com/view/530960.htm craw 937 : http://baike.baidu.com/view/549571.htm craw 938 : http://baike.baidu.com/view/1270192.htm craw 939 : http://baike.baidu.com/view/53914.htm craw 940 : http://baike.baidu.com/view/196620.htm craw 941 : http://baike.baidu.com/view/238346.htm craw 942 : http://baike.baidu.com/view/374214.htm craw 943 : http://baike.baidu.com/view/11086134.htm craw 944 : http://baike.baidu.com/view/878514.htm craw 945 : http://baike.baidu.com/view/948412.htm craw 946 : http://baike.baidu.com/view/787317.htm craw 947 : http://baike.baidu.com/view/58088.htm craw 948 : http://baike.baidu.com/view/52978.htm craw 949 : http://baike.baidu.com/view/4865125.htm craw 950 : http://baike.baidu.com/view/9584422.htm craw 951 : http://baike.baidu.com/view/805615.htm craw 952 : http://baike.baidu.com/view/1353047.htm craw 953 : http://baike.baidu.com/view/130157.htm craw 954 : http://baike.baidu.com/view/58244.htm craw 955 : http://baike.baidu.com/view/840.htm craw 956 : http://baike.baidu.com/view/151329.htm craw 957 : http://baike.baidu.com/view/10868760.htm craw 958 : http://baike.baidu.com/view/3113098.htm craw 959 : http://baike.baidu.com/view/1800421.htm craw 960 : http://baike.baidu.com/view/178559.htm craw 961 : http://baike.baidu.com/view/64883.htm craw 962 : http://baike.baidu.com/view/4865268.htm craw 963 : http://baike.baidu.com/view/1021459.htm craw 964 : http://baike.baidu.com/view/459794.htm craw 965 : http://baike.baidu.com/view/967280.htm craw 966 : http://baike.baidu.com/view/1051898.htm craw 967 : http://baike.baidu.com/view/861834.htm craw 968 : http://baike.baidu.com/view/958230.htm craw 969 : http://baike.baidu.com/view/1770681.htm craw 970 : http://baike.baidu.com/view/148581.htm craw 971 : http://baike.baidu.com/view/17252.htm craw 972 : http://baike.baidu.com/view/58036.htm craw 973 : http://baike.baidu.com/view/345958.htm craw 974 : http://baike.baidu.com/view/5636568.htm craw 975 : http://baike.baidu.com/view/661817.htm craw 976 : http://baike.baidu.com/view/388481.htm craw 977 : http://baike.baidu.com/view/884432.htm craw 978 : http://baike.baidu.com/view/144788.htm craw 979 : http://baike.baidu.com/view/3940.htm craw 980 : http://baike.baidu.com/view/3153.htm craw 981 : http://baike.baidu.com/view/1604452.htm craw 982 : http://baike.baidu.com/view/23920.htm craw 983 : http://baike.baidu.com/view/25279.htm craw 984 : http://baike.baidu.com/view/610312.htm craw 985 : http://baike.baidu.com/view/1982787.htm craw 986 : http://baike.baidu.com/view/950418.htm craw 987 : http://baike.baidu.com/view/7293.htm craw 988 : http://baike.baidu.com/view/1568.htm craw 989 : http://baike.baidu.com/view/760787.htm craw 990 : http://baike.baidu.com/view/6429951.htm craw 991 : http://baike.baidu.com/view/55403.htm craw 992 : http://baike.baidu.com/view/49674.htm craw 993 : http://baike.baidu.com/view/4040.htm craw 994 : http://baike.baidu.com/view/152182.htm craw 995 : http://baike.baidu.com/view/3264698.htm craw 996 : http://baike.baidu.com/view/822510.htm craw 997 : http://baike.baidu.com/view/640046.htm craw 998 : http://baike.baidu.com/view/281984.htm craw 999 : http://baike.baidu.com/view/303962.htm craw 1000 : http://baike.baidu.com/view/5101618.htm
结果：
1 <html><body><table><tr><td>http://baike.baidu.com/view/21087.htm</td><td>Python</td><td> 2 Python（英国发音：/ˈpaɪθən/ 美国发音：/ˈpaɪθɑːn/）, 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年发明，第一个公开发行版发行于1991年。Python是纯粹的自由软件， 源代码和解释器CPython遵循 GPL(GNU General Public License)协议[1] 3 。Python语法简洁清晰，特色之一是强制用空白符(white space)作为语句缩进。Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中[2] 4 有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。 5 </td></tr><tr><td>http://baike.baidu.com/view/16068.htm</td><td>api</td><td> 6 API（Application Programming Interface,应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。 7 </td></tr><tr><td>http://baike.baidu.com/view/53557.htm</td><td>系统资源</td><td> 8 。。。。 9 10 </td></tr><tr><td>http://baike.baidu.com/view/5101618.htm</td><td>仝晓</td><td> 11 仝晓，小名·臭宝。山西省运城市平陆人，90后最有争议性诗人，草根学者。玄鸟诗社核心成员，代表作有诗歌《有女孩问我》。学术代表：《仝晓浅谈先秦诸子》。所写的文字中总带有四分邪性，坚持诗歌不上任何刊物。 12 </td></tr></table></body></html>
目前有个问题：
最后结果在notepad++打开是正常的，用网页打开就是乱码了。。
解决：
把 html_outputer.py 中加上：
fout.write('<meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>')
1 #!/usr/bin/python 2 # coding=utf-8 3 4 class HtmlOutputer(object): 5 """docstring for HtmlOutputer""" 6 def __init__(self): 7 self.datas = [] 8 9 def collect_data(self, data): 10 if data is None: 11 return 12 self.datas.append(data) 13 14 def output_html(self): 15 fout = open('output.html', 'w') 16 17 fout.write("<html>") 18 fout.write("<head>") 19 # charset 编码 20 fout.write('<meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>') 21 fout.write("</head>") 22 fout.write("<body>") 23 fout.write("<table>") 24 25 # python 默认 ascii 26 for data in self.datas: 27 fout.write("<tr>") 28 fout.write("<td>%s</td>" % data['url']) 29 fout.write("<td>%s</td>" % data['title'].encode('utf-8')) 30 fout.write("<td>%s</td>" % data['summary'].encode('utf-8')) 31 fout.write("</tr>") 32 33 fout.write("</table>") 34 fout.write("</body>") 35 fout.write("</html>") 36 37 fout.close()
