跟小白学python网络爬虫实例2
实例2--淘宝商品信息定向爬虫
在程序结构上仍然与实例1类似：
1.调用requests库获取目标网页内容
2.调用re库搜索得到目标信息，并返回列表
3.打印得到的列表
代码如下：
1 # 淘宝商品信息定向爬虫实例 2 """ 3 Created on Wed Oct 11 19:25:05 2017 4 5 @author: DONG LONG RUI 6 """ 7 import requests 8 import re 9 10 def getHTMLText(url): 11 try: 12 r=requests.get(url,timeout=30) 13 r.raise_for_status() 14 r.encoding=r.apparent_encoding 15 return r.text 16 except: 17 return '' 18 19 def parsePage(ilt,html): 20 try: 21 plt=re.findall(r'\"view_price\"\:\"[\d\.]*\"',html) 22 tlt=re.findall(r'\"raw_title\"\:\".*?\"',html) 23 for i in range(len(plt)): 24 price=eval(plt[i].split(':')[1])#eval()用来去掉引号 25 title=eval(tlt[i].split(':')[1]) 26 ilt.append([price,title]) 27 except: 28 print('') 29 30 def printGoodsList(ilt): 31 #tplt='{:4}\t{:8}\t{:^14}' 32 hl=['序号','价格','商品名称'] 33 #print(tplt.format(hl[0],hl[1],hl[2])) 34 count=0 35 for g in ilt: 36 if count==0: 37 print('{:4}\t{:8}\t{:16}'.format(hl[0],g[0],g[1])) 38 else: 39 print('{:4}\t{:8}\t{:16}'.format(count,g[0],g[1])) 40 count=count+1 41 42 43 44 45 def main(): 46 goods='书包' 47 depth=2 48 start_url='http://s.taobao.com/search?q='+goods 49 infoList=[['价格','商品名称']] 50 for i in range(depth): 51 try: 52 url=start_url+'&s='+str(44*i) 53 html=getHTMLText(url) 54 parsePage(infoList,html) 55 except: 56 continue 57 printGoodsList(infoList) 58 59 main()
该程序的关键是使用合适的正则表达式去搜索商品（此处商品为书包）的相关信息！！
程序输出如下：
序号 价格 商品名称 1 59.00 爆款 ! 英伦范小学生书包 减负 防水 耐磨 2 78.00 迪士尼书包小学生女童1-3-6年级公主6-12岁女孩儿童休闲双肩背包 3 138.00 Larkpad书包小学生男女1-3-4-6年级儿童超轻护脊双肩背包6-12周岁 4 59.90 韩版双肩女包男士背包大容量牛津布帆布休闲旅游初中学生高中书包 5 76.80 韩版学院风帆布背包中大学生书包死飞反光男女双肩包大容量旅行包 6 135.00 帕耐克丝新款韩版男士小背包潮包休闲简约复古双肩包中学生书包PU 7 64.00 时尚女包2017新款单双肩包日韩版休闲学生学院风书包旅行双肩背包 8 108.00 2017新款女包PU皮双肩包百搭韩版潮牛津布背包休闲时尚潮书包 9 139.00 帕耐克丝日韩双肩包男韩版皮质潮流防盗个性时尚青年书包背包男士 10 9.80 双肩背包女潮2017新款韩版百搭双肩包女小清新学生小书包字母刺绣 11 556.00 学生书包女韩国校园bf双肩包原宿风韩版潮男初高中生休闲旅行背包 12 35.00 男孩子双肩包韩版休闲潮儿童旅行包 男童春游时尚背包小学生书包 13 37.41 小黄人卡通蛋壳儿童书包小孩幼儿园背包3-4-5-6岁宝宝男女双肩包 14 65.00 儿童书包小学生男136年级女男孩612周岁轻便防水男童双肩背包背包 15 58.00 新款小学生爆款书包 卡通可爱儿童双肩背包1-6年级学生书包 16 85.42 男童书包幼儿园卡通飞机乐迪3-4-5-6岁大班男宝宝汪汪队中小班潮 17 44.90 汪汪队卡通幼儿园书包男女宝宝3-5岁儿童书包小孩学前班双肩背包6 18 63.00 冰雪奇缘公主卡通书包小学生女生一二年级夜光减负可爱儿童双肩包 19 16.99 2017书包女PU新款双肩包女包学生书包背包旅行包大休闲潮女士包包 20 34.00 超级卡通飞侠书包幼儿园小学生儿童男女宝宝蛋壳双肩背包3--5-6岁 21 38.00 旅行双肩包男女轻薄背包 便携徒步运动户外登山包旅游皮肤书包 22 66.30 巴伦美 复古文艺双肩包女包韩版英伦学院风pu皮 旅行背包学生书包 23 75.00 双肩包女2017新款潮韩版百搭学院风学生书包时尚休闲校园女士背包 24 49.00 书包中学生女帆布双肩包女韩版潮小清新高中生休闲背包英伦学院风 25 47.50 男士双肩包男帆布旅行背包电脑包高中生大学生书包男潮流 26 68.00 幼儿园书包女童3-4-5岁儿童背包女宝宝凯蒂猫双肩包 可爱 中大童 27 60.00 原宿纯色帆布双肩包女ulzzang韩版校园简约高中学生书包百搭背包 28 49.90 双肩包女韩版休闲百搭学生书包时尚多功能背包大容量旅行包妈咪包 29 179.00 欧时纳双肩包女包2017新款包包韩版书包休闲背包女学院风双肩背包 30 135.00 帕耐克丝双肩包男女学生书包女初中生电脑包韩版背包学院风简约休 31 125.00 帕耐克丝新款韩版时尚潮流双肩包女中学生书包日韩学院风简约旅行 32 38.00 时尚简约绣花卡通双肩包女韩版百搭旅行包潮中学生书包女个性背包 33 180.00 木村弘野2016新款铆钉双肩包女韩版潮学院风书包时尚百搭旅行背包 34 10.80 儿童书包幼儿园2-3-5岁男孩子卡通可爱迷你小书包女儿童背包 35 19.80 防水补习袋帆布袋补习包手提包小学生男女童书包书袋韩版包包 36 40.00 书包小学生男女幼儿园卡通护脊双肩背包可爱3D汽车总动员儿童 37 133.00 帕耐克丝新款双肩包女韩版潮书包中学生大容量旅行包休闲运动背包 38 59.00 韩版中小学生书包初高中学双肩包初中时尚减负男女孩旅游帆布背包 39 125.00 帕耐克丝韩版简约纯色双肩包女帆布休闲背包日韩小清新中学生书包 40 39.90 新款鹿晗周边双肩旅行背包初高中小学生夜光男女书包潮 41 119.00 帕耐克丝新款韩版潮款男女英伦复古学院风双肩背包学生书包休闲纯 42 121.00 2017春夏新款包包时尚背包菱格单肩双肩包两用女包韩版潮pu皮书包 43 57.48 新品热卖韩版卡通儿童书包幼儿园男女童1-3岁宝宝书包双肩防走失 44 57.50 韩版卡通儿童书包幼儿园男女童小孩宝宝包包可爱背包1--5岁书包 45 129.00 帕耐克丝书包男时尚潮流休闲帆布双肩包校园初中高中学生个性街头 46 38.90 新款奥特曼儿童书包幼儿园男女蜘蛛侠优质蛋壳背包13寸和15寸双肩 47 39.90 大班儿童书包幼儿园男女宝宝1-3-6周岁男童汪汪队双肩包女童5岁童 48 139.00 帕耐克丝沃曼威斯韩版大高中学生书包男时尚潮流背包学院风2017旅 49 338.00 韩版女三轮1-6年级4儿童6-12周岁小学生拉杆书包爬楼梯轮拖拉箱 50 149.00 一年级书包小学生女1-3年级女童书包6-12周岁女生4-6年级防水护脊 51 27.74 大黄鸭包包小黄鸭包包鸭子萌书包卡通可爱单肩包女包帆布包鸭嘴包 52 155.00 帕耐克丝双肩包男时尚潮流商务休闲电脑包韩版书包男大学生校园背 53 149.00 时尚潮流双肩包男士背包韩版大学生书包旅游休闲包日韩校园女皮包 54 129.00 帕耐克丝帆布包双肩包女韩版大高中学生学院风旅行包校园书包女卡 55 139.00 帕耐克丝双肩包男潮流背包旅行韩版大容量帆布包学生书包行李袋时 56 83.00 女包2017文艺复古双肩包纯色简约帆布包学院风书包休闲背包 57 119.00 帕耐克丝双肩包男新款韩版休闲时尚大容量高初中学生书包潮流学院 58 218.80 夜光fate书包男女学生二次元周边zero动漫背包吾王saber双肩包包 59 149.00 帕耐克丝男士双肩包韩版旅行背包校园日韩个性街头初中学生书包男 60 64.98 新款双肩女包韩版潮皮包学院风2017秋百搭女包中学生背包旅行书包 61 34.30 2017夏季新款原宿软妹蝴蝶结双肩包超萌百搭中大学生书包闺蜜包邮 62 18.99 女双肩包韩版可爱卡通包包pu迷你小背包2017女生小书包休闲旅行包 63 119.00 帕耐克丝双肩包男士背包旅行包日韩学院风高中学生书包女运动包商 64 61.00 2017双肩包女韩版潮街拍尼情侣中学生书包帆布背包 65 195.00 11-12-13-14岁韩男孩防水双肩背包小学生书包四五六年级4-5-6初中 66 39.98 2017韩版新款水洗皮潮流百搭女包休闲学院风背包书包旅行双肩包女 67 89.00 韩版情侣书包背包男士双肩包登山包新款户外大容量旅游女韩 68 139.00 帕耐克丝帆布书包男时尚潮流高中学生双肩包男士背包大容量休闲旅 69 75.00 新款幼儿减负书包防水材料儿童书包幼儿园-小学三年级学生双肩包 70 52.92 儿童书包小学生男童一二三四五六1-3-5-6年级男女生背包防水护脊 71 170.87 夏季幼儿园中小班闪电麦坤95卡通背包小汽车男女双肩书包 72 24.20 新款韩版卡通动漫布朗熊帆布包袋学生书包 休闲旅游单肩购物袋 73 25.80 可爱韩版大象公仔毛绒双肩书包幼儿园男女儿童背包1-2-3岁 74 129.90 背包双肩包书包潮流男士韩版夜光休闲旅行初中高中学生时尚女生男 75 119.00 帕耐克丝沃曼威斯旅行包韩版背包双肩包新款高初中大学生书包男潮 76 109.00 春夏拼接女包人气红色惊爆包包尼龙书包学生时尚双肩背包新款 77 58.66 加厚帆布手提包女手提双肩多用初中高中学生书包大学生背包旅行包 78 136.00 帕耐克丝韩版双肩包男时尚潮流书包女高中学生学院风双肩电脑包男 79 28.00 幼儿背包 卡通图案 学生书包 儿 双肩背包 80 34.32 儿童卡通防走失书包幼儿男女小宝宝可爱透气防脱零食背包1-2-3岁
